Kódování

Již víte, že kód je tvořen kódovými slovy. Jejich délku (=počet míst, která budeme nazývat bity, jak je zvykem, i když to není zcela přesné) budeme značit m. V případě binárního kódu je počet kódových slov L v rozmezí 1 ≤ L ≤ 2^m.

Při výpočtu průměrné délky kódového slova využíváme délky kódových slov a znalosti pravděpodobnosti výskytu znaků zdrojové abecedy, kterým kódová slova odpovídají. Pro každé kódové slovo je vynásobíme a součiny sečteme. Průměrnou délku následně můžeme využít při výpočtu efektivnosti kódu, která se rovná podílu entropie a právě průměrné délky kódového slova.

 Co je základní vlastností, kterou má každý kód?

Obr. 6: Vlastnosti kódů.

Při dekódování můžeme pracovat s kódovanou zprávou jako celkem K(a₁; a₂; ... a_n). Značným zrychlením však může být možnost plynulého dekódování tzv. znak po znaku K(a₁);K(a₂);... K(a_n). K tomuto Brockway McMillan napsal v článku „Two inequalities implied by unique decipherability“ (Dvě nerovnosti implikované jednoznačnou dekódovatelností) v roce 1956 zkráceně, jestliže je kód dekódovatelný jednoznačně znak po znaku, platí pro něj Kraftova nerovnost. Dnes je toto tvrzení známo jako McMillanova věta.

Obr. 6: Brockway McMillan. (Zdroj: public domain z http://www.nro.gov/history/csnr/leaders/directors/dir3.html