Úvod k teorii informace: Cvičení ke vzorcům spojeným s teorií informace

3. Teorie informace

3.1. Cvičení ke vzorcům spojeným s teorií informace

V závěru předchozího studijního článku jste poznali dva vzorce, které Shannon spojil s teorií informace. Byl to jeden z mnoha jeho příspěvků lidskému vědění, než odešel v pouhých čtyřicetipěti letech do důchodu, aby zemřel až o čtyřicet let později. V tomto dobrovolném cvičení se můžete zamyslet nad některými aspekty, které se vzorci souvisí pro jejich lepší pochopení.

Na základě čeho byl pro vyjádření funkční závislosti vybrán právě logaritmus?
Proč je ve vzorci znaménko mínus?
Jaká musí být pravděpodobnost výskytu symbolu x ve zprávě, aby se množství prijaté informace rovnalo právě jednomu bitu?

Tipy pro řešení

Při hledání odpovědi na první otázku si vzpomeňte na některé vlastnosti pravděpodobnosti nezávislých jevů a vztahy platné pro logaritmy.

U zbývajících dvou otázek by mělo postačit, když si vzpomenete na průběh grafu funkce logaritmus.

Návrh řešení

Návrh řešení si prohlédněte, až si na všechny otázky pokusíte najít vlastní odpověď.

1. Při hledání odpovědi na první otázku je důležité si uvědomit, že množství informace získané přijetím symbolu x je v nepřímo úměrné pravděpodobnosti jeho výskytu. Pro dva nezávislé symboly x₁ a x₂ tedy bude množství získané informace rovno následujícímu součtu γ(1/p(x₁)) + γ(1/p(x₂)), v němž γ představuje hledanou funkci. Zároveň ovšem pro pravděpodobnost nezávislých symbolů platí, že p(x₁,x₂) = p(x₁) × p(x₂) a pro množství získané informace tedy γ(1/(p(x₁) × p(x₂))). Při hledání funkce γ, pro kterou platí následující rovnost:

$\frac{1}{p(x_1)} +\frac{1}{p(x_2)}=\frac{1}{p(x_2) \times p(x_2)}$

je odpovědí právě logaritmus.

2. Znaménko vyplývá z dalšího vztahu, která se týká logaritmu, kdy log₂(1/p(x)) = −log₂p(x). Můžete si ale také vzpomenout na průběh grafu funkce logaritmus v intervalu (0;1>, protože jiných hodnot pravděpodobnost nabývat nemůže. Jak vidíte na obrázku, jedná se o záporné hodnoty. Jistě by nevypadalo dobře, kdybychom množství informace měřili v záporných číslech. Zelená barva vyznačuje graf funkce logaritmus, oranžová pak příslušnou změnu v intervalu, který nás zajímá.

Obr. 5: Graf funkce logaritmus a část vynásobená mínusem v intervalu 0 až 1.

3. Z obrázku výše vyplývá také, že hodnotu 1 bitu dosáhneme při padesátiprocentní pravděpodobnosti.