3. Teorie informace

Vymezení pojmu informace

Měření množství informace pouze počtem použitých symbolů by neodpovídalo tomu, jaký význam přikládáme obsahu zprávy, která ji nese (např.  ve chvíli, kdy budete při vaření hledat čtyři vejce, nebudete považovat zprávu o tom, že housle mají stejný počet strun za důležitou a zřejmě ani smysluplnou). Pokud ovšem znáte soubor zpráv, které můžete obdržet, obsah jedné konkrétní zprávy je tím infornačně zajímavější, čím více jste překvapeni, že jste obdrželi právě ji (např. víte, že ze zkoušky můžete obdržet jednu ze čtyř známek a ve chvíli, kdy se ji chystá zkoušející oznámit, si v duchu řeknete, jaká známka to asi bude. Pokud ji odhadnete dobře, bude to informačně méně hodnotné, než když byste byli verdiktem zkoušejícího zaskočeni.). Podobný fakt můžete postupně vztáhnout i na jednotlivé symboly (např. pokud budete číst český text, zřejmě nejvíce zpozorníte, když se v něm objeví nějaké méně časté písmeno, např. x).

 S čím na základě uvedených příkladů nejspíše spojíte množství získané informace?

Na základě uvedených úvah lze vymezit pojem informace jako dispozici odstraňující nejistotu u příjemce.

Teorie informace

ShannonPravděpodobností výskytu zpráv (případně symbolů z nichž se skládají) můžete nalézt jako míru informace v základech nového vědního oboru z poloviny dvacátého století. Americký inženýr Claude Elwood Shannon (1916–2001) byl nejprve velmi úspěšným studentem, který obhájil diplomovou práci v pouhých jedenadvaceti letech. Do předmětu Elektronické prvky a systémy (KVD/EPSV) pro další semestr studia si můžete přenést informaci, že v ní předvedl využití Booleovy algebry v číslicové technice. Pro nás je ovšem klíčové, že v roce 1948 spolupublikoval článek „A mathematical theory of communication“.
Obr. 4: Claude Elwood Shannon. Zdroj: CC-BY Thierry Ehrman https://www.flickr.com/photos/home_of_chaos/7591110676/

Funkční závislost pravděpodobnosti a množství informace získané přenesením zprávy o jediném symbolu x, který má pravděpodobnost výskytu p(x) ve zprávách zdroje abecedy X, stanovil Shannon následujícím vzorcem:

I(x) = - log_2 p(x_i)

V uvedeném článku byla pro míru informace zavedena také důležitá zkratka bit (z binary digit – dvojková číslice).

Shannon zároveň zavedl vztah, kterým provedl zprůměrování množství informace, kterou obdržíme s jedním symbolem, přes více zpráv (či ideálně všechny zprávy, které může zdroj produkovat). Tuto střední očekávanou míru informace posléze nazval entropií pravděpodobnostního rozložení zdroje. Míru informace tedy navázal na míru neurčitosti:

H(X) = - \sum {(p(x_i) \times log_2p(x_i))}
pro i = 1..n 

V poslední kapitole následujícího videa jsou vidět články, díky nimž vznikla teorie informace, jak ji známe dnes.


Zdroj: CRUISE, Brit. Měření informace. In: Khan Academy [online]. [cit. 2021-12-23]. Dostupné z: https://youtu.be/PtmzfpV6CDE. CC-BY-NC.