Ilość informacji


Ilość informacji w encyklopedii

Z Wikipedii, wolnej encyklopedii Przejdź do nawigacji Przejdź do wyszukiwania

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)[1]. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Miary ilości informacji | edytuj kod

1. Ilość informacji otrzymanej przy zajściu zdarzenia x i {\displaystyle x_{i}} (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

I i = h i = log r 1 p i = log r p i , {\displaystyle I_{i}=h_{i}=\log _{r}{\frac {1}{p_{i}}}=-\log _{r}{p_{i}},}

gdzie:

I i {\displaystyle I_{i}} – ilość informacji otrzymanej przy zajściu zdarzenia x i , {\displaystyle x_{i},} p i {\displaystyle p_{i}} – prawdopodobieństwo zajścia zdarzenia x i , {\displaystyle x_{i},} r {\displaystyle r} – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie r = 2 , {\displaystyle r=2,} wówczas jednostką informacji jest bit (szanon[2]). Przy r {\displaystyle r} = e jednostką jest nat (nit), natomiast przy r {\displaystyle r} = 10 – dit (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru n {\displaystyle n} zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń[3] (Shannon 1948):

H ( X ) = i = 1 n p i log r 1 p i = i = 1 n p i log r p i , {\displaystyle H(X)=\sum _{i=1}^{n}p_{i}\log _{r}{\frac {1}{p_{i}}}=-\sum _{i=1}^{n}p_{i}\log _{r}{p_{i}},}

gdzie:

H ( X ) {\displaystyle H(X)} – entropia bezwarunkowa zbioru X, n {\displaystyle n} – liczba zdarzeń w zbiorze, p i {\displaystyle p_{i}} – prawdopodobieństwo zajścia zdarzenia x i . {\displaystyle x_{i}.}

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)[4][5]:

I ( X ; Y ) = H ( X ) H ( X | Y ) , {\displaystyle I(X;Y)=H(X)-H(X|Y),}

gdzie:

I ( X ; Y ) {\displaystyle I(X;Y)} – informacja wzajemna Y o X, H ( X ) {\displaystyle H(X)} – entropia bezwarunkowa zbioru (zmiennej) X, H ( X | Y ) {\displaystyle H(X|Y)} – entropia warunkowa X pod warunkiem Y.

Innymi słowy, I ( X : Y ) {\displaystyle I(X:Y)} dotyczy informacji dostarczonej przez zmienną Y {\displaystyle Y} o zmiennej X . {\displaystyle X.}

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera ( H ( X | Y ) = 0 ) , {\displaystyle (H(X|Y)=0),} ilość przekazanej informacji jest równa entropii źródła I ( X ; Y ) = H ( X ) . {\displaystyle I(X;Y)=H(X).} Także I ( X ; X ) = H ( X ) {\displaystyle I(X;X)=H(X)} (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż H ( X | X ) = 0. {\displaystyle H(X|X)=0.}

Przypisy | edytuj kod

  1. Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979, s. 155.
  2. szanon, [w:] Encyklopedia PWN [online] [dostęp 2010-01-22] .
  3. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156.
  4. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159.
  5. A.M. Jagłom, I.M. Jagłom, Prawdopodobieństwo i informacja, 1963 s. 91.
Na podstawie artykułu: "Ilość informacji" pochodzącego z Wikipedii
OryginałEdytujHistoria i autorzy