JEDNOSTKI ILOŚCI INFORMACJI- JEST BIT
1 Bit jest to taka ilość informacji H, która redukuje niepewność o połowę. ( dany sygnał zawiera tyle bitów informacji, ile trzeba odpowiedzi na pytanie “ tak lub nie” aby zlikwidować istniejącą niepewność ).
Gdy prawdopodobieństwo wystąpienia sygnału jest jednakowe , sygnały są od siebie wzajemnie niezależne i sygnał przyjmuje tylko dwa stany (jest, nie ma ) to wzór na ilość informacji H jest następujący:
n - liczba możliwych zdarzeń
Gdy jeden sygnał może występować w m -stanach, to wzór na ilość informacji niesionej przez ten sygnał jest następujący:
m - liczba stanów
pi - prawdopodobieństwo wystąpienia i - tego stanu
Gdy mamy k - sygnałów to sumaryczna ilość informacji wynosi:
Ho - ogólna ilość informacji,
Hj - ilość informacji przenoszona przez j -ty sygnał
Gdy prawdopodobieństwo wystąpienia sygnału jest różne i sygnały są od siebie wzajemnie niezależne to wzór na przeciętną ilość informacji jest następujący:
n - liczba sygnałów
Jeżeli istnieją reguły uzależniające prawdopodobieństwo określonych sygnałów od sygnałów poprzednich, to przeciętną ilość informacji oblicza się za pomocą wzoru:
pi - prawdopodobieństwo i -tego sygnału ( i=1,2,3....),
pij - prawdopodobieństwo warunkowe j -tego sygnału ( j=1,2,3...m ), gdy poprzedza go sygnał i -ty.
... zobacz całą notatkę
Komentarze użytkowników (0)