Энтропия источника

Энтропия дискретного источника – это среднее количество информации, содержащейся в одном сообщении, т.е. при основании кода a=2:

Энтропия зависит от количества событий и их вероятностей P_i;

Зависимость H=f(Р)

Рис. 1.2. График зависимости H от p

Можно показать, что если N>2, то при увеличении N точка максимума будет смещаться влево и возрастать (на графике это показано штрихпунктирной линией). Nmax будет при равновероятных событиях.

Дата добавления: 2014-03-11; просмотров: 452; Нарушение авторских прав

Мы поможем в написании ваших работ!