Студопедия

Главная страница Случайная лекция


Мы поможем в написании ваших работ!

Порталы:

БиологияВойнаГеографияИнформатикаИскусствоИсторияКультураЛингвистикаМатематикаМедицинаОхрана трудаПолитикаПравоПсихологияРелигияТехникаФизикаФилософияЭкономика



Мы поможем в написании ваших работ!




Энтропия сложного события

Читайте также:
  1. Вероятность случайного события
  2. Жизненный путь: события жизни, психологическая биография. Стили жизни. Жизненное пространство личности.
  3. Зависимые и независимые события.
  4. Зависимые и независимые события. Условная вероятность события
  5. Код для события Click Компонента button1.
  6. Код для события Click Компонента button10
  7. Код для события Click Компонента button4
  8. Код для события Click Компонента button5
  9. Код для события Click Компонента button5
  10. Код для события Click Компонента button7

Пусть имеются два опыта λ и β.

Опыт λ имеет исходы: x1, x2,…,xm

с вероятностями – p(x1), p(x2),…,p(xm);

а опыт β имеет исходы: y1, y2,…,yk

с вероятностями - p(y1), p(y2),…,p(yk).

В качестве сложного опыта будем рассматривать совместное появление опытов λ и β. Тогда исходами сложного опыта будут (x1y1), (x1y2),…,(xmyk);

вероятности этих исходов: p(x1y1),…, p(xiyj).

 

Энтропия сложного события:

 

Рассмотрим два случая, когда λ и β независимы и зависимы друг от друга.

1). Опыты λ и β имеют независимые исходы.

Тогда: p(xiyj)= p(xip(yj).

 

 

Раскрыв логарифм произведения, получим:

 

 

Окончательно получаем: .

2). Опыты λ и β зависят друг от друга.

Тогда (xiyj)= p(xip(yj/xi)

 

При условии, что произошло событие xi, имеем:

т.к. суммируются вероятности всех событий yj при условии появления xi на выходе источника λ.

Выражение

 

представляет собой энтропию опыта β, при условии, что в опыте λ был исход xi . Здесь усреднение результатов по опыту β.

Тогда

 

Но первое слагаемое есть H(λ), а второе – условная энтропия H(β/λ), где усреднение уже по опыту λ.

Тогда: , или аналогично .

Вывод: энтропия сложного события равна сумме энтропий каждого события, если опыты независимы и энтропия равна сумме энтропий одного опыта и условной энтропии другого опыта относительного первого, при двух зависимых опытах (дискретных источниках).


<== предыдущая страница | следующая страница ==>
Энтропия источника | Первичное кодирование. Теорема Шеннона

Дата добавления: 2014-03-11; просмотров: 438; Нарушение авторских прав




Мы поможем в написании ваших работ!
lektsiopedia.org - Лекциопедия - 2013 год. | Страница сгенерирована за: 0.003 сек.