Студопедия

Главная страница Случайная лекция


Мы поможем в написании ваших работ!

Порталы:

БиологияВойнаГеографияИнформатикаИскусствоИсторияКультураЛингвистикаМатематикаМедицинаОхрана трудаПолитикаПравоПсихологияРелигияТехникаФизикаФилософияЭкономика



Мы поможем в написании ваших работ!




Методы теории информации

Читайте также:
  1. IFRS 13 «Оценка по справедливой стоимости»: сфера применения стандарта, методы определения справедливой стоимости.
  2. II) Методы теоретического уровня научного познания
  3. IV. В теории правового государства выделяются следующие элементы: принцип верховенства права, разделения власти на 3 ветви, независимости суда, конституционного статуса граждан.
  4. Админ методы оперативного упр-я персоналом организации.
  5. Административные и экономические методы управления природопользованием
  6. Аксиомы теории вероятностей
  7. Аксиомы теории вероятностей
  8. АНАЛИЗ ДВИЖЕНИЯ ДЕНЕЖНЫХ СРЕДСТВ. ПРЯМОЙ И КОСВЕННЫЙ МЕТОДЫ АНАЛИЗА ДВИЖЕНИЯ ДЕНЕЖНЫХ СРЕДСТВ
  9. Анализ информации и выбор РА
  10. Анализ среды в стратегическом менеджменте: факторы внутренней и внешней среды, методы анализа

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации.

Информация, для того чтобы быть переданной, должна быть закодирована в виде сигналов, с помощью которых информация передается по различным каналам связи. Это привело к необходимости решения задачи повышения эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи состоит в том, что недостаточно решить задачу с физических и энергетических позиций. С этой точки зрения системы могут быть самыми совершенными и экономичными. Важно кроме этого оценить, какое количество информации может пройти через передающую систему. Результатом явилась необходимость подсчитать, измерить информацию количественно.

В теории информации при вычислении количества информации абстрагируются от смысла информации. Такой подход в точности соответствует задаче канала связи, который должен передать информацию вне зависимости от ее ценности для адресата.

Любое сообщение, с которым мы имеем дело в теории информации, представляет совокупность сведений о некоторой физической системе. Например, на вход системы правоохранительных органов поступает сообщение о количестве и видах совершенных преступлений.

Оценка количества информации основывается на законах теории вероятностей и определяется через вероятность событий. Сообщение имеет ценность только тогда, когда мы узнаем из него об исходе события, имеющего случайный характер, т.е. исход события заранее не известен. Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации содержит данное сообщение. Очевидно, если бы состояние системы было известно заранее, не было бы смысла передавать сообщение.

Поэтому в качестве объекта в теории информации рассматривается некоторая физическая система Х, которая случайным образом может оказаться в том или ином состоянии, т.е. система, которой заведомо присуща некоторая степень неопределенности. Очевидно, чем большая неопределенность присуща системе, тем ценнее полученные сведения.

Что значит «большая» или «меньшая» неопределенность?

Сравним две системы: игральную кость и монету. Неопределенность первой системы больше, так как больше состояний, в которых она может оказаться.

Однако степень неопределенности определяется не только числом состояний системы.

Устройство работает в 99% случаев и не работает в 1%. Имеет два состояния, как и монета, но вероятность состояния предсказать гораздо легче: с большой степенью уверенности мы можем сказать, что устройство работать будет.

Таким образом, степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.

В общем случае некоторая физическая система Х может принимать какое-то конечное число состояний:

х1, х2, х3, ... , хn

с вероятностями

p1, p2, p3, ... , pn

где

pi = P(Х ~ хi),

вероятность того, что система Х примет состояние хi, т.е. Х ~ хi.

Очевидно, что

В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системыназывается сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

Энтропия обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых, она превращается в ноль, когда одно из состояний достоверно, а другие — невозможны. Во-вторых, при заданном числе состояний она превращается в максимум, когда данные состояния равновероятны, а при увеличении числа состояний — увеличивается. Наконец, и это самое главное, она обладает свойством аддитивности, т.е. когда несколько независимых систем объединяются в одну, их энтропии складываются.

Таким образом, в правовой реальности энтропия рассматривается в качестве меры неопределенности состояния всякой правовой системы. Становится ясно, что в процессе получения сведений неопределенность правовой системы может быть уменьшена; чем больше объем полученных сведений, чем они более содержательны, тем больше будет информации о рассматриваемой системе правового управления, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояний которой предназначены сведения.

Рассмотрим некоторую систему Х, над которой производятся наблюдения, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения сведений (априори) энтропия системы была Н(Х); после получения сведений состояние системы полностью определилось, т.е. энтропия стала равной нулю. Обозначим Iх информацию, полученную в результате выяснения состояний системы Х. Она равна уменьшению энтропии:

IX = Н(Х) – 0 или IX = Н(Х),

т.е. количество информации, приобретаемое при полном выяснении состояний некой физической системы, равно энтропии этой системы.

Используя формулу для энтропии, получим следующее представление для количества информации:

Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов «да» и «нет», с помощью которых можно приобрести ту же информацию.

Использование современных информационных технологий и вычислительных средств позволяет рассчитать количество информации в сложных сообщениях и тем самым оптимизировать информационные процессы, протекающие в социально-правовых системах.


<== предыдущая страница | следующая страница ==>
Математические методы | Основные свойства информации

Дата добавления: 2014-03-11; просмотров: 364; Нарушение авторских прав




Мы поможем в написании ваших работ!
lektsiopedia.org - Лекциопедия - 2013 год. | Страница сгенерирована за: 0.004 сек.