Лекции по количественной оценке информации
КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИОбщее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,. (1)Неопределенность, приходящаяся на символ первичного (кодируемого) алфавита, составленного из равновероятностных и взаимонезависимых символов, . (2)Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:а) в двоичных единицахб) в десятичных единицахгде ;в) в натуральных единицахгде Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений к на среднюю энтропию Н, приходящуюся на одно сообщение: (3)Для случаев равновероятностных и взаимонензависимых символов первичного алфавита количество информации в к сообщениях алфавита m равноа количество информации в сообщении, составленном из к неравновероятностных символов, (5)Для неравновероятностных алфавитов энтропия на символ алфавита (4)При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, независимо от того, являются ли они безусловными , условными или вероятностями совместных событий.Количество информации определяется исключительно характеристиками первичного алфавита, объем – характеристиками вторичного алфавита. Объем информации (6)где lср – средняя длина кодовых слов вторичного алфавита. Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)где n – длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср=Н, т.е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях .Например, если кодировать в коде Бодо некоторые равновероятный алфавит, состоящий из 32 символов, тоЕсли закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информациит.е. если в коде существует избыточность и , то объем в битах всегда больше количества информации в тех же единицах.Тема 2. Условная энтропия и энтропия объединенияПонятие условной энтропии в теории информации используется при определении взаимозависимости между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения.Во всех случаях при вычислении условной энтропии в том или ином виде используются условные вероятности.Если при передаче n сообщений символ А появился m раз, символ В появился l раз, а символ А вместе с символом В – к раз, то вероятность появления символа А ; вероятность появления символа В ; вероятность совместного появления символов А и В ; условная вероятность появления символа А относительно символа В и условная вероятность появления символа В относительно символа А (7)Если известна условная вероятность, то можно легко определить и вероятность совместного появления символов А и В, используя выражения (7) (8)От классического выражения (4) формула условной энтропии отличается тем, что в ней вероятности – условные: (9) (10)где индекс i выбран для характеристики произвольного состояния источника сообщения А, индекс j выбран для характеристики произвольного состояния адресата В.Различают понятия частной и общей условной энтропии. Выражение (9) и (10) представляют собой частные условные энтропии.
Другие файлы:
Спортивная метрология
Спортивная метрология — исследование физической величины в физкультуре и спорте. Основы измерений, теория тестов, оценок и норм. Методы получения инфо...
Лекция – важнейшая форма преподавания философии: содержание, структура и стиль лекции
Лекция как метод трансляции информации и обучения. Выдающиеся лекторы прошлого – Платон и Аристотель. Сущность и виды лекций. Вводные, обзорные, пробл...
Лекции по теории информации: учебное пособие
В учебном пособии рассматриваются модели сигналов, основы теории информации и кодирования, а также некоторые вопросы приема и обработка информации. Кн...
Сущность аудита, его цель и задачи
Аудит- это процесс, посредствам которого компетентный независимый работник накапливает и оценивает свидетельства об информации поддающейся количествен...
