Теория информации — это раздел кибернетики, в котором с помощью математических методов изучаются способы измерения количества информации и методы построения кодов в целях сжатия информации и надежной передачи по каналам связи. При формальном представлении знаний каждому описываемому объекту ставится в соответствие числовой код, связи между объектами также представляются кодами.
Уроки
Предмет курса. Виды информации. Теорема дискретизации
Непрерывная информация представляет собой непрерывный процесс изменения некоторой величины.
Дискретная информация представляет собой последовательность отсчётов (замеров значений) непрерывной величины, взятых через некоторый, обычно равный, промежуток времени, т.е. с некоторой частотой дискретизации f
Базовые понятия теории информации
Информация — нематериальная сущность, с помощью которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация противоположна неопределённости.
Кодирование — преобразование информации на упорядоченный набор символов, элементов, знаков.
Continue Reading
Энтропия источника. Свойства количества информации и энтропии
Количество информации, содержащееся в одном элементарном сообщении x_i, не полностью характеризует источник. Источник дискретных сообщений может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название энтропия источника Continue Reading
Условная энтропия
Ранее полученная формула определения энтропии является мерой среднего количества информации, на одно сообщение источника статистически независимых сообщений. Такая энтропия называется безусловной. Как известно из математической статистики мерой нарушения статистической независимости сообщений x и y служит условная вероятность p(x/y) появления сообщения x_i при условии, что уже выбрано сообщение y_j или условная вероятность появления сообщения y_j, если появилось сообщение x_i, причем в общем случае p(x/y) \ne p(y/x). Continue Reading
Энтропия объединения двух источников
Энтропию объединения двух источников и находят через вероятности совместного появления пар сообщений для всех , которые обозначаются как . Для этого составляется матрица совместных безусловных вероятностей двух источников: Энтропия объединения…
Характеристики источников дискретной информации
Производительность дискретного источника информации. Скорость передачи информации Пусть дискретный источник выдает последовательность сообщений , заданных вероятностями . Если источником выбирается одно сообщение , то им вырабатывается некоторое количество информации .…
Вопросы для самоконтроля
Какие существуют виды информации? Как перевести непрерывную информацию в дискретный (цифровой) вид? Что такое частота дискретизации непрерывной информации? Как формулируется теорема дискретизации? Что такое информация, кодирование, канал связи, шум? В…