Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.
Пусть и – случайные величины, заданные на соответствующих множествах и . Тогда количество информации относительно есть разность априорной и апостериорной энтропий:
- ,
где
— энтропия, а
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Свойства энтропии
Для энтропии справедливы свойства:
,
где количество элементов множества
.
, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что
и
.
Максимум значения энтропии достигается, когда все
, т.е. все исходы равновероятны.
Для условной энтропии справедливы свойства:
,
При этом, , если отображение
в
однозначное, т.е.
.
Максимум значения условной энтропии достигается, когда
и
- независимые случайные величины.
Свойства количества информации
Для количества информации справедливы свойства:
как следствие (теоремы Байеса).
если
и
– независимые случайные величины.
Последнее свойство показывает, что количество информации совпадает с информационной энтропией, если компонента потери информации (шум) равна нулю.
Литература
- (Яглом А. М.), (Яглом И. М.) Вероятность и информация. — М., 1973.
В статье не хватает (см. ). |
Википедия, чтение, книга, библиотека, поиск, нажмите, истории, книги, статьи, wikipedia, учить, информация, история, скачать, скачать бесплатно, mp3, видео, mp4, 3gp, jpg, jpeg, gif, png, картинка, музыка, песня, фильм, игра, игры, мобильный, телефон, Android, iOS, apple, мобильный телефон, Samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Сеть, компьютер