Читать книгу Как измеряется информация? Сборник задач по информатике - Группа авторов - Страница 4

Шеннон предложил учитывать вероятность каждого события, чтобы точнее измерять информацию. В отличие от формулы Хартли, здесь учитывается случай, когда события не равновероятны

Энтропия показывает среднее количество информации, которое мы получаем при наблюдении события.

Пример 2:

Рассмотрим игральный кубик. Событие выпадения каждой грани имеет одинаковую вероятность 1/6. Тогда энтропия равна:

Таким образом, бросок кубика несет примерно 2.58 бита информации.

Пример.3.

Рассмотрим другой пример, где вероятности граней неодинаковы:

Здесь энтропия уменьшилась, потому что одно событие стало значительно вероятнее остальных.