Читать книгу Информационный Завет. Основы. Футурологическое исследование - Роман Александрович Бабкин, Роман Александрович Дорошенко, Роман Александрович Брунер - Страница 13

История открытий в области теории информации удивительно напоминает эволюцию взглядов на происхождение человека. Как известно, сначала доминировала идеалистическая точка зрения, затем – материалистическое понимание. Применительно к динамике осмысления информации заметно, что вслед за блужданием в почти мистическом тумане («демоны» и «супер-мозги») наступил «естественно-научный» (борелевская обезьяна), а затем и строго научный этап⁴. Пришло время для прояснения объективных закономерностей, выраженных математическими формулами, и создания полезных устройств.

Замечательный инженер, прекрасно разбиравшийся в математике, Гарри Найквист (Harry Nyquist) в середине 20х гг. прошлого века опубликовал ряд специальных работ, посвященных проблемам телеграфной связи. Найквиста интересовало, каким образом можно быстро и точно передавать информацию.

Поскольку потоки информации в естественных (природных) условиях непрерывны, то хорошо бы их разделить на части – отдельные порции. Для этого надо выбрать определённую частоту, которая будет обозначать границы информационных порций. Найквист обнаружил: эта частота должна составлять не более половины частоты работы передающего и принимающего устройства. В противном случае информация может быть искажена или потеряна^25,26. Данную величину впоследствии предложено назвать «частотой Найквиста» (Nyquist rate).

Ральф Хартли (Ralph Hartley), не менее талантливый инженер и более сильный математик, в 1928 году представил научную работу, где предложил формулу для количественной оценки информации²⁰.

С первых строк статьи автор призвал очистить понятие информации от психологического содержания. Информация – физическая величина и точка.

Хартли указывал, что во время коммуникации каждый последующий выбор символа в цепочке делает сообщение более точным. Например, в предложении «Apples are red» первое слово исключает из нашего представления какие-либо другие фрукты («говорю о яблоках»), второе – заостряет внимание на свойствах данной категории фруктов («говорю о свойствах яблок»), третье – накладывает ограничение на мысль о других цветах и оттенках («говорю о красных яблоках»). Таким образом, чтобы высказывание обрело смысл, который мы хотим передать, надо сделать три последовательных шага. Взять первое слово, затем – второе и потом – третье. Если использовать только одно слово или расставить все слова в неправильном порядке, смысл исказится. Алгоритм нарушать нельзя.

Это общее рассуждение. Можно ли к этой логике применить математику? Хартли посчитал, что можно. Количество информации (мера Хартли) – это число последовательных шагов, которое нужно предпринять, чтобы сообщение обрело нужный смысл:

I = log₂N

(здесь I – количество информации, N – количество всех возможных комбинаций).

Под «всеми возможными комбинациями» в приведённом выше примере понимается сочетание слов apples, are, red в любом порядке и в любом долевом количестве. Т.е. сообщение может быть таким: red are apples. Или: apples apples apples. Число возможных комбинаций – 27. И только одно из них обладает тем смыслом, который мы хотим передать. Напоминает творчество борелевских обезьян, не так ли?

Сыграем в игру. Она похожа на игру «да-нет» (вариант – «съедобное-несъедобное»), когда продвигаешься к ответу, отсекая лишние варианты.

У нас есть три слова (are, red, apples). Это заданная длина сообщения. Нам нужно найти фразу, имеющую смысл. Сделаем допущение: мы немного разбираемся в английском языке, и знаем, что сначала должно стоять подлежащее, затем – сказуемое, и замыкает фразу определение. И ещё одно допущение: фразы с повторяющимися словами не отражают нужный нам смысл.

Итак,

1. убрать варианты, где слова повторяются. Таких 21. Остаётся 6;

2. убрать варианты, где первое слово не apples. Таких 4. Остаётся 2;

3. убрать вариант, где второе слово не are. Остаётся один вариант.

Сравним с результатом вычислений по формуле Хартли. I = logN = log27, т.е. округленно 4,8 единиц информации. Или почти пять последовательных операций для преобразования информации из абракадабры в имеющую смысл. Но в нашей игре «да-нет» нам для этого понадобилось всего три шага. Формула Хартли неточна?

Да, это так. Но это не значит, что идея ошибочна. Напомню, что в примере со словами мы сделали несколько допущений, облегчив себе поиск истины.

Возьмём числа (с ними всегда проще и понятнее, чем с буквами и словами) и снова подвергнем формулу проверке.

Допустим, некто загадал число от 1 до 100. Я должен его угадать, использовав минимальное количество вопросов. Согласно формуле Хартли: I = logN = log100, т.е. примерно 6,6 шагов-вопросов мне понадобится. Округлим до 7.

Итак,

1. число больше 50? Ответ: нет.

2. число больше 25? Ответ: нет.

3. число больше 12? Ответ: нет.

4. число больше 6? Ответ: нет.

5. число больше 3? Ответ: да.

6. число больше 5? Ответ: нет.

7. это число 5? Ответ: нет. Значит, загаданное число: 4.

Теоретическое вычисление и практический результат совпали. Формула Хартли доказала свою состоятельность.

Надеюсь, читатель обратил внимание на то, что формула Хартли удивительно напоминает формулу Больцмана для определения величины энтропии термодинамической системы. Это не случайно.

Смысл меры Хартли состоит в том, что она отражает затраты, которые необходимо предпринять, чтобы перевести информацию из неупорядоченной в упорядоченную. И не просто затраты, а затраты минимальные.

И в примере с яблоками, и в примере с числами мы могли бы просто перебирать варианты. В первом случае нам понадобилось бы 27, во втором – 100 шагов (представьте, сколько бы сил и времени занял поиск текста «Гамлета» в творческой куче, которую сотворили обезьяны-машинистки!).

Мы поступили по-другому. Оказалось, что для любой информации есть короткий путь измерения её смысла или ценности, какой бы объёмной они ни была. У всякой информации есть цена. Формула Хартли вычисляет её.

По сути, теоретические работы Найквиста и Хартли – начала информационной теории. Информация, «очищенная от психологических факторов», становится физическим явлением, для которого впервые предложен математический способ измерения.