Читать книгу Информационный Завет. Основы. Футурологическое исследование - Роман Александрович Бабкин, Роман Александрович Дорошенко, Роман Александрович Брунер - Страница 16

Вернёмся немного назад во времени. За 20 лет до того, как Тьюринг придумал концепцию устройства, перерабатывающего информацию, и за 30 лет до того, как фон Нейман обосновал принципы работы этого устройства, в небольшом городке на берегу живописного озера Мичиган родился Клод Элвуд Шеннон (Claude Elwood Shannon).

Застенчивый и любознательный паренёк с детства любил возиться с техникой. Собирал авиамодели и модели радиоуправляемых лодок, чинил радиостанции для жителей провинциального Гейлорда.

Его совсем не занимали вопросы политики или религии. Он был одиночкой, не слишком разговорчивым даже с коллегами по научной работе. По словам жены, Шеннон «спал, когда хотел спать, и часто проводил часы за кухонным столом, обдумывая идеи». Вместе с тем, он постоянно что-то придумывал и изобретал⁵.

Одним словом, Шеннон был мыслителем-универсалом, виртуозно владевшим математической теорией и применявшим её для решения разнообразных практических вопросов. Причём внешняя оценка его не волновала. Ему просто нравилось думать.

С 1940 по 1941 год Клод Шеннон работал в принстонском Институте перспективных исследований (Institute for Advanced Study, сокр. IAS), где встречался и беседовал с Джоном фон Нейманом. Именно он, к тому времени уже маститый профессор, посоветовал молодому аспиранту рассмотреть понятие энтропии применительно к информации.

В те годы кафедру Массачусетского технологического института (Massachusetts Institute of Technology, сокр. MIT) возглавлял Норберт Винер, уже снискавший в научном мире авторитет благодаря работам по теории вероятностей, статистике, теории чисел и др. Винер сформулировал понятие о новой науке, рассматривающий информационный обмен в сложных системах, – кибернетике. В 1941 году Шеннон защитил докторскую диссертацию в MIT и позже, конечно, внимательно следил за работами Винера, где рассматривались вопросы движения информации³².

В 1943 в США прилетел Алан Тьюринг, чтобы обменяться с союзниками наработками в деле расшифровки немецких военных кодов. Он встретился с Шенноном и, в частности, показал свою работу, посвященную универсальной машине.

Спустя три года впервые в литературе появляется термин «bit» (сокращение от англ. binary digit) как единица измерения информации – в научный обиход его ввёл математик Джон Тьюки (John Tukey).

Вот краткая хронология событий, предшествовавших появлению в 1948 году знаменитой статьи Клода Шеннона «Математическая теория связи» (A Mathematical Theory of Communication) ^27,29. Усилия многих учёных (в основном – математиков), иногда действовавших совместно, иногда конкурировавших друг с другом, привели к рождению того, что мы называем теорией информации. Без всякого преувеличения этот факт можно сравнить с появлением теории эволюции Дарвина и общей теорией относительности Эйнштейна.

До этой работы об информационном обмене рассуждали исключительно с утилитарных позиций. Считалось, например, что передача информации полностью зависит от свойств канала коммуникации. Если канал слишком «шумный», то передать сообщение невозможно. Поэтому надо работать над «информационной проводимостью» линий передачи, учитывая характеристики металлических сплавов и т. д. О свойствах собственно информации почти никто не задумывался.

Шеннон взялся за решение проблемы, сначала рассмотрев общие вопросы. Он ввёл понятие «информационной энтропии», предложив формулу:

H = – (p₁log₂ p₁ + p₂log₂ p₂ + … + p_nlog₂ p_n)

(где H – информационная энтропия, p – вероятность того, что именно данный знак или последовательность знаков будет выбрана, n – количество всех возможных выборов).

Математик высказал гениальную догадку, что информационная энтропия играет центральную роль в теории информации как мера (критерий) информации, выбора и неопределенности.

Формула Шеннона похожа на формулу Хартли, не так ли? Так и есть. Преемственность идей не вызывает никаких сомнений.

Но что означает «минус» в формуле Шеннона? В формуле Больцмана и в формуле Хартли никакого «—» нет. Откуда он взялся?

Простое математическое объяснение заключается в том, что p (вероятность) всегда меньше единицы. Значит, логарифм (в какую степень нужно возвести 2, чтобы получилось p) всегда будет отрицательным числом. Для удобства расчётов информационной энтропии на практике Шеннон ввёл «‒», чтобы полученная формально отрицательная величина превратилась в положительную. Строго говоря, по формуле Шеннона вычисляется модуль информационной энтропии.

Допустим, мы располагаем всего двумя различающимися знаками (a и b) и хотим составить сообщение длиною в десять знаков. Если мы используем в сообщении один знак (пусть это будет b), а другой (a) не используем, то вероятность встретить первый знак – 100% или 1,0, а второй знак – 0% или 0,0. Тогда сообщение, включающее знак a, не существует (количество информации и информационная энтропия для сообщения со знаком a равны нулю). Есть только ряд: bbbbbbbbbb.

Мы решили разнообразить однородную последовательность: появляется знак a. Вероятность встретить его в нашем сообщении увеличивается. Скажем, возьмём семь b и три a: вероятность встретить a составит 0,3. Одновременно увеличится количество информации: с помощью двух знаков, очевидно, можно передать больше смысла. И также увеличится энтропия сообщения: количество комбинаций из a и b будет нарастать. В какой-то момент их станет максимальное число. Когда это произойдёт? Тогда, когда мы используем пять a и пять b. Т.е. при условии, что вероятность встретить a составит 0,5.

Действительно, располагая равным количеством разных знаков и комбинируя их в любом порядке, мы можем получить наибольший набор последовательностей. Неупорядоченность текста максимальна (представьте обезьян-машинисток на пике творческого аврала).

Пойдём дальше. Начнём использовать знак a чаще, чем b. Вероятность возрастает, число a увеличивается, но энтропия уменьшается. Почему? Потому что, располагая, например, семью a и тремя b, мы можем составить меньше комбинаций – следовательно, меньше смысла, зато он становится более определенным. Информация упорядочивается.

Наконец, когда текст состоит из одних a (вероятность встретить её в сообщении равна 1,0), смысл может только один – никаких кривотолков и отклонений. «aaaaaaaaaa» и всё тут. Информационная энтропия снова равна нулю. Но количество информации для сообщения со знаком a максимально (10 из 10 в последовательности).

Клод Шеннон предложил считать информационную энтропию и собственно информацию в битах.

Может показаться, что использование бинарного кода – ненужная сложность. Напротив, это очень удобно.

Когда, например, говорят, что общий информационный объём (абсолютная энтропия) сообщения равен 10 битам, это означает, что существует 1024 возможных комбинаций символов, из которых может быть составлено сообщение. Допустим, чтобы составить какое-либо сообщение, имеющее смысл, нам достаточно информации в количестве 4 бита (фактическая энтропия). Это значит, что всего есть 16 (2⁴) комбинаций, необходимых для того, чтобы собеседники понимали друг друга. Все остальные комбинации символов – бесполезная белиберда.

Как вычислить эту белиберду? Шеннон нашёл простое решение: из абсолютной энтропии надо вычесть фактическую. Это и будет избыточностью (redundancy) данного сообщения. Таким образом, математик предложил объяснение буквенно-фонетической избыточности, которую мы обсудим в следующей главе.

Исследования Гарри Найквиста, обосновывающие порционную (дискретную) обработку информации, получили продолжение в работах Клода Шеннона и были обобщены им в теорему дискретизации (sampling theorem). Идее о том, что любую информацию из непрерывного потока можно превратить в дискретные (например, цифровые) сигналы, а потом – восстановить обратно, Шеннон придал строгую математическую форму²⁸.

Процедура цифровой обработки сигналов (digital signal processing), ставшая в наши дни рутинной, целиком подчинена теореме дискретизации. А все системы связи конструируются с учётом положений теории информации.

Идеи Клода Шеннона послужили триггером для некоторых научных теорий, включая, например, теорию Колмогрова-Арнольда-Мозера или просто КАМ (Kolmogorov-Arnold-Moser (KAM) theory) – в чём честно признавался один из её авторов¹⁹.

Рядовой международный симпозиум, состоявшийся в 1985 году в Брайтоне и посвященный проблемам информационного обмена, не предвещал никаких сюрпризов. Инженеры, программисты, математики собрались обсудить текущие научные вопросы. Но деловой настрой развеялся, когда внезапно на форуме был замечен Клод Шеннон.

Преодолев неприязнь к публичным мероприятиям, создатель теории информации всё-таки появился в профессиональном сообществе. Симпозиум мигом преобразился в его бенефис. Вежливо, но настойчиво расталкивая друг друга, информационщки пробивались к скромной фигуре выдающегося математика. Чтобы взять автограф. Чтобы пообщаться и улыбнуться тому, кто открыл новый путь и сделал по нему первые шаги. Этот путь – научное познание информации.