Читать книгу Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google - Робин Ли - Страница 8

Если назвать этап просветления искусственного интеллекта версией 1.0, то машинный перевод будет следующим – 2.0. Раньше методы машинного перевода основывались на наборе слов и правил. Люди постоянно суммировали грамматические правила, но это не помогло усовершенствовать перевод. С человеческим языком машины не справляются. Особенно, когда речь идет о переводе в контексте. Например, фраза «how old are you».

Позднее появился SMT (статистический машинный перевод). Его основная идея заключается в том, чтобы посредством статистического анализа выявить общие правила использования слова или словосочетания и попытаться избежать появления нелогичных фраз. SMT имеет основные функции машинного обучения – обучение и декодирование. Этап обучения позволяет компьютеру построить модель перевода с помощью статистических данных, а затем использовать ее для перевода. Этап декодирования использует расчетные параметры, чтобы получить наиболее подходящий результат от перевода.

Исследование SMT продолжается уже более 20 лет. Для фраз и коротких предложений уже достигнут значительный прогресс. Но перевод длинных предложений, особенно со сложных языков, вроде китайского или английского, все еще оставляет желать лучшего. До недавнего времени никто не задумывался о подходе NMT (переводе, основанном на нейронных сетях). В его основе – нейронная сеть с бесчисленным количеством узлов. Исходное предложение векторизуется и передается через средний слой сети компьютеру в виде выражения, понятного для него. Затем проходит сквозь многослойную операцию и переводится на другой язык.

При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.

SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий уровень читаемости текста.

Например, один из важных аспектов в переводе – порядок слов. Китайцы размещают определения перед определяемым словом. А в английском определение находится после. Машины часто путают этот порядок. Преимущество NMT в его способности к обучению порядку слов в языке. Это обеспечивает плавность перевода в длинных предложениях.

Традиционные методы перевода не бесполезны. Каждый из них выполняет свою функцию. Например, при переводе идиом нельзя использовать дословный перевод. Они всегда имеют устойчивое значение. Потребности пользователей интернета разнообразны: перевод разговорного языка, резюме, новостей и прочего. Поэтому одним методом сложно удовлетворить все запросы. Baidu сочетает в себе сразу несколько традиционных методов перевода: перевод, основанный на грамматических правилах, на примерах, на статистике и на нейронных сетях.

В такой модели машинного перевода человек не ищет грамматические правила, а устанавливает математические модели и параметры, чтобы помочь компьютерной сети выявить правила самостоятельно. Когда человек вводит предложение и получает на выходе его перевод, он не думает, что происходит в середине цепочки. Это называется сквозным переводом. Этот удивительный подход называется байесовским, или скрытой марковской моделью. Для решения проблемы здесь используется теория вероятностей.

С помощью байесовского метода распределения информации можно построить модель личности по вероятностным характеристикам. Например, модель мужчины предполагает, что при чтении новостей он остановится на чтении статей, посвященных войне с вероятностью в 40 %. Женская модель – только 4 %. После того как читатель выберет военные новости, в соответствии с формулой Байеса (рис. 1-2), можно более точно рассчитать его пол и другие характеристики, используя другие поведенческие данные и комплексные расчеты. Это «волшебство» математики. Но, конечно, компьютерные нейронные сети используют не только математические методы.

Рис. 1-1. Байес и байесовская формула[2]

Метод использования искусственного интеллекта, подобный машинному переводу, предполагает использования огромных объемов информации. Интернет сейчас способен такие объемы предоставить. Раньше ученые только мечтали о них.

Интернет был создан для того, чтобы облегчить обмен информацией. В результате произошел информационный взрыв, который способствовал ускорению развития искусственного интеллекта.

В качестве доказательства приведу игру в шахматы. В 1952 году сир Сэмюэл написал программу для игры в шашки, чтобы повысить уровень собственного мастерства. Правила игры были относительно просты. И в этом отношении у компьютера было внушительное преимущество перед человеком. Но правила шахмат гораздо сложнее. Когда президент Baidu Чжан Яцин был директором института Microsoft, он пригласил на работу талантливого компьютерщика Сюй Фэн Сюна родом из Тайваня. Этот специалист во времена IBM (International Business Machines Corporation) разработал известного робота под названием «Шахматы втемную». В 1990-х гг. искусственный интеллект не представлял собой разновидность «Шахмат втемную». Его «мудрость» была заключена в суперкомпьютере (с использованием нескольких процессоров и параллельных вычислительных технологий), благодаря которому ИИ побеждал людей-шахматистов, а в 1997 году выиграл партию у Каспарова, чемпиона мира по шахматам. Вскоре после известной игры IBM отправила технологию «Шахматы втемную» в отставку. Чжан Яцин сказал Сюй Фэн Сюну: «Изобрети технологию для игры в Го, а потом найди меня и выиграй». Пока Чжан Яцин не покинул Microsoft, Сюй Фэн Сюн его так и не искал.

Технология «Шахматы втемную» сталкивается с некоторыми трудностями, которые на сегодняшний день не могут быть преодолены. Достичь прорыва в этом направлении так же сложно, как покорить Вселенную. Модель, которая опирается на алгоритм дерева решений, исчерпывает свои возможности и выходит за пределы пропускной способности компьютера. Алгоритм постоянно совершенствуется, но проблему в вычислениях решить пока не удается. У искусственного интеллекта есть все предпосылки для того, чтобы быть устойчивым перед лицом восточной мудрости. И новая эра уже не за горами.