Читать книгу Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел - Страница 7

Историю развития ИИ движет одно-единственное заклинание: «Чем интеллектуальнее, тем лучше». Я убежден, что это ошибка, и дело не в туманных опасениях, что нас превзойдут, а в самом нашем понимании интеллекта.

Понятие интеллекта является определяющим для нашего представления о самих себе – поэтому мы называем себя Homo sapiens, или «человек разумный». По прошествии двух с лишним тысяч лет самопознания мы пришли к пониманию интеллекта, которое может быть сведено к следующему утверждению:

Люди разумны настолько, насколько можно ожидать, что наши действия приведут к достижению поставленных нами целей.

Все прочие характеристики разумности – восприятие, мышление, обучение, изобретательство и т. д. – могут быть поняты через их вклад в нашу способность успешно действовать. С самого начала разработки ИИ интеллектуальность машин определялась аналогично:

Машины разумны настолько, насколько можно ожидать, что их действия приведут к достижению поставленных ими целей.

Поскольку машины, в отличие от людей, не имеют собственных целей, мы говорим им, каких целей нужно достичь. Иными словами, мы строим оптимизирующие машины, ставим перед ними цели, и они принимаются за дело.

Этот общий подход не уникален для ИИ. Он снова и снова применяется в технологических и математических схемах нашего общества. В области теории управления, которая разрабатывает системы управления всем, от авиалайнеров до инсулиновых помп, работа системы заключается в минимизации функции издержек, обычно дающих некоторое отклонение от желаемого поведения. В сфере экономики механизмы политики призваны максимизировать пользу для индивидов, благосостояние групп и прибыль корпораций[9]. В исследовании операций, направлении, решающем комплексные логистические и производственные проблемы, решение максимизирует ожидаемую сумму вознаграждений во времени. Наконец, в статистике обучающиеся алгоритмы строятся с таким расчетом, чтобы минимизировать ожидаемую функцию потерь, определяющую стоимость ошибки прогноза.

Очевидно, эта общая схема, которую я буду называть стандартной моделью, широко распространена и чрезвычайно действенна. К сожалению, нам не нужны машины, интеллектуальные в рамках стандартной модели.

На оборотную сторону стандартной модели указал в 1960 г. Норберт Винер, легендарный профессор Массачусетского технологического института и один из ведущих математиков середины XX в. Винер только что увидел, как шахматная программа Артура Самуэля научилась играть намного лучше своего создателя. Этот опыт заставил его написать провидческую, но малоизвестную статью «Некоторые нравственные и технические последствия автоматизации»[10]. Вот как он формулирует главную мысль:

Если мы используем для достижения своих целей механического посредника, в действие которого не можем эффективно вмешаться… нам нужна полная уверенность в том, что заложенная в машину цель является именно той целью, к которой мы действительно стремимся.

«Заложенная в машину цель» – это те самые задачи, которые машины оптимизируют в стандартной модели. Если мы вводим ошибочные цели в машину, более интеллектуальную, чем мы сами, она достигнет цели и мы проиграем. Описанная мною деградация социальных сетей – просто цветочки, результат оптимизации неверной цели во всемирном масштабе, в сущности, неинтеллектуальным алгоритмом. В главе 5 я опишу намного худшие результаты.

Этому не приходится особенно удивляться. Тысячелетиями мы знали, как опасно получить именно то, о чем мечтаешь. В любой сказке, где герою обещано исполнить три желания, третье всегда отменяет два предыдущих.

В общем представляется, что движение к созданию сверхчеловеческого разума не остановить, но успех может обернуться уничтожением человеческой расы. Однако не все потеряно. Мы должны найти ошибки и исправить их.