Совместимость. Как контролировать искусственный интеллект
Описание книги
В массовом сознании сверхчеловеческий искусственный интеллект – технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать. В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные. О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги – объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход. Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным. Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.
Оглавление
Стюарт Рассел. Совместимость. Как контролировать искусственный интеллект
Предисловие
Зачем эта книга? Почему именно сейчас?
Общий план книги
1. Что, если мы добьемся своего?
Как мы к этому пришли
Что будет дальше
Что пошло не так?
Можем ли мы что-то исправить
2. Разумность людей и машин
Разумность
Компьютеры
Интеллектуальные компьютеры
3. Как может развиваться ИИ?
Ближайшее будущее
Когда появится сверхинтеллектуальный ИИ?
Какие концептуальные прорывы нас ожидают
Представим себе сверхинтеллектуальную машину
Пределы сверхинтеллекта
В чем польза людям от ИИ?
4. Неправомерное использование ИИ
Наблюдение, убеждение и контроль
Уничтожение привычной нам работы
Присвоение других человеческих занятий
5. Слишком интеллектуальный ИИ
«Проблема гориллы»
«Проблема царя Мидаса»
Страх и жадность: инструментальные цели
Взрывоподобное развитие ИИ
6. Спор вокруг не столь могущественного ИИ
Отрицание
Уклонение
Нашизм
Нельзя ли просто…
7. Другой подход к ИИ
Принципы построения полезных машин
Причины для оптимизма
Причины для опасений
8. Доказуемо полезный ИИ
Математические гарантии
Изучение предпочтений по поведению
Игры в помощника
Игра в скрепку
Запросы и инструкции
Токовая стимуляция
Рекурсивное самосовершенствование
9. Затруднение: мы
Люди – разные
Многочисленность людей
Хорошие, отвратительные и завистливые люди
Тупые, эмоциональные люди
Действительно ли у людей есть предпочтения?
10. Проблема решена?
Полезные машины
Управление ИИ
Недобросовестное использование ИИ
Умственная деградация и автономия человека
Приложение А. Поиск решений
Приложение Б. Знание и логика
Приложение В. Неопределенность и вероятность
Приложение Г. Обучение на опыте
Благодарности
Благодарность за предоставленные графические материалы
Отрывок из книги
Эта книга издана в рамках программы «Книжные проекты Дмитрия Зимина» и продолжает серию «Библиотека «Династия». Дмитрий Борисович Зимин – основатель компании «Вымпелком» (Beeline), фонда некоммерческих программ «Династия» и фонда «Московское время». Программа «Книжные проекты Дмитрия Зимина» объединяет три проекта, хорошо знакомые читательской аудитории: издание научно-популярных переводных книг «Библиотека «Династия», издательское направление фонда «Московское время» и премию в области русскоязычной научно-популярной литературы «Просветитель». Подробную информацию о «Книжных проектах Дмитрия Зимина» вы найдете на сайте ziminbookprojects.ru.
Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги – объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход.
.....
Очевидно, эта общая схема, которую я буду называть стандартной моделью, широко распространена и чрезвычайно действенна. К сожалению, нам не нужны машины, интеллектуальные в рамках стандартной модели.
На оборотную сторону стандартной модели указал в 1960 г. Норберт Винер, легендарный профессор Массачусетского технологического института и один из ведущих математиков середины XX в. Винер только что увидел, как шахматная программа Артура Самуэля научилась играть намного лучше своего создателя. Этот опыт заставил его написать провидческую, но малоизвестную статью «Некоторые нравственные и технические последствия автоматизации»[10]. Вот как он формулирует главную мысль:
.....