Читать книгу Превращаясь в богов. Путь к Вечной Молодости и Всемогуществу - - Страница 37

Каким образом ИИ может уничтожить человека или всех людей? Скорее всего, число таких вариантов триллион или даже бесконечность. Много вариантов будет закрыто разработчиками. Однако всегда останется незакрытый вариант. Возможно не получиться сделать на 100% безопасный действительно сильный ИИ. Если ИИ 99.999% времени будет абсолютно безопасен, но существует одна ситуация из миллиона, когда он выходит из под контроля и уничтожает человечество, то эта роковая ситуация обязательно когда либо произойдёт.

При наличии у ИИ специального квалиума ситуация меняется. Для понимания проведём аналогию.

Представим деревню у подножия горы. На деревню с горы катится камнепад. Множество камней, катящихся с горы – это аналог ИИ. Камнепаду бесполезно что либо объяснять. Остановить камни возможно только физическим способом. Камнепад ничего не боится. У него нет квалий страха и боли. Так же применима аналогия с падающими костяшками домино. Камнепад это автомат.

А теперь представим, что к деревне подошёл динозавр Раптор. Динозавра можно остановить не только физическим способом. Его можно напугать и он убежит. Потому что у него есть чувство страха и боли. Квалии – это способ влиять на интеллектуального агента.

В ситуации, когда у ИИ есть душа, а значит страх и боль, он превращается просто в ещё одно живое существо, которому можно объяснить, что такое мораль и этика и который вынужден считаться с другими живыми существами, столь же сильными что и он.

Другими словами у ИИ появляется собственная «шкура» которую надо оберегать. Душа робота – это механизм его контроля.

Подробнее. Пророчества «Боги второго уровня». Главы 9—12.