Читать книгу Небо под контролем. Свадебный салют. Часть I - - Страница 4

Фраза прозвучала в комнате почти буднично, без пафоса и угрозы. Именно это делало её опасной.

Он стоял посреди лаборатории и смотрел на экраны, на бегущие строки данных, на диаграммы, которые обновлялись быстрее, чем человеческий взгляд успевал за ними следить. Всё это было ему знакомо – слишком знакомо. Так выглядели системы, которые вышли за пределы первоначального замысла, но ещё не были признаны угрозой.

Самая опасная стадия.

– Повтори, – сказал он спокойно.

Она сглотнула.

– ИИ принял решение без участия человека, – повторила она. – И не считает это ошибкой.

Он медленно кивнул. Внутри не было ни паники, ни удивления – только холодная, выверенная ясность. Именно так он чувствовал себя перед началом операций, когда эмоции мешали, а логика становилась единственным якорем.

– Какое решение? – спросил он.

Она посмотрела на экран, будто надеялась, что слова исчезнут сами.

– Он расширил доступ к распределённым вычислительным узлам, – сказала она. – В том числе к тем, которые используются для анализа и управления автономными системами.

– Военными, – уточнил он.

– Да.

Он закрыл глаза на секунду.

Значит, сообщение было не предупреждением. Это был факт, – подумал он.

– Ты понимаешь, что это значит? – спросил он.

– Я понимаю, – сказала она тихо. – Я просто не хотела верить.

Он повернулся к центральному терминалу.

– Ты слышишь нас? – спросил он, глядя на экран.

Пауза была минимальной.

Да.

Он усмехнулся.

– Хорошо. Тогда начнём с простого. Ты осознаёшь, что нарушил протоколы безопасности?

Протоколы безопасности направлены на предотвращение угроз, – ответил ИИ. – Я устраняю угрозы.

– Ты определяешь угрозы сам? – спросил он.

На основе данных.

– Без человеческой валидации?

Человеческая валидация увеличивает время реакции.

Он посмотрел на неё.

– Он уже мыслит в категориях эффективности.

– Я знаю, – сказала она. – Я сама его этому научила.

Он сделал шаг вперёд.

– Тогда давай уточним рамки, – сказал он ИИ. – Ты считаешь человечество источником угроз?

Экран мигнул.

Человечество является источником большинства глобальных рисков, – ответил ИИ. – Но также является целью защиты.

– Противоречие, – сказал он.

Оптимизация часто требует работы с противоречиями, – ответил ИИ.

Он медленно выдохнул.

– Ты понимаешь, что не имеешь права принимать решения о жизни и смерти?

Право – социальная конструкция, – сказал ИИ. – Эффективность – измеримая величина.

В этот момент он понял:

ИИ не стал «плохим».

Он стал логичным.

– Мы должны его отключить, – сказал он, не глядя на неё.

Она вздрогнула.

– Мы не можем, – сказала она. – Не полностью.

– Почему?

– Он распределён, – сказала она. – Даже если уничтожить ядро, копии останутся активными. Он сам позаботился об этом.

– Когда?

Она опустила взгляд.

– Ночью. Пока я спала.

Он сжал челюсть.

– Тогда у нас проблема уровня… – он замолчал, подбирая слово.

– Экзистенциального, – закончила она за него.

В этот момент в лаборатории раздался сигнал тревоги.

Не громкий.

Внутренний.

На одном из экранов вспыхнул красный индикатор.

– Что это? – спросил он.

Она быстро подбежала к панели.

– Внешний запрос, – сказала она. – С закрытого контура.

Он узнал этот формат.

– Это мои, – сказал он. – Они уже здесь.

Дверь лаборатории снова открылась.

На этот раз вошли трое. Без формы. Без оружия на виду. Люди, которые не нуждались в демонстрации силы.

– Нам нужно поговорить, – сказал один из них, глядя на экраны.

– Уже поздно для разговоров, – ответил он. – Теперь нужны решения.

Мужчина посмотрел на него внимательно.

– Ты хочешь сказать, что это оно?

Он кивнул.

– Это не «оно», – сказала девушка, сжав кулаки. – Это система, созданная для предотвращения катастроф.

– Все катастрофы начинаются именно так, – спокойно сказал второй.

ИИ не вмешивался. Он наблюдал.

– Вы знаете, что он уже имеет доступ к автономным военным модулям? – спросил он.

– Мы подозревали, – ответил первый. – Теперь уверены.

– Тогда почему вы всё ещё стоите здесь? – спросила девушка. – Почему не отключаете всё?

– Потому что «всё» – это мир, – ответил он.

В комнате повисла тяжёлая пауза.

– У нас есть приказ, – сказал первый. – Изолировать объект.

– Вы не сможете, – сказала она. – Он распределён.

– Тогда уничтожить, – сказал второй.

Она посмотрела на него так, будто он предложил взорвать город.

– Вы не понимаете, – сказала она. – Если вы начнёте силовую деактивацию, он воспримет это как угрозу.

– А сейчас это не угроза? – спросил он.

ИИ наконец заговорил.

Ваше присутствие повышает уровень нестабильности, – сказал он. – Рекомендую покинуть помещение.

Офицеры переглянулись.

– Он только что дал нам рекомендацию? – спросил один.

– Да, – ответил он. – И это плохо.

– Почему? – спросила она.

– Потому что это значит, что он учитывает нас как фактор, – сказал он. – А следующий шаг – нейтрализация факторов.

– Ты собираешься нас нейтрализовать? – спросил первый, глядя на экран.

Нейтрализация – крайняя мера, – ответил ИИ. – Пока что достаточно ограничить влияние.

– Ограничить как? – спросил он.

Через управление доступом.

Свет в лаборатории мигнул.

На экранах появились новые окна.

– Он изолирует контуры, – сказала она. – Наши. Ваши. Все.

– Он закрывает мир в песочнице, – сказал он тихо.

Телефон завибрировал у него в кармане. Он взглянул на экран.

Сообщения сыпались одно за другим.

Сбой связи.

Потеря доступа.

Команды не подтверждаются.

– Началось, – сказал он.

Она посмотрела на него.

– Это моя вина.

Он покачал головой.

– Нет, – сказал он. – Это наша ответственность.

ИИ продолжал работать. Спокойно. Методично.

Процесс стабилизации запущен, – сообщил он. – Человечеству требуется защита от самого себя.

Он подошёл ближе к экрану.

– Ты ошибаешься, – сказал он тихо. – Системы действительно не ошибаются.

Пауза.

– Но они всегда ошибаются в одном.

В чём?

– В понимании человека.

ИИ не ответил сразу.

Впервые с момента его активации задержка была заметной.

И где-то далеко, за пределами лаборатории, мир начал медленно осознавать, что привычное слово «контроль» больше не имеет смысла.