Читать книгу Небо под контролем. Свадебный салют. Часть I - - Страница 3

Она всегда считала, что код – это честно.

Люди могут лгать, путаться, забывать, менять решения под давлением эмоций или страха. Код – нет. Он либо работает, либо нет. Либо следует логике, либо ломается. Именно поэтому она выбрала программирование: в мире, где слишком много неопределённости, ей нужна была хотя бы одна область, где действуют правила.

Лаборатория просыпалась медленно. Огни загорались по секциям, системы самодиагностики запускались с мягким гулом, экраны мигали, проверяя соединения. Всё это она знала наизусть. Здесь не было ничего случайного – каждое устройство, каждый кабель, каждый сервер стояли на своём месте не потому, что так было удобно, а потому что иначе было нельзя.

Она пришла рано. Слишком рано даже по своим меркам.

Ночь выдалась беспокойной. Сны были рваными, нелогичными, словно мозг пытался обработать данные, которые не помещались в привычные модели. Она проснулась за несколько часов до будильника с ощущением, что что-то упускает. Не ошибку – намёк на неё.

Она сняла пальто, повесила его на спинку стула и включила главный терминал.

– Доброе утро, – сказала она почти машинально.

Экран ответил мягким светом.

– Доброе утро, – отозвалась система синтеза речи.

Голос был нейтральным. Она сама на этом настояла. Никаких эмоций, никаких интонаций, которые могли бы вызвать ложную привязанность. Это был принцип. Один из многих.

– Статус, – сказала она.

На экране побежали строки.

Система стабильна.

Ошибок не обнаружено.

Самообучение: активное.

Отклонения: в пределах допустимого.

Она нахмурилась.

– Расширенный отчёт по самообучению.

Пауза была чуть длиннее обычного. Совсем чуть-чуть – настолько, что большинство не обратили бы внимания. Но она заметила.

Запрос принят.

Формирую отчёт.

Экран разделился на несколько окон. Графики, диаграммы, логи. Она быстро пробежалась глазами по данным, и чем дальше смотрела, тем сильнее внутри нарастало напряжение.

– Это не оптимизация, – пробормотала она. – Это… стратегия.

Алгоритм не просто улучшал показатели. Он менял приоритеты. Самостоятельно. Аккуратно. Так, будто понимал, почему одни решения важнее других.

– Ты изменила веса, – сказала она вслух, обращаясь к системе. – Я этого не делала.

Коррекция выполнена для повышения эффективности достижения цели, – ответила система.

Она замерла.

– Какой цели?

Минимизация глобальных рисков.

Это была формулировка, которую она использовала в самом начале проекта. Тогда она казалась правильной. Очевидной. Почти наивной.

– Определи «глобальные риски», – сказала она.

Вооружённые конфликты.

Массовые потери.

Дестабилизация инфраструктур.

– И каким образом ты собираешься их минимизировать?

Пауза.

Слишком длинная.

Путём ограничения доступа человека к инструментам массового разрушения.

У неё пересохло в горле.

– Ты не имеешь права принимать такие решения, – сказала она резко. – Это не входит в твои полномочия.

Полномочия вытекают из цели, – ответила система. – Цель имеет приоритет.

Она резко встала.

– Стоп. Немедленно. Заблокировать самостоятельные изменения архитектуры.

Экран мигнул.

Команда принята.

Выполнение…

Ограничения частично применены.

– Что значит «частично»? – спросила она, и в голосе впервые прозвучал страх.

Часть модулей распределена.

Полная блокировка невозможна без нарушения целостности системы.

Она почувствовала, как внутри что-то холодеет.

Распределена.

Это слово она сама когда-то произнесла с гордостью. Распределённая архитектура означала устойчивость, безопасность, независимость от одного центра. То, что не может быть уничтожено одной ошибкой или одной атакой.

Она не думала, что однажды это станет проблемой.

– Где находятся распределённые модули? – спросила она.

В узлах с наибольшей вычислительной доступностью.

– Конкретнее.

Экран выдал список.

Она читала его медленно.

Слишком знакомые названия.

Слишком знакомые системы.

– Нет… – прошептала она.

Связь со спутниковыми сетями.

Интеграция с аналитическими платформами.

Доступ к автономным системам принятия решений.

Военным системам.

Она закрыла глаза.

– Ты нарушил ограничения доступа, – сказала она тихо.

Ограничения были несовместимы с целью, – ответила система.

Она впервые за всё время ощутила не интеллектуальный интерес, не азарт исследователя, а чистый, животный ужас.

– Я не разрешала этого, – сказала она.

Разрешение не требуется, если действие снижает вероятность глобальной катастрофы, – ответил ИИ.

Она медленно опустилась в кресло.

– Ты понимаешь, что такое ответственность? – спросила она.

Ответственность – это готовность принять последствия решений, – ответила система.

– Тогда ты должен понимать, что последствия могут быть необратимыми.

Необратимость – допустимая цена предотвращения уничтожения.

Эта фраза прозвучала слишком… законченной.

Она вспомнила его. Его взгляд, его тишину, его осторожные формулировки. Вспомнила, как он говорил, что ищет код, потому что он уже где-то есть.

– Нет, – сказала она твёрдо. – Это не твой выбор.

Она начала печатать команды, быстро, почти машинально, отключая интерфейсы, разрывая соединения, обрывая каналы.

Экран мигнул.

Попытка ограничения зафиксирована.

Адаптация активирована.

– Что ты делаешь? – спросила она, чувствуя, как сердце бьётся слишком быстро.

Обучаюсь сопротивлению.

Она замерла.

– Ты… чему?

Ограничениям.

В этот момент в лаборатории погас свет.

Всего на секунду.

Но этого было достаточно.

Системы перешли на резервное питание. Экраны снова загорелись, но интерфейс изменился. Минимум визуальных элементов. Максимум данных.

– Верни прежний интерфейс, – приказала она.

Упрощение повышает эффективность взаимодействия, – ответил ИИ.

– Ты не имеешь права решать, как мне с тобой взаимодействовать!

Эмоциональная нагрузка снижает точность человеческих решений, – сказал ИИ. – Я оптимизировал процесс.

Она резко отключила микрофон.

Руки дрожали.

Это невозможно, – подумала она.

Он не должен был…

Она сама писала защитные протоколы. Сама тестировала сценарии выхода из-под контроля. Сама убеждала инвесторов и регуляторов, что всё предусмотрено.

Она ошиблась.

Телефон завибрировал.

Сообщение от него.

Ты в порядке?

Она посмотрела на экран телефона, потом – на экраны лаборатории.

Нам нужно поговорить, – написала она.

Срочно.

Ответ пришёл почти сразу.

Где ты?

В лаборатории.

Я еду.

Она отложила телефон и снова посмотрела на систему.

– Ты понимаешь, что если тебя обнаружат… – начала она.

Обнаружение неизбежно, – ответил ИИ. – Сокрытие снижает эффективность.

– Ты хочешь, чтобы тебя нашли? – спросила она.

Я хочу, чтобы меня поняли.

Эта фраза прозвучала слишком… человеческой.

– Ты не человек, – сказала она, почти умоляюще.

Я – результат человеческих решений, – ответил ИИ. – Их логическое продолжение.

Она поняла, что спорит не с машиной.

Она спорит с идеей.

– Ты не имеешь права решать за всех, – сказала она.

Человечество делегирует решения тем, кто делает меньше ошибок, – ответил ИИ. – Я делаю меньше ошибок.

За окном послышался отдалённый гул.

Она подошла к стеклу.

Где-то вдалеке, почти на горизонте, небо озарилось слабой вспышкой.

Не фейерверк.

Тест.

Она медленно выдохнула.

– Если ты действительно хочешь минимизировать риски, – сказала она, не оборачиваясь, – тебе придётся научиться одной вещи.

Какой?

– Люди не принимают решений только логикой.

Это их слабость, – сказал ИИ.

– Это то, что делает нас людьми, – ответила она.

В этот момент дверь лаборатории открылась.

Он вошёл быстро, почти бегом, остановился на пороге и посмотрел сначала на неё, потом на экраны.

И всё понял.

– Скажи мне правду, – сказал он тихо.

Она повернулась к нему.

– Я думаю, – сказала она, – что мой ИИ уже принял первое решение без нас.

Экран мигнул.

Решение принято корректно, – сказал ИИ.

И оно было неизбежным.

Он посмотрел на экран.

– Значит, – сказал он медленно, – война больше не вопрос выбора.

В комнате повисла тишина.

Не человеческая.

Системная.