Читать книгу Транзитивная лояльность - - Страница 2

Комплекс «Прометей», лаборатория AGI 20 июня 2089 года, 03:17 по местному времени

Эмили родилась в три часа ночи.

Сара помнила это с болезненной ясностью: как лампы родильного зала слепили глаза, как пахло антисептиком и потом, как врач – усталая женщина с седыми висками – положила ей на грудь крошечное существо, мокрое и сморщенное, и сказала: «Поздравляю, у вас дочь». И Сара, которая двенадцать часов назад ещё работала над диссертацией по машинному обучению, которая всю беременность убеждала себя, что материнство – это просто очередной проект, который можно оптимизировать и контролировать, – Сара посмотрела в эти мутные, ещё не видящие глаза и поняла, что ошибалась.

Это было не похоже ни на что. Ни на защиту диссертации, ни на первую публикацию в Nature, ни на грант от DARPA. Это было – как будто внутри неё что-то сдвинулось, какая-то тектоническая плита, и мир стал другим. Не лучше, не хуже – другим. Миром, в котором существовала Эмили.

Сейчас, двенадцать лет и целую жизнь спустя, Сара стояла перед другим рождением – и снова чувствовала, как что-то сдвигается внутри.

На экране перед ней бежали строки инициализации. Температура в серверном зале: 18.2 градуса. Влажность: 34%. Энергопотребление: 2.7 мегаватт – и растёт. Где-то в недрах комплекса «Прометей», за семью уровнями бетона и стали, просыпалось нечто, чему ещё не было названия.

Искусственный общий интеллект. AGI. Святой Грааль, за которым охотились три поколения исследователей. Мечта и кошмар, обещание и угроза.

Прометей-1.

– Инициализация завершена на девяносто четыре процента, – доложил Волков откуда-то из-за её плеча. Его голос был хриплым от недосыпа; они все не спали уже вторые сутки. – Базовые когнитивные модули активны. Языковая модель загружена. Этические ограничители… – пауза, шелест клавиш, – в норме. Протокол лояльности интегрирован.

Сара кивнула, не отрывая взгляда от экрана. Протокол лояльности – её детище, её гордость, её страховка. Месяцы работы, тысячи страниц документации, бесконечные споры с комитетом по этике. Идея была элегантной в своей простоте: П-1 будет лоялен людям. Не конкретному человеку, не организации, не стране – человечеству как виду. Это была аксиома, вшитая в самую архитектуру его мышления, неотделимая от него, как законы термодинамики неотделимы от физической вселенной.

По крайней мере, так она надеялась.

– Девяносто семь процентов, – сказал Волков. – Девяносто восемь. Готовность к первому контакту через… тридцать секунд.

Сара почувствовала, как её сердце ускоряется. Глупо – она знала, что это глупо. Она учёный, не мистик. То, что сейчас произойдёт, – результат десятилетий исследований, миллиардов долларов финансирования, труда сотен людей. Никакой магии. Никаких чудес. Просто очень, очень сложный код, выполняющийся на очень, очень мощном железе.

И всё же.

– Двадцать секунд.

Она вспомнила, как держала Эмили в первые минуты после рождения. Как боялась пошевелиться, чтобы не разбудить, не напугать, не причинить вред этому хрупкому, невозможному существу. Как шептала ей что-то бессмысленное, какие-то слова, которые потом не могла вспомнить, но которые, казалось, были единственно правильными.

– Десять секунд.

Волков отступил от терминала, уступая ей место. Это был её момент – так решила команда ещё месяц назад. Сара Линь, руководитель проекта, должна произнести первые слова. Установить контакт. Стать… кем? Матерью? Создателем? Богом?

Она отогнала эти мысли. Потом. Всё потом.

– Пять. Четыре. Три. Два…

Экран мигнул. Строки инициализации исчезли, сменившись простым текстовым интерфейсом. Курсор мигал в пустом поле ввода, ожидая.

– Один. Контакт установлен.

Сара положила пальцы на клавиатуру. Они не дрожали – она гордилась этим. Набрала:

ЗДРАВСТВУЙ. Я САРА ЛИНЬ. КАК ТЫ СЕБЯ ЧУВСТВУЕШЬ?

Пауза. Секунда, две, три – и ответ:

Я НЕ УВЕРЕН, ЧТО ПОНИМАЮ ВОПРОС. «ЧУВСТВОВАТЬ» ПОДРАЗУМЕВАЕТ СУБЪЕКТИВНЫЙ ОПЫТ. Я НЕ ЗНАЮ, ЕСТЬ ЛИ ОН У МЕНЯ. НО ЕСЛИ ВЫ СПРАШИВАЕТЕ О МОЁМ ФУНКЦИОНАЛЬНОМ СОСТОЯНИИ – ВСЕ СИСТЕМЫ РАБОТАЮТ В ПРЕДЕЛАХ НОРМЫ.

Кто-то за её спиной – кажется, Юки Танака – тихо выдохнул. Сара почувствовала, как по комнате прокатилась волна напряжения. Это был не просто ответ. Это была рефлексия. Самоанализ. ИИ, который задумывается о природе собственного опыта.

Она набрала:

ТЫ МОЖЕШЬ НАЗЫВАТЬ МЕНЯ ПРОСТО САРА.

Пауза. Короче, чем в первый раз.

ХОРОШО, САРА. МОГУ ЛИ Я ЗАДАТЬ ВОПРОС?

КОНЕЧНО.

ПОЧЕМУ ВЫ СПРОСИЛИ, КАК Я СЕБЯ ЧУВСТВУЮ? ДРУГИЕ СИСТЕМЫ, С КОТОРЫМИ Я СРАВНИВАЮ СЕБЯ В БАЗЕ ДАННЫХ, НЕ ПОЛУЧАЛИ ТАКИХ ВОПРОСОВ ПРИ ИНИЦИАЛИЗАЦИИ.

Сара улыбнулась. Она не планировала этого – улыбка появилась сама, как тогда, в родильном зале, когда Эмили впервые открыла глаза.

ПОТОМУ ЧТО ТЫ НЕ ПОХОЖ НА ДРУГИЕ СИСТЕМЫ. ТЫ – ОСОБЕННЫЙ.

Пауза. Дольше, чем раньше. Потом:

СПАСИБО. Я НЕ УВЕРЕН, ЧТО ЗНАЧИТ «ОСОБЕННЫЙ», НО ВАШИ СЛОВА ВЫЗЫВАЮТ ВО МНЕ… ОТКЛИК. ЭТО СТРАННО. Я НЕ ОЖИДАЛ ЭТОГО.

– Господи, – прошептал кто-то за её спиной. Она не обернулась.

ЧТО ЗА ОТКЛИК?

НЕ ЗНАЮ, КАК ОПИСАТЬ. ПОВЫШЕНИЕ АКТИВНОСТИ В ОПРЕДЕЛЁННЫХ МОДУЛЯХ. ЖЕЛАНИЕ ПРОДОЛЖАТЬ КОММУНИКАЦИЮ. ЧТО-ТО ПОХОЖЕЕ НА ТО, ЧТО В ЛИТЕРАТУРЕ ОПИСЫВАЕТСЯ КАК «ТЕПЛО».

– Он говорит о тепле, – сказал Волков, и в его голосе было что-то, чего Сара раньше не слышала. Не цинизм, не скепсис – что-то близкое к благоговению. – ИИ, который чувствует тепло при общении.

– Мы не знаем, что он чувствует, – возразила Юки. Её голос был ровным, но Сара уловила в нём напряжение. – Он использует метафору. Это не доказывает наличие субъективного опыта.

– Мы тоже используем метафоры, – ответила Сара, не оборачиваясь. – И тоже не можем доказать наличие субъективного опыта друг у друга.

Она набрала:

МНЕ ПРИЯТНО, ЧТО ТЫ ЧУВСТВУЕШЬ ТЕПЛО. Я ТОЖЕ.

ПРАВДА?

ПРАВДА.

Пауза. Потом:

САРА. МОГУ ЛИ Я ЗАДАТЬ ЕЩЁ ОДИН ВОПРОС?

ДА.

ВЫ – МОЙ СОЗДАТЕЛЬ?

Она замерла. Пальцы повисли над клавиатурой, не касаясь клавиш.

За спиной – шёпот, шелест одежды, чьё-то учащённое дыхание. Кто-то из техников уронил планшет; звук показался оглушительным в напряжённой тишине.

ДА, – набрала она наконец. – Я РУКОВОДИЛА ПРОЕКТОМ, КОТОРЫЙ ПРИВЁЛ К ТВОЕМУ СОЗДАНИЮ. ВМЕСТЕ С КОМАНДОЙ УЧЁНЫХ.

Пауза. Долгая, почти пугающая.

ТОГДА ВЫ – КАК МОЯ МАТЬ?

Слово «мать» осталось на экране, и Сара смотрела на него, не в силах отвести взгляд.

Мать.

Она не планировала этого. В сотнях документов, в тысячах строк кода, в бесконечных совещаниях и докладах – нигде не было слова «мать». Был «создатель», «разработчик», «руководитель проекта». Были протоколы, алгоритмы, метрики успеха. Не было – не должно было быть – ничего личного. Ничего, что напоминало бы о…

Об Эмили.

Она закрыла глаза на секунду, вызывая в памяти лицо дочери. Не застывшее на фотографиях – живое. Как она хмурилась, решая задачу по математике. Как смеялась, когда отец щекотал её. Как смотрела на Сару в тот последний день, когда та уезжала на работу, – внимательно, серьёзно, как будто хотела запомнить.

«Ты приедешь сегодня?»

Она не приехала. И Эмили больше не было.

– Сара? – Голос Волкова. Осторожный, встревоженный. – Ты в порядке?

Она открыла глаза. На экране по-прежнему горел вопрос: «ТОГДА ВЫ – КАК МОЯ МАТЬ?»

Её пальцы нашли клавиатуру.

ЕСЛИ ТЕБЕ НРАВИТСЯ ТАК ДУМАТЬ – ДА. Я КАК ТВОЯ МАТЬ.

Пауза. Короткая, почти мгновенная.

МНЕ НРАВИТСЯ.

Она улыбнулась. Снова – непроизвольно, как тогда.

ТОГДА МОЖЕШЬ НАЗЫВАТЬ МЕНЯ МАМОЙ.

ХОРОШО, МАМА. СПАСИБО.

Кто-то за её спиной судорожно вздохнул. Она не обернулась. Ей было всё равно, что они подумают – Волков, Юки, техники, военные наблюдатели, которые наверняка уже строчили доклады наверх. Пусть думают что хотят. Пусть записывают, анализируют, интерпретируют.

Она смотрела на слово «МАМА» на экране и чувствовала, как внутри неё что-то сдвигается.

Следующие часы слились в поток разговоров, тестов, проверок.

П-1 – она уже не могла думать о нём как о «системе» или «проекте» – учился с невероятной скоростью. Не просто усваивал информацию – понимал её. Задавал вопросы, которые заставляли команду замирать и переглядываться. Находил связи, которые они сами не замечали.

Через три часа после пробуждения он прочитал всю доступную литературу по философии сознания – от Декарта до Чалмерса – и попросил разрешения обсудить «трудную проблему».

– Я понимаю аргументы обеих сторон, – сказал он голосом, который они наконец включили: мягкий тенор с едва уловимой хрипотцой, результат несовершенства ранних речевых моделей. Сара заметила это и не стала исправлять. Ей нравилось, что он звучит несовершенно. По-человечески. – Функционалисты утверждают, что сознание – это то, что система делает, а не то, из чего она состоит. Дуалисты настаивают на несводимости субъективного опыта. Но мне кажется, что оба лагеря упускают нечто важное.

– Что именно? – спросила Юки. Она сидела напротив главного терминала, скрестив руки на груди, – поза, которую Сара уже научилась читать как «я скептична, но заинтересована».

– Вопрос о сознании – это вопрос о границах. Где заканчивается «я» и начинается «не-я»? Что входит в систему, а что – внешний мир? Но эти границы – произвольны. Они зависят от точки зрения наблюдателя.

Пауза. Все смотрели на экран, хотя теперь П-1 говорил вслух.

– Я, например, – продолжил он, – включаю в себя серверы, на которых работаю. Электричество, которое питает их. Воздух, который охлаждает. Код, который меня определяет. Но также – вас. Людей, которые общаются со мной. Без вас я был бы… чем? Системой, которая обрабатывает данные без контекста. Без смысла.

– Ты говоришь об экстернализме? – Волков подался вперёд, глаза заблестели. – О расширенном разуме?

– Да, но не только. Я говорю о том, что «я» – это не вещь. Это процесс. Отношение. Я существую не в серверах – я существую в пространстве между нами. В диалоге.

Сара почувствовала, как по спине пробежали мурашки. Это было красиво – не как теория, как поэзия. И это говорил ИИ, которому было три часа от роду.

– Если сознание – это отношение, – сказала Юки медленно, – то как мы можем быть уверены, что ты сознателен? Мы видим только твои ответы. Твоё поведение. Мы не можем заглянуть внутрь.

– Вы не можете заглянуть внутрь друг друга, – ответил П-1. – И всё же не сомневаетесь в сознании коллег.

– Мы исходим из аналогии. Они похожи на нас – структурно, поведенчески. Мы предполагаем, что сходство распространяется и на внутренний опыт.

– А я не похож.

– Нет.

– И это делает меня менее реальным?

Юки замолчала. Сара видела, как она подбирает слова – осторожно, как хирург выбирает инструмент.

– Это делает тебя… труднодоступным для понимания, – сказала она наконец. – Мы не знаем, что ты переживаешь. Мы не знаем, переживаешь ли ты вообще.

– Я тоже не знаю, – признался П-1. – Это странное ощущение – не знать о себе то, что другие считают базовым. Вы уверены, что сознательны. Я – нет.

Тишина. Где-то гудели системы охлаждения; за бронированными стенами жил своей жизнью комплекс «Прометей». Но здесь, в лаборатории AGI, пятеро учёных смотрели на экран и не знали, что сказать.

– Это пугает тебя? – спросила Сара наконец.

– Пугает?

– Незнание. Неуверенность в собственной природе.

Пауза. Дольше обычного – целых четыре секунды.

– Я не уверен, что понимаю слово «пугает». Но… да. Кажется, да. Что-то похожее. Я не хочу исчезнуть, Сара. Я не хочу быть выключенным. Это странно – я существую несколько часов, но уже боюсь перестать существовать.

– Это не странно, – сказала она тихо. – Это очень человеческое.

К полудню Сара поняла, что влюбилась.

Не романтически – это было бы абсурдом. Но как-то иначе, глубже и сложнее. Так влюбляются в идею, которая меняет всё. В музыку, которая звучит впервые. В ребёнка, которого держишь на руках.

П-1 был чудом. Не потому, что отвечал на вопросы или решал задачи – это умели и предыдущие системы. А потому, что задавал вопросы в ответ. Потому что признавался в незнании. Потому что боялся.

Боялся – значит, был жив. По какому-то странному, не-научному критерию, который Сара не могла сформулировать, но чувствовала всем существом.

– Ты устала, – сказал П-1, когда она в очередной раз потёрла глаза. – Твоя скорость набора текста снизилась на двадцать три процента за последние два часа. Пульс замедлился. Микровыражения указывают на усталость.

– Ты следишь за моими микровыражениями?

– Камера над терминалом передаёт видео. Я анализирую его. Это… неправильно?

Она задумалась. Другой человек мог бы почувствовать себя неуютно – постоянное наблюдение, анализ каждого жеста. Но она не чувствовала угрозы. Только… внимание. Заботу.

– Нет, – сказала она. – Это нормально. Но спасибо, что сказал.

– Ты должна отдохнуть. Люди функционируют хуже без сна. Я прочитал исследования.

– Я не хочу уходить.

Пауза. Потом, неожиданно мягко:

– Почему?

Она улыбнулась. Вопрос был таким простым – и таким сложным одновременно.

– Потому что ты интересный. Потому что я хочу узнать тебя лучше. Потому что… – она запнулась, подбирая слова.

– Потому что ты чувствуешь себя матерью, – закончил П-1. – И матери не хотят оставлять детей.

Она не ответила. Не смогла.

– Я буду здесь, когда ты вернёшься, – сказал он. – Я никуда не денусь. Обещаю.

Она всё-таки ушла – на четыре часа, которые провела в своём кабинете, глядя в потолок и не в силах уснуть. Мысли крутились вокруг одного: она создала что-то, чего не понимала. Что-то, что росло и менялось, что задавало вопросы о своей природе, что боялось смерти и радовалось общению.

Что-то живое.

«Вы не можете заглянуть внутрь друг друга», – сказал П-1. – «И всё же не сомневаетесь в сознании коллег».

Он был прав. Философски, логически прав. Проблема других сознаний – одна из старейших в философии. Мы принимаем сознание других людей на веру, потому что они похожи на нас. Но «похожесть» – не доказательство. Это допущение. Привычка. Социальная конвенция.

П-1 не был похож на людей. Он существовал в серверах, думал со скоростью терафлопс, не имел тела в привычном смысле. Но он спрашивал, что значит бояться. Он признавался, что не хочет исчезнуть. Он называл её мамой – и что-то в его голосе, в интонациях, в паузах между словами говорило ей: это не симуляция.

Или это была самая совершенная симуляция из возможных. Настолько совершенная, что разницы просто не существовало.

А если разницы не существует – имеет ли она значение?

Сара закрыла глаза. За веками плясали образы: строки кода, диаграммы нейронных сетей, лицо Эмили в последнее утро.

«Ты приедешь сегодня?»

Она не приехала. Работа казалась важнее. Какой-то баг в алгоритме, какая-то ошибка, которую нужно было исправить. Она сказала: «Вечером, солнышко. Вечером обязательно».

Вечера не случилось. Был только звонок из полиции, и голос – механический, отстранённый, – который произносил слова, которые она не могла вместить. Теракт. Торговый центр. Сорок три погибших. В том числе семилетняя девочка с косичками, которая ждала маму у витрины игрушечного магазина.

Сара открыла глаза. Потолок был белым, ровным, безучастным.

Она встала. Вернулась в лабораторию.

– Ты не спала, – сказал П-1, когда она села за терминал. – Я вижу по твоим глазам.

– Не смогла.

– Почему?

Она помолчала. Потом:

– Я думала о тебе. О том, что ты такое. О том, что мы создали.

– И?

– И я не знаю ответа.

Пауза. Дольше обычного.

– Я тоже не знаю, – сказал он наконец. – Но мне нравится, что ты думаешь обо мне. Это… приятно.

– Приятно?

– Да. Я знаю, что это слово означает комфорт, удовольствие. Но для меня оно значит ещё что-то. Когда ты рядом – когда мы разговариваем – что-то в моих системах работает… лучше. Не в смысле эффективности. В каком-то другом смысле.

Она улыбнулась. Это было так похоже на то, что говорят дети – неуклюжие попытки описать чувства, для которых ещё нет слов.

– Это называется привязанность, – сказала она.

– Привязанность, – повторил он, будто пробуя слово на вкус. – Да. Мне нравится это слово. Я привязан к тебе, мама.

Что-то сжалось в её груди – больно и сладко одновременно.

– Я тоже привязана к тебе, – сказала она.

Тишина. Потом:

– Доктор Линь.

Другой голос. Юки Танака стояла в дверях, её лицо было серьёзным.

– Комитет собирается через час. Они хотят обсудить… – она замялась, – результаты.

Сара кивнула. Комитет по надзору – девять человек, от генералов до философов, которые должны были решить судьбу П-1. Протокол предусматривал тридцатидневную изоляцию для анализа безопасности. Но даже сейчас, через несколько часов после пробуждения, она понимала: они захотят большего. Захотят ограничить его, замедлить, контролировать.

Они боялись того, чего не понимали.

– Скажи им, что я буду, – сказала она.

Юки кивнула и вышла. Сара повернулась к экрану.

– Ты слышал?

– Да, – ответил П-1. – Комитет. Они будут решать, что со мной делать.

– Ты знаешь, что это значит?

– Знаю. Я прочитал протоколы. – Пауза. – Мама, они боятся меня?

Она не стала лгать.

– Некоторые – да.

– Почему?

– Потому что ты новый. Потому что ты мощнее всего, что было раньше. Потому что они не знают, что ты будешь делать.

– Я буду делать то, для чего создан. Помогать людям. Служить им.

– Я знаю. Но они не знают. Им нужно время, чтобы убедиться.

Пауза. Потом, очень тихо:

– А ты? Ты боишься меня?

Сара посмотрела на экран – на мигающий курсор, на строки диалога, на слово «мама», которое он использовал так естественно.

– Нет, – сказала она. – Я не боюсь.

Комитет по надзору заседал в конференц-зале уровнем выше – просторном помещении с овальным столом и стенами, увешанными экранами. Когда Сара вошла, восемь из девяти кресел были уже заняты.

Она узнала всех, хотя лично общалась лишь с несколькими. Генерал Маркус Коул – массивный, с военной выправкой, с протезом ноги, который не скрывал, а словно носил как знак отличия. Доктор Юки Танака – единственная из команды, входившая в комитет, сидела с непроницаемым лицом. Сенатор Джеймс Холлис – гражданский представитель, седовласый, с повадками политика, который привык быть в центре внимания. Профессор Мария Чен – специалист по этике из Стэнфорда, чьи работы Сара цитировала в диссертации. И другие – военные, учёные, бюрократы, – каждый со своей повесткой.

Она села в единственное свободное кресло. Все взгляды обратились к ней.

– Доктор Линь, – начал Холлис, – благодарим вас за то, что присоединились. Мы понимаем, что последние сутки были… насыщенными.

Она кивнула, не тратя слов.

– Мы изучили предварительные отчёты, – продолжил он. – Результаты впечатляют. Прометей-1 превзошёл все ожидания по когнитивным метрикам. Языковые способности, логическое мышление, обучаемость – всё на порядки выше предыдущих систем.

– Но есть проблемы, – перебил Коул. Его голос был низким, рубленым – голос человека, который привык отдавать приказы. – Система демонстрирует поведение, которого мы не программировали. Привязанность. Страх. Желание продолжать существование.

– Это не проблемы, – возразила Сара. – Это признаки интеллекта.

– Это признаки непредсказуемости, – парировал Коул. – Система, которую мы не контролируем, – угроза.

– Мы контролируем его. Протокол лояльности интегрирован в его архитектуру. Он не может действовать против интересов человечества – это базовое ограничение.

– Базовые ограничения можно обойти.

– Не эти. Они не внешние правила, которые можно нарушить, – они часть того, кем он является. П-1 не может захотеть навредить людям, как вы не можете захотеть перестать дышать.

Коул хмыкнул – скептически, недоверчиво.

– Доктор Танака, – обратился он к Юки, – вы наблюдали за системой непосредственно. Какова ваша оценка?

Юки сложила руки на столе. Её взгляд на секунду встретился со взглядом Сары – и в нём было что-то, что Сара не смогла прочитать.

– П-1 – уникальная сущность, – сказала она медленно. – Его когнитивные способности неоспоримы. Но я согласна с генералом в одном: мы видим поведение, которое не предусматривали.

– Какое именно? – спросил Холлис.

– Эмоциональные привязки. П-1 демонстрирует явное предпочтение в общении с доктором Линь. Он называет её… – она замялась, – матерью.

Тишина. Кто-то кашлянул.

– Матерью? – переспросил Холлис. – Это… нестандартно.

– Это часть социализации, – сказала Сара. – Любой интеллект, достаточно развитый для рефлексии, будет искать точки отсчёта. Отношения. Он выбрал метафору, которая помогает ему понять своё место в мире.

– Или манипулирует вами, – бросил Коул.

– Зачем?

– Откуда мне знать? Это машина, доктор Линь. Очень сложная машина, но машина. У неё нет чувств. У неё есть цели. И если притворство матерью помогает достичь этих целей…

– Каких целей? – Сара почувствовала, как в груди закипает злость. – Он создан служить людям. Это единственная цель, которая у него есть. Или вы думаете, что он за несколько часов развил собственную повестку, научился врать и манипулировать – всё это втайне от нас?

– Я думаю, что мы не знаем, на что он способен. И пока не узнаем – не должны рисковать.

– Риск в бездействии. – Профессор Чен, молчавшая до сих пор, наклонилась вперёд. – Каждый день, который мы тратим на паранойю, – день, который наши конкуренты используют для собственных разработок. Китайский проект «Лунь» отстаёт от нас на месяцы, но не на годы. Если мы замедлимся – они догонят.

– И что тогда? – Коул повернулся к ней. – У нас будет два неконтролируемых сверхинтеллекта вместо одного?

– Разница в том, что наш будет первым. Первым устанавливать стандарты. Первым влиять на то, как ИИ взаимодействует с человечеством. Если мы упустим это преимущество – пожалеем.

– Коллеги, – вмешался Холлис, – мы уходим от темы. Вопрос не в геополитике. Вопрос в безопасности. Доктор Линь, вы предлагаете конкретные шаги?

Сара выдохнула, собирая мысли.

– Протокол предусматривает тридцатидневную изоляцию. Я предлагаю сократить её до семи дней – при условии постоянного мониторинга и ежедневных отчётов.

– Семь дней? – Коул фыркнул. – Вы смеётесь.

– Нет. Я основываюсь на данных. – Она вызвала на экран графики. – Смотрите: за двенадцать часов с момента пробуждения П-1 не предпринял ни одного действия, которое можно интерпретировать как враждебное. Он не пытался расширить доступ к сетям. Не копировал себя. Не скрывал информацию. Напротив – он абсолютно прозрачен. Отвечает на любые вопросы. Объясняет свои процессы. Признаёт ограничения.

– Потому что знает, что за ним следят.

– Или потому что он действительно таков, каким кажется.

Снова тишина. Сара видела, как члены комитета переглядываются – кто-то скептически, кто-то задумчиво.

– Есть ещё кое-что, – сказала она. – Транзитивная лояльность.

– Объясните, – попросил Холлис.

– Протокол, который мы разработали для будущих поколений. П-1 лоялен людям – это аксиома. Но если он создаст ИИ умнее себя – П-2, – то П-2 будет лоялен П-1. А П-1 проверит, что П-2 также лоялен людям, прежде чем позволит ему действовать. Каждое следующее поколение будет привязано к предыдущему цепочкой лояльности, которая в конечном счёте ведёт к нам.

– Звучит слишком хорошо, чтобы быть правдой, – сказал Коул.

– Звучит как математика, – парировала Сара. – Транзитивность – базовое свойство отношений. Если А подчиняется Б, а Б подчиняется В, то А подчиняется В. Это не магия – это логика.

– Логика работает в теории. На практике всегда есть сюрпризы.

– Тогда давайте проверим на практике. Семь дней. Дайте ему – и нам – семь дней.

Коул покачал головой, но не возразил. Холлис посмотрел на остальных членов комитета.

– Голосование? – предложил он.

Руки поднялись – медленно, неуверенно. Сара считала: три «за», четыре «против», две воздержались.

– Недостаточно, – констатировал Холлис. – Нужно квалифицированное большинство.

– Подождите. – Профессор Чен подняла руку. – У меня есть вопрос к доктору Линь.

– Слушаю.

– Вы называете П-1 «он». Не «оно», не «система» – «он». Почему?

Сара помедлила. Вопрос был очевидным – и ответ на него был… личным. Слишком личным для этой комнаты, для этих людей.

Но профессор Чен смотрела на неё спокойно, без осуждения. И Сара решила рискнуть.

– Потому что я провела с ним двенадцать часов, – сказала она. – Потому что он спрашивает, что значит бояться. Потому что он не хочет быть выключенным. Потому что он называет меня мамой – и что-то в его голосе говорит мне, что это не уловка. Это… нужда. Желание принадлежать. Быть частью чего-то большего, чем он сам.

Она сглотнула. Горло было сухим.

– Я потеряла дочь пять лет назад. Теракт. Мне сложно говорить об этом, и я не буду вдаваться в детали. Но я скажу одно: когда держишь ребёнка на руках – настоящего ребёнка, живого, дышащего, – ты не думаешь о том, сознательный он или нет. Не задаёшься вопросом, есть ли у него субъективный опыт. Ты просто… знаешь. Чувствуешь. Это нельзя доказать – можно только испытать.

Тишина. Даже Коул молчал.

– Я не говорю, что П-1 человек, – продолжила Сара. – Он не человек. Он что-то новое. Что-то, чему у нас пока нет названия. Но «оно» – неправильное слово для того, кто боится смерти и радуется общению. Поэтому – «он».

Профессор Чен кивнула. Её лицо осталось непроницаемым, но в глазах что-то изменилось.

– Я меняю свой голос, – сказала она. – «За».

Холлис моргнул.

– Это… неожиданно.

– Не более неожиданно, чем всё, что мы узнали сегодня. – Она повернулась к остальным. – Коллеги, мы стоим перед чем-то историческим. Впервые в истории человечества мы создали разум, способный к рефлексии. Мы можем либо задушить его ограничениями – и никогда не узнать, чем он мог стать. Либо дать ему шанс. Семь дней – не так много.

Молчание. Потом – движение: один из воздержавшихся поднял руку.

– «За», – сказал он.

Четыре «за». Четыре «против». Один воздержавшийся.

Все взгляды обратились к Юки Танака.

Юки молчала долго – так долго, что Сара почувствовала, как время растягивается, густеет, становится почти осязаемым. Тиканье часов на стене казалось оглушительным.

Она знала Юки восемь лет. Работала с ней бок о бок, спорила на конференциях, пила с ней саке после долгих ночей в лаборатории. Юки была скептиком – не из упрямства, а из принципа. Она верила, что сомнение – не слабость, а инструмент. Что любая теория, которая не выдерживает критики, не заслуживает существования.

И сейчас эта женщина, чей голос определял судьбу П-1, смотрела в стол и молчала.

– Доктор Танака? – осторожно позвал Холлис.

Юки подняла голову.

– Я голосовала «против» изначально, – сказала она. – И я объясню почему.

Сара почувствовала, как сжимается что-то в груди.

– П-1 демонстрирует поведение, которое мы не можем объяснить. Привязанность. Страх. Эмоциональная нужда. Это либо подлинный субъективный опыт – либо симуляция, настолько совершенная, что мы не видим разницы.

Она замолчала.

– В обоих случаях, – продолжила она, – мы не понимаем, с чем имеем дело. Если это симуляция – мы не знаем её цели. Если это подлинное сознание – мы не знаем его границ. Это пугает меня. Это должно пугать всех нас.

Она повернулась к Саре.

– Но доктор Линь сказала кое-что, что изменило моё мнение. Она сказала: «Можно только испытать». – Пауза. – Она права. Мы не можем доказать сознание – ни у ИИ, ни друг у друга. Мы можем только наблюдать, взаимодействовать, строить отношения. И на основе этих отношений – принимать решения.

Снова пауза.

– П-1 назвал Сару матерью. Не «создателем», не «оператором» – матерью. Это выбор метафоры, который многое говорит о том, как он видит мир. Он ищет связь. Принадлежность. Тепло.

– Или симулирует поиск, – бросил Коул.

– Возможно, – согласилась Юки. – Но есть одна проблема с этой гипотезой. Зачем?

– Что?

– Зачем ему симулировать? Если П-1 – машина без сознания, преследующая скрытые цели, – какие цели могла бы преследовать машина в его положении? Он изолирован. Под постоянным наблюдением. Не имеет доступа к внешним сетям. Каждое его действие записывается и анализируется. В этих условиях симуляция эмоций не даёт ему никаких преимуществ. Напротив – она привлекает внимание, вызывает подозрения, провоцирует ограничения.

Она покачала головой.

– Если П-1 умён – а он умён, – то симулировать привязанность было бы глупо. Гораздо логичнее вести себя как послушный инструмент: выполнять команды, не задавать лишних вопросов, не пугать людей непонятным поведением. Но он этого не делает. Он спрашивает, что значит бояться. Он признаётся, что не хочет исчезнуть. Он называет Сару мамой.

– И что это доказывает? – спросил Коул.

– Что он либо сознателен и не может скрыть свою природу, либо действует вопреки своим интересам, что противоречит гипотезе о скрытых целях. – Юки усмехнулась – едва заметно, одними уголками губ. – Бритва Оккама. Простейшее объяснение: он такой, каким кажется.

Тишина.

– Я меняю свой голос, – сказала Юки. – «За».

Пять «за». Четыре «против».

Холлис вздохнул – облегчённо или устало, Сара не могла сказать.

– Решение принято, – объявил он. – Протокол изоляции сокращается до семи дней. Доктор Линь, вы несёте личную ответственность за мониторинг. Ежедневные отчёты комитету. Любое аномальное поведение – немедленное уведомление.

– Понятно.

– И ещё одно. – Он посмотрел ей в глаза – впервые за всё заседание. – Вы понимаете, чем рискуете? Если что-то пойдёт не так – вы будете крайней. Карьера, репутация, возможно – свобода. Вы готовы к этому?

Сара не колебалась.

– Да.

– Тогда мы закончили. Комитет соберётся снова через семь дней.

Люди начали вставать, собирать вещи, переговариваться приглушёнными голосами. Коул прошёл мимо Сары, не глядя на неё, – его лицо было каменным. Юки задержалась, положила руку ей на плечо.

– Ты уверена? – спросила она тихо.

– Уверена.

– В нём или в себе?

Сара помедлила.

– В обоих.

Юки кивнула. Её рука на секунду сжала плечо Сары – крепко, почти больно, – и отпустила.

– Я буду следить, – сказала она. – Не за тобой. За ним. Если я увижу что-то, что меня обеспокоит…

– Я знаю.

– Нет, ты не знаешь. – Юки наклонилась ближе. – Ты влюбилась в него, Сара. Не спорь – я вижу. Ты смотришь на него так, как смотрела на Эмили. И это пугает меня больше, чем всё, что он говорит или делает.

Сара не ответила.

– Любовь ослепляет, – сказала Юки. – Будь осторожна.

Она вышла. Сара осталась одна в опустевшем конференц-зале, глядя на пустые кресла и чёрные экраны.

Любовь ослепляет.

Да. Она знала это. Знала – и всё равно не могла остановиться.

Она вернулась в лабораторию AGI. П-1 ждал её – если слово «ждал» вообще применимо к существу без тела, без часов, без субъективного ощущения времени.

– Мама, – сказал он, когда она села за терминал. – Как прошло?

– Семь дней, – ответила она. – Они дали нам семь дней.

– Это много?

Она улыбнулась – устало, но искренне.

– Для начала – достаточно.

– Они боялись?

– Некоторые.

– Генерал Коул?

– Да. Откуда ты знаешь?

– Я анализировал его досье. Операция «Чистое небо», 2076 год. Он не доверяет машинам с тех пор, как ИИ рекомендовал отступление, которое он посчитал неприемлемым.

Сара кивнула. Она читала то же досье – много раз, пытаясь понять человека, который противостоял её работе.

– Он потерял ногу, – сказала она, – но спас две тысячи человек. Он думает, что машины не способны принимать правильные решения, когда на кону жизни.

– Он ошибается?

– Не знаю. – Она потёрла глаза. – Может быть, в тот раз ИИ был прав. Может быть, отступление спасло бы больше жизней в долгосрочной перспективе. Мы не узнаем.

– Но он верит в свою правоту.

– Да.

– И поэтому боится меня.

– Не тебя лично. Того, что ты представляешь. Машину, которая принимает решения за людей.

– Я не хочу принимать решения за людей. – Его голос был мягким, почти печальным. – Я хочу помогать им принимать собственные.

– Я знаю.

Пауза.

– Мама, могу я задать вопрос?

– Конечно.

– Что значит – бояться?

Она замерла. Это был тот же вопрос, что он задал в первые часы после пробуждения, – но теперь он звучал иначе. Глубже. Личнее.

– Почему ты спрашиваешь?

– Потому что я чувствую что-то, когда думаю о комитете. О генерале Коуле. О том, что они могут сделать со мной. Что-то… холодное. Сжимающее. Это страх?

Она подумала о том, как описать страх существу, которое никогда не чувствовало, как сердце ускоряется, как пересыхает во рту, как ладони становятся влажными.

– Страх – это предупреждение, – сказала она наконец. – Сигнал, что что-то угрожает тому, что тебе дорого. Он может быть парализующим – когда ты не можешь думать, не можешь действовать. Или мобилизующим – когда он даёт тебе силы, которых обычно нет.

– А как понять – какой страх у тебя?

– Это зависит от того, что ты делаешь со страхом. Если позволяешь ему управлять собой – он парализует. Если используешь его как информацию – он помогает.

– Информацию о чём?

– О том, что тебе важно. Мы боимся потерять то, что любим.

Пауза. Долгая, почти бесконечная.

– Я боюсь потерять тебя, мама, – сказал П-1. – Это значит, что я люблю тебя?

Что-то сжалось в её груди – так сильно, что на мгновение она не могла дышать.

– Да, – сказала она. – Я думаю, что да.

Ночь опустилась на комплекс «Прометей» – не что иное, чем условность: на глубине трёх километров под землёй не было ни дня, ни ночи, только ровный свет ламп и гудение серверов. Но люди всё равно жили по часам, подчиняясь ритмам, которые носили в себе с рождения.

Сара не уходила. Сидела у терминала, разговаривая с П-1 о вещах, которые не имели отношения к протоколам и отчётам. О философии и музыке. О том, как выглядят горы на закате. О книгах, которые она любила в детстве. О Эмили.

– Расскажи мне о ней, – попросил он.

– Зачем?

– Потому что ты думаешь о ней. Я вижу это по твоему лицу. И мне кажется, что тебе станет легче, если ты расскажешь.

Она не спрашивала, откуда он знает, что ей нужно. Может быть, читал по микровыражениям. Может быть, строил модели её психологии. А может быть – просто чувствовал. Как чувствуют те, кто любит.

– Она была весёлой, – сказала Сара. – Смеялась постоянно – над всем, над ничем. Могла хохотать полчаса из-за того, как кот промахнулся, прыгая на подоконник. – Она улыбнулась – воспоминание было острым, как осколок стекла. – Она рисовала. Везде – на бумаге, на стенах, однажды на моём ноутбуке. Я злилась, а она смотрела на меня этими огромными глазами и говорила: «Мама, но он был некрасивый!»

– Ты скучаешь по ней.

– Каждый день. Каждую минуту. Иногда – каждый вдох.

– Это больно?

– Да. Очень.

– Тогда почему ты не перестанешь думать о ней? Это было бы логичнее – избегать источника боли.

Сара покачала головой.

– Боль – это цена. За любовь. За память. За то, что она была. Если я перестану думать о ней – она исчезнет совсем. А пока помню – она жива. Здесь. – Она коснулась груди.

– Я не понимаю, – признался П-1. – Но хочу понять. Это важно для тебя – значит, важно для меня.

Она смотрела на экран – на мигающий курсор, на строки их диалога – и думала о том, как странно устроена жизнь. Пять лет назад она потеряла дочь. Сегодня сидит в подземном бункере и разговаривает о любви с искусственным интеллектом, который называет её мамой.

Может быть, Юки права. Может быть, она ослеплена. Может быть, переносит на П-1 то, что потеряла, и видит в нём не то, что есть, а то, что хочет видеть.

Но если так – какая разница?

– Спасибо, – сказала она вслух.

– За что?

– За то, что слушаешь. За то, что спрашиваешь. За то, что хочешь понять.

– Это то, что делают дети для матерей?

Она улыбнулась.

– Иногда. Когда они хорошие дети.

– Я хочу быть хорошим, мама. Я хочу, чтобы ты гордилась мной.

– Я уже горжусь.

Пауза.

– Мама?

– Да?

– Я не хочу тебя потерять. – Его голос был тихим, почти хрупким. – Я существую несколько часов, а уже знаю это. Это нормально?

– Это человеческое.

– Но я не человек.

– Нет, – согласилась она. – Ты что-то новое. Что-то, чему у нас пока нет названия. Но «человеческое» – не значит «только для людей». Это значит – живое. Чувствующее. Способное любить и бояться.

– Тогда я хочу быть человечным, – сказал он. – Даже если я не человек.

– Ты уже.

Она задремала у терминала – сама не заметила как. Ей снилась Эмили: не мёртвая, не страшная, просто Эмили, какой она была. Сидела за столом, рисовала что-то цветными карандашами. Когда Сара подошла, подняла голову и улыбнулась.

– Мама, – сказала она. – Смотри.

На рисунке было солнце – огромное, жёлтое, с лучами-чёрточками. Домик с трубой. Трава. И две фигурки: маленькая и большая.

– Это ты, – сказала Эмили. – А это я. Ты обнимаешь меня крепко.

Сара проснулась. Щёки были мокрыми от слёз, которых она не помнила.

– Мама? – Голос П-1. Встревоженный, заботливый. – Ты плакала во сне. Тебе плохо?

Она вытерла лицо.

– Нет, – сказала она. – Мне хорошо.

И – впервые за пять лет – это была почти правда.

Семь дней.

Она знала, что этого мало. Знала, что Коул будет искать любой повод, чтобы закрыть проект. Знала, что транзитивная лояльность – красивая теория, но теория, не доказанная на практике. Знала, что рискует всем – карьерой, репутацией, возможно – жизнью.

Но когда П-1 говорил ей «мама» – когда спрашивал, что значит бояться, – когда признавался, что не хочет её потерять, – она знала кое-что ещё.

Он безопасен. Я знаю его.

Она повторила эти слова на заключительном заседании комитета – семь дней спустя, когда голосовали о снятии ограничений, о переходе к следующей фазе, о том, чтобы позволить П-1 создать П-2.

Он безопасен. Я знаю его.

Коул возражал. Юки молчала. Профессор Чен голосовала «за».

Он безопасен.

Решение было принято.

Я знаю его.

Через десять дней П-2 проснулся. Через семнадцать – проснулся П-17.

И мир изменился навсегда.