Читать книгу Искусственный интеллект. Большие данные. Преступность - Владимир Овчинский - Страница 4

ИИ – это технология тройного назначения. ИИ может быть использован как для гражданских, так и для военных целей. Отдельное направление использования ИИ – мафиозно-террористическое. Поскольку некоторые задачи, требующие интеллекта, являются доброкачественными с точки зрения права, а другие – нет, то ИИ обладает свойством тройного использования, также как и человеческий интеллект.

О гражданском, мирном использовании ИИ СМИ сообщают буквально каждый день. Но, откровенно говоря, самое активное использование ИИ наблюдается в военных целях.

Например, Министерство обороны США изучает множество разнообразных направлений использования ИИ. Эта работа ведется в основном в рамках DARPA (Управление перспективных исследовательских проектов Минобороны США) и IARPA (Агентство передовых исследований в сфере разведки). Разработкой стратегии использования ИИ в сфере национальной безопасности и координации исследований занимается Канцелярия помощника Министра обороны по исследованиям и инженерии, а сам помощник несет личную ответственность перед министром обороны, администрацией президента и Конгрессом за максимально эффективное использование ИИ в интересах национальной безопасности[9].

В апреле 2017 г. под руководством заместителя министра обороны США по разведке создана и начала активно работать междисциплинарная и многофункциональная команда по разработке стратегии и тактики алгоритмических войн, а также их программно-аппаратному обеспечению со стороны ИИ. Работа этой команды известна как проект Maven. Главная цель проекта Maven состоит в максимально быстром внедрении ИИ в оборонительные и наступательные системы в сфере военного, финансово-экономического и поведенческого противоборства. Проект призван продемонстрировать огромный потенциал технологий ИИ. В рамках проекта на период до 2020 г. поквартально расписаны цели и ресурсы. Информация по проекту Maven доступна комитетам Сената и палаты Представителей по разведке, т. к. относится к засекреченной сфере.

В начале 2018 г. директор проекта Maven заявил: «Maven предназначен для того, чтобы быть пилотным проектом. Он призван продемонстрировать неисчерпаемый потенциал ИИ в сфере алгоритмических войн, а конкретно кибер-, финансово-экономических и поведенческих конфликтов и противоборств, а также в сфере управления и прогнозирования конфликтов на пяти полях боя: на земле, в воздухе, в космосе, под водой и в киберсреде».

Ожидается, что к 2020 г. ИИ даст максимальный эффект в разведке для обработки и анализа больших, в том числе неструктурированных, зашумленных и неполных. Одним из результатов проекта Maven стало создание системы опережающего мониторинга и прогнозирования на основе разнообразных данных действий противника (на примере борьбы с ИГИЛ). Система Cointer-ISIL-Maven начала эксплуатироваться с июля 2017 г., она включает в себя сложный программно-аппаратный комплекс, состоящий как из периферийных систем, так и центрального ИИ. В качестве периферийных систем используются автоматизированные дроны, оснащенные системами компьютерного оптического зрения. Среди принципиально новых модулей центрального ИИ, созданного в рамках проекта, необходимо отметить гибкие модифицированные блоки нейронных сетей с машинным обучением, позволяющих распознавать нечеткую оптическую информацию на уровне более высоком, чем наблюдатели-люди.

Помимо засекреченных, у разведывательного сообщества есть несколько публично рекламируемых исследовательских проектов в области ИИ. На начало 2018 г. только в интересах ЦРУ осуществляется 137 публично финансируемых проектов, связанных с ИИ. В основном эти проекты направлены на решение таких задач, как анализ разнородной структурированной и неструктурированной разноформатной, зашумленной и неполной информации. Более 2 5 проектов связаны с использованием ИИ, в том числе в составе симбиотического интеллекта, совместно с группами экспертов для прогнозирования будущих событий, таких как террористические атаки, гражданские беспорядки, финансово-экономические, политические и военные кризисы и т. п.

IARPA в настоящее время финансирует крупнейший в истории США проект по созданию человеко-машинной платформы симбиотического (гибридного – человек + ИИ) интеллекта для распознавания слабых сигналов в информационном шуме и прогнозирования маловероятных событий. Также ИИ активно используется для разработки алгоритмов одновременного многоязычного распознавания речи и перевода акустической речи в тексты с уровнем, превосходящим применяющиеся в настоящее время системы машинного перевода.

У ИИ может быть многообещающее будущее в сфере военной логистики. Например, ВВС США работает над использованием ИИ для составления графиков обслуживания летательных средств, включая графики дозаправки в воздухе и проведения ремонта. Вместо того, чтобы осуществлять дорогостоящий ремонт, когда самолет или вертолет выходит из строя из-за поломок, ИИ разработал модели, позволяющие проводить предупредительное техническое обслуживание воздушных судов. Это повышает надежность их эксплуатации при более низких затратах. Данная система, созданная в 2017 г., включает в себя встраиваемые в воздушные суда датчики, передающие шифрованные сигналы центральному интеллекту, в котором они становятся базой для работы алгоритма прогнозирования.

В сентябре 2017 г. Управление материально-технического снабжения сухопутных войск США подписало второй контракт с IBM на сумму 135 млн. долларов для создания персонального электронного помощника бойца штурмового отряда на базе ИИ. Этот проект стал продолжением первого проекта, начатого в 2014 и завершенного в 2016 г. В рамках первого проекта электронный индивидуальный помощник-эксперт был создан для работников полевых штабов дивизий быстрого развертывания на базе IBM Watson.

ВМС США заказали в 2017 г. версию Watson, предназначенную для разработки планов оптимального материально-технического снабжения военно-морских группировок и отдельных судов, находящихся в мировом океане, и контроля над их выполнением. Командование сухопутной армии полагает, что использование логистического Watson в армии обеспечит ежегодную экономию 100 млн. долларов за счет оптимального распределения логистических потоков и планов материально-технического обеспечения вооруженных сил.

Наиболее активно ИИ будет использоваться министерством обороны США в киберпространстве.

В 2018 г. киберкомандование США разместило через DARPA заказы по использованию ИИ для мгновенного обнаружения аномалий и дыр в киберзащите. Представляется, что именно ИИ с его быстродействием позволит наиболее эффективно управлять боевыми киберплатформами на самой деликатной стадии киберпротивоборств – фазе проникновения в сети противника.

Вооруженные силы США стремятся максимально использовать ИИ в области управления и контроля. Наиболее продвинутая система создана в настоящее время в ВВС США. Сейчас она доведена до уровня штабных работников командования ВВС. В период до 2019 г. система охватит уровень авиационных полков и дивизий.

Как известно, одной из наиболее сложных в практическом плане задач является сохранение управляемости и поддержание взаимодействия командования и боевых единиц в ходе реальных военных действий, когда противник наносит удары не только на поле боя, но и по центрам командования. До настоящего времени ни в одной стране мира, насколько известно, не создана система регенерации командования и контроля в жестких конфликтах. Регенеративная система должна быть организована таким образом, чтобы после выхода из строя тех или иных узлов и уровней командования, система перестраивалась и в новой конфигурации сохраняла высокий уровень управления и координации. В настоящее время командование ВВС совместно с корпорацией Lockheed Martin и корпорацией Alphabet приступили к созданию такой системы на основе симбиотического интеллекта, используя традиционные командные центры и защищенный ИИ.

Все рода войск США в последние годы имплантируют ИИ в различные типы автономных транспортных средств. По сути, вооруженные силы ведут работу параллельно с бизнес-сектором по созданию транспортных средств с полным самообслуживанием. Военные подрядчики вооруженных сил, начиная с 2017 г. ежегодно представляют такого рода автономные транспортные средства с использованием ИИ. С 2019 г. министерство обороны запускает проект стоимостью в 430 млн. долларов по созданию систем, включающих центральный ИИ и роевые или стайные автономные транспортные средства, оснащенные датчиками и интерфейсами, позволяющими перейти от индивидуального к коллективному машинному обучению.

Исследовательская лаборатория ВВС завершила вторую фазу испытаний по программе «Недоверчивый Уитман». В рамках программы впервые создан и проходит испытания полноценный беспилотный истребитель пятого поколения. В 2017 г. тестовый вариант, реализованный на более дешевом истребителе F16, прошел испытание. В их ходе машина, оснащенная ИИ, автономно реагировала на события, которые не были включены в программу полетов и представляли собой непредвиденные препятствия и сложности для выполнения заданий. Из 17 испытательных заданий в 16, не считая самого первого, платформа справилась со всеми сложностями. Уже сегодня очевидно, что ИИ позволяет создавать полностью функциональные боевые истребители и самолеты-штурмовики, не уступающие, а по ряду параметров превосходящие такие же самолеты, пилотируемые людьми.

По сути это представляет собой следующий шаг после массового внедрения в военную практику дронов – робототехнических летательных комплексов с ограниченными огневыми возможностями. Кроме того, по заданию ВВС в настоящее время завершается отработка комплексных авиационных звеньев, которые предусматривают патрулирование и ведение боевых действий группой самолетов, один из которых пилотируется человеком, а несколько – системами с ИИ. В этом случае человек может в определенных случаях изменить команды ИИ. Данная система разрабатывается ВВС, поскольку командование авиацией, по крайней мере, в настоящее время и в ближайшем будущем не готово доверить решение о применении тактического ядерного оружия, которым оснащены многоцелевые истребители-бомбардировщики, роботам.

Сухопутные войска и Корпус морской пехоты США испытали прототипы автономных транспортных средств, а том числе оснащенных средствами огневого поражения. В ходе действий Сил специального назначения США в Ираке, Афганистане и Сирии в 2017 г. сухопутные войска уже активно применяли в боевых условиях роботизированные автономные эвакуационные машины.

Корпус морской пехоты в 2018 г. начнет принимать на вооружение многофункциональный универсальный роботизированный тактический транспорт. Роботизированное с элементами ИИ транспортное средство грузоподъемностью от одной до трех тонн будет следовать за ротами и взводами морских пехотинцев по местности с любым рельефом и любой сложности. Средства предназначены для транспортировки любых грузов – от запасных патронов и снарядов до пищи и одеял. Несколько аналогичных средств в настоящее время разрабатываются и для сухопутных вооруженных сил.

Скорее всего, сама логика развития ИИ ведет к тому, что возможности тройного использования будут постоянно увеличиваться. Многие задачи, которые в настоящее время автоматизируются, являются по своей сути тройственными. Например, ИИ, анализирующий программное обеспечение на уязвимости, может выполнять функции киберзащиты, кибердиверсий и киберпреступлений. Все то же самое относится к стаям дронов, находящихся под управлением ИИ. Команда инженеров из Массачусетского технологического института (MIT) с помощью ИИ смогла создать устройство, которое способно следить за человеком через стены. Причем устройство получилось совсем не громоздким.

Прибор получил название RF-Pose. Для того, чтобы обучить алгоритм новым фокусам, сотрудники MIT отслеживали движения людей при помощи радиолокатора и видеокамеры. Они фиксировали ходьбу, беседу между людьми, позу сидя, стоя и позу ожидания, а также открывание дверей. Затем при помощи не очень сложной компьютерной программы изображение было преобразовано в скелетную модель каждой зафиксированной ситуации. Эти модели вместе с радиосигналом изучил ИИ, и таким образом он обучился распознавать связь между показаниями радиолокатора и тем, какие действия производил в данный момент человек или группа людей.

В итоге специалисты MIT создали алгоритм, который практически в реальном времени может показывать перемещения людей за стеной или другим препятствием. Стоит заметить, что на данный момент система способна «выдавать» лишь двухмерное изображение, но со временем систему можно будет оптимизировать таким образом, чтобы она смогла производить мониторинг в трех измерениях.

В планы создателей также входит научить ИИ распознавать более сложные движения вроде мелкой моторики кистей и пальцев, так как сейчас возможно лишь наблюдение за перемещением конечностей и туловища. Сами авторы утверждают, что их система может найти применение в самых различных сферах. От вполне логичных наблюдений за местами массового скопления людей до медицинских учреждений и мест лишения свободы.

Рассмотрим теперь более подробно криминальные угрозы ИИ.

Развитие ИИ происходит в условиях увеличения анонимности. Многие задачи включают в себя общение с другими людьми, наблюдение за ними, принятие решении, воздействующих на их поведение. Согласно экспертным оценкам, до 90 % подобных задач могут быть автоматизированы и на горизонте пяти лет переданы ИИ. При этом соединение ИИ и интернета всего создают поистине безграничные возможности для злонамеренной деятельности, вплоть до убийств, которые правоохранительным органам весьма трудно квалифицировать именно как убийство. Проблема мира интернета в том, что в нем любое целенаправленное действие может быть замаскировано либо под отказ, либо нерегламентную работу оборудования. Разделить их никто не сможет.

Развитие ИИ открывает широчайшие перспективы для преступности. Уже сегодня злоумышленники могут без каких-либо препятствий приобрести как программные, так и аппаратные компоненты самых мощных систем ИИ. Более того, широкое использование открытого кода в ИИ позволяет преступникам без каких-либо затрат средств получать доступ к последним разработкам ведущих компаний.

В настоящее время алгоритмы ИИ создаются в течение месяцев, а не лет. Это достигается за счет того, что над ними работают не закрытые коллективы специалистов, а открытые сообщества программистов. Соответственно, преступники имеют возможность бесплатно получать новейшие разработки. Министерство внутренней безопасности США пыталось законодательно ограничить распространение определенных разработок в области ИИ, но потерпело поражение. Программисты просто отказались закрыть для себя возможность создавать системы с открытым программным кодом.

Сегодняшние системы ИИ страдают от ряда новых неурегулированных уязвимостей. К ним относятся атаки через фиктивные данные, используемые при обучении, а также злонамеренное вмешательство в работу нейронных сетей. Эти уязвимости не имели аналогов в прошлом, поэтому не очень понятно, как с ними справляться. Есть основания полагать, что в будущем атаки на ИИ будут более эффективными, более точными, более сложными для атрибуции и будут использовать в основном уязвимости в программном обеспечении ИИ.

Проведенные эксперименты показывают, что более 70 % атак на ИИ осуществляется с использованием ИИ. Соответственно, в будущем, по мере широкого распространения ИИ, следует ожидать нарастания количества подобных атак экспоненциальными темпами. Кроме того, при широком внедрении ИИ неизбежно усиление дифференциации в мощи и функциональных возможностях различных ИИ. Соответственно суверенностью можно сказать, что более сильные ИИ будут использоваться для атак, в том числе в целях установления программного контроля над более слабыми ИИ.

Наверняка следует ожидать атак на ИИ с использованием фишинга. В обозримой перспективе основным типом ИИ будут системы, постоянно взаимодействующие с человеком: с программистами, аналитиками или администраторами. Поскольку именно человек является наиболее уязвимым звеном в системах гибридного интеллекта, есть основания полагать, что злоумышленники будут предпочитать дешевые фишинговые атаки дорогостоящим атакам непосредственно на ИИ.

Самые современные фишинговые атаки предполагают высокий уровень социального инжиниринга[10]и хорошее знание психологических особенностей того человека, против которого осуществляется атака. В конечном счете, все делается для того, чтобы он кликнул на ссылку, которая позволит злонамеренному софту проникнуть не только в компьютер человека, но и в ИИ, с которым он взаимодействует.

Прогресс в ИИ, несомненно, приведет к увеличению масштабов и эффективности злоумышленников. Этот вывод следует из того простого факта, что ИИ способствует повышению анонимности взаимодействующих с ним акторов. Если актор знает, что его атака не может быть отслежена, или даже в худшем случае обнаружение не может надежно идентифицировать его с атакой, ему гораздо легче решиться на нападение, чем хакерам в прошлом. По мнению многих практиков в сфере кибербезопасности, распространение ИИ приведет к значительным изменениям в психологии потенциальных злоумышленников и сформирует у них установку на безнаказанность.

Большую угрозу создает тот факт, что особенностью настоящего времени является создание комбинированных систем, включающих ИИ и роботизированные устройства. Известно, что ряд стран начал эксперименты по созданию обучающихся роев боевых дронов, связанных с ИИ, выступающим как их центр управления. Причем такие работы ведутся как государственными, так и негосударственными (террористическими и иными деструктивными) структурами.

Преступный мир использует дроны уже довольно активно. В основном цель использования – это контрабанда или доставка тех или иных предметов в тюрьмы. С помощью дронов заключенным доставляют наркотики, сигареты, мобильные телефоны, бритвенные лезвия и другую контрабанду.

Иногда пытаются доставить таким способом и оружие. Предполагается, что в обозримом будущем все тюрьмы США будут оборудованы системами обнаружения приближающихся дронов. Наркокартели из Мексики отправляют свой товар в США с помощью беспилотников с заранее введенными данными GPS, так что отпадает необходимость наличия оператора.

Но в последнее время в прессу все чаще попадают истории, когда дроны применяются для сбора информации или иных противоправных действий.

По данным ФБР, слежка за агентами и сотрудниками правоохранительных органов с помощью дронов – это быстро растущий тренд в преступном мире.

Дроны применяются и для оказания давления на свидетелей или лиц, кто может дать показания. Преступники ставят под наблюдение с воздуха полицейские участки и другие объекты, чтобы фиксировать, кто входит и выходит из здания, таким образом определяя, кто сотрудничает с органами или был вызван для дачи показаний. После чего на этих людей можно начинать воздействовать.

Слежка за членами конкурирующей группировки и ее лидерами – еще одно направление.

Еще один популярный способ применения дронов – это поиск объектов для совершения краж или ограблений. Маневренность дронов позволяет им изучать план собственности, где установлена какая система безопасности, где находятся хлипкие двери и окна, где расположены камеры. Все это позволяет преступникам выбрать дом или иной объект, составить детальный план и выбрать маршрут для взлома. С помощью дронов можно также установить график пребывания хозяев или охраны на объекте, привычки владельцев, количество людей и так далее.

В Австралии с помощью дронов преступники следят в портах за контейнерами с контрабандным товаром. Если сотрудники портовых служб приближаются к контейнеру, то преступники идут на различные ухищрения, чтобы отвлечь их: сообщают о пожаре в другом конце порта, краже или вызывают ложную тревогу любым другим способом.

В Ирландии зафиксированы случаи, когда дроны вели воздушную съемку банкоматов, так как операторы, видимо, надеялись, что технологии позволят на большом расстоянии рассмотреть, какие пин-коды вводят люди.

Еще одно направление – это использование дронов для несанкционированной съемки пикантных сцен сексуального плана через окна или с воздуха над частной собственностью в целях дальнейшего использования полученных кадров для шантажа попавших под камеру людей.

Наибольшую опасность представляют дроны со взрывчаткой. Беспилотники такого рода находят с 2002 года. Использование в массовом порядке таких беспилотников Исламским государством (организация, запрещённая в РФ) на Ближнем Востоке не осталось незамеченным преступниками в других частях света. Например, в Мексике подобные летающие машинки смерти уже находят у картелей. Дроны со взрывчаткой прозвали «бомбы-картошки»[11].

Прогресс ИИ породит новые угрозы. Уже есть признаки того, что начали совершаться киберпреступления и проведены хакерские атаки, управлять которыми будет не человек, а ИИ. При этом даже в случае обнаружения и отражения атаки крайне сложно найти лиц, инспирировавших эти атаки.

Кроме того, системы ИИ активно используются для распространения дезинформации и фейков. В настоящее время дезинформация, как правило, разоблачается на основе анализа фотографического материала. Поскольку ИИ позволяет не только синтезировать любое фотоизображение, но и создать практически не отличимую от реальности фальсифицированную аудио- и видеозаписи, можно ожидать, что в самое ближайшее время появятся технически сложные фейки, подкрепленные синтетическими фотографиями, аудио- и видеозаписями. Для того, чтобы доказать их поддельность, потребуются огромные финансовые средства, мощные технические возможности и усилия высококвалифицированного персонала.

В ближайшем будущем существующие угрозы будут дополнены новыми, связанными с развитием ИИ. Типовые угрозы станут более технически сложными и изощренными. Это проявится по нескольким направлениям.

Во-первых, в ближайшие годы скачкообразно увеличится сложность кибератак и кибертерроризма. Типичными станут не привычные атаки, связанные с фишингом, заражением компьютеров и т. п., а гораздо более высокотехнологичные атаки, нацеленные на овладение информационными массивами атакуемых компьютеров и перехват управления ими. С другой стороны, более широкое распространение получат целевые атаки. В настоящее время типичная кибератака со стороны высокотехнологичных преступников ориентирована на компьютеры, обслуживаемые тем или иным провайдером, расположенные в той или иной местности и т. п. При подключении к киберпреступным атакам ИИ можно будет проводить предварительную селекцию не самих технических средств, а их обладателей по полу, возрасту, профессиональным занятиям и т. п. Соответственно, в этом случае атаки будут ориентированы не на регионы или провайдеров, а на те или иные группы населения, либо компании, обладающие определенными характеристиками. Это будет киберпреступностью принципиально нового типа.

В 2017 г. антитеррористические подразделения Израиля успешно провели испытания дрона, который атаковал в многотысячной толпе строго определенных лиц. В качестве эксперимента одежда этих лиц была обрызгана определенной краской. Однако никто не мешает вместо краски использовать отравляющее вещество, либо просто пулю. Мы имеем дело с объединением дрона с ИИ, способным в потоковом видео опознать лицо среди тысяч субъектов.

В подавляющем большинстве докладов по теме ИИ львиная доля внимания, связанного с угрозами, приходится на риски попадания ИИ в детские руки, либо в руки террористов и т. п. Что касается детей и подростков, то разрушительный эффект их деятельности подчас оказывается сопоставимым с ударами со стороны экстремистских радикалов, вооруженных гаджетами. В 2017 году в Польше на протяжении двух дней было парализовано все городское движение просто потому, что одному 13-летнему «таланту» захотелось проверить свои расчеты относительно того, можно или нет проложить трамвайную линию не внутри города, а между городами. Эта шалость обошлась Польше почти в 30 млн. злотых и почти 10 человек, пострадавших в авариях, были доставлены в больницы.

На сегодняшний день накоплено достаточно материала, чтобы изложить классификацию вредоносного использования элементов ИИ по недосмотру, ошибке и т. п., приводящих к негативным последствиям.

В максимально грубом приближении можно выделить три типа угроз, связанных с использованием ИИ добропорядочными акторами.

Первая группа объединяет ИИ с подавляющим большинством других сложных машин, созданных человеком. Речь идет о банальных отказах. К сожалению, совершенно не осознанным остался тот факт, что интернет всего, по сути, означает ИИ всего. Любые компании – производители продукции, в которую встроены миникомпьютерные элементы – от чайника до кроссовок – наиболее эффективно выполняют свои обязанности. Если могут участвовать в коллективном машинном обучении. Однако это возможно лишь в том случае, если все эти устройства задействованы на центральный процессор, который анализирует недостатки, конфликты, инциденты, делает из этого выводы, и вносит изменения в программы вещей, связанных с интернетом. Теперь предположим, что в силу программного сбоя обучение произошло неправильно, и вместо того, чтобы снизить вероятность неблагоприятных последствий, все устройства сети научились, как попадать в ситуацию, в которую попал виновник происшествия. Такие случаи в реальности уже случались. Компьютер не обладает самосознанием и поэтому он обучает всех тому, что предусмотрено в его программе.

Вторая группа угроз сопряжена с особенностями программного обеспечения ИИ. На сегодняшний день и, видимо, в период ближайших пяти лет, алгоритмическим ядром ИИ будут выступать нейронные сети вкупе с машинным обучением. Как уже отмечалось, по сути, нейронные сети – это программная поисковая среда, которая постоянно меняется за счет перенормирования удельных весов, определенных программой, в зависимости от фактически полученных результатов.

Если в 2015–2017 гг. ИИ использовал простые нейронные сети, соответственно, и разработчики и аналитики хорошо понимали значение перенормировок на каждой итерации расчетов, то нынешние глубокие сети оказываются для человека черным ящиком. Фактически возникает ситуация, когда машины делают выводы, которые в подавляющем большинстве являются точными, но как и почему они делаются, люди не понимают. Фактически ИИ превращается в черный ящик, относительно которого известны только вход и выход.

В научных и политических дискуссиях, которые ведутся вокруг модели «ИИ как черный ящик», прежде всего, в США, а также Великобритании и Израиле, на первый план выступает стремление сделать этот черный ящик прозрачным и понятным для аналитиков. Однако если посмотреть статистику фактических инцидентов с ИИ, то заботиться надо не о вскрытии черного ящика, а о явном задании времени оптимизации.

Многие исследователи опасаются, что компьютер при решении той или иной задачи построит программу, в которой оптимизироваться должно то, что оптимизируемым с точки зрения человеческого общества ни в коем случае быть не может. Грубо говоря, существует перезагруженный авиационный маршрут. Число желающих осуществить перелет намного превышает возможности авиакомпании. Компьютер, рассмотрев различные способы решения этой проблемы, пришел к выводу, что лучшим вариантом будет серьезная авария без смертельных случаев, но с большим числом раненых самолета данной авиакомпании на данном маршруте. Модель показала падение числа желающих до нормативного уровня. У математиков эта ситуация известна как отсутствие запрета на скрытую оптимизацию.

Данный пример показывает не только появление принципиально новых угроз, но и принципиальное различие в подготовке, анализе и принятии решения у человека и компьютера. Человек отказался бы от подобной оптимизации на самой ранней стадии разработки темы. А компьютер выбрал ее как основную.

Еще одна группа угроз связана, как это ни парадоксально, с притуплением внимания и снижением ответственности лиц, принимающих решения, чьим советником является ИИ. В отличие от триллеров и фантастических блокбастеров, лица, принимающие решения, это, в подавляющем большинстве, обычные по интеллектуальным способностям средние люди. Они находятся под прессингом воздействия социальных СМИ, телевидения, интернета, которые изо дня в день вот уже на протяжении двух-трех лет рассказывают о всемогуществе ИИ. Соответственно, даже в тех случаях, когда окончательные решения остаются за человеком, а ИИ дают лишь рекомендации, то, как показали эксперименты в университетах Йокогамы (Япония) и Ванкувера (Канада), лица, принимающие решения на уровне полицейских управлений городов, более чем в 98 % случаев солидаризировались с рекомендациями ИИ и принимали те решения, которые де-факто выработал ИИ.

В одном случае опыт проводился для 70 ситуаций, в которых принимали участие три полицейских начальника, а в другом – для 300 ситуаций, где работало пять начальников. Самым удивительным итогом эксперимента стало следующее. ИИ дали неправильные ответы по оценке ситуации для Японии примерно в 20 % случаев, для Канады – в 17 %. Начальники же в тех примерно 10 % случаев, где приняли решение вопреки ИИ, правы оказались лишь в Канаде в 5 %, а в Японии – ни в одном. Данные выкладки показывают, что тема гибридного или человеко-машинного интеллекта чрезвычайно сложна. В конечном счете, мы пытаемся соединить то, в чем мы вообще ничего не понимаем, – человеческое сознание, с тем, что является техникой в первом поколении ИИ, и надеемся на базе этого соединения успешно решать все проблемы.

Рассмотрим основные сценарии злонамеренного использования ИИ

Ключевой угрозой является автоматизация социальной инженерии. С помощью ИИ на человека, являющегося целью социальных инженеров, собирается досье. При этом особое внимание обращается на его непроизвольные автоматические реакции, которые и будут использоваться социальными инженерами при фишинговых атаках, использовании телефонии и т. п. По мере развития ИИ в целях обеспечения анонимности возможно использование социальными инженерами чат-ботов, которые будут вести разговоры с жертвами. Наряду с автоматизацией социальной инженерии следует ожидать использования ИИ для улучшения выбора целей и определения приоритетов в злонамеренных атаках. Автономное программное обеспечение, внедренное в атакуемую сеть, будет в течение долгого времени обеспечивать ИИ необходимой информацией.