Вашингтон, 2 сентября, 2020, 23:45 — ИА Регнум. Министерство обороны США обеспокоено тем, что программы искусственного интеллекта (ИИ) могут иметь серьезные и неизвестные уязвимости, которыми могут воспользоваться злоумышленники.

Александр Горбаруков ИА REGNUM
Военный бюджет

Об этом сегодня пишет Гаррет Рейм в статье «ВВС США решают проблему спуфинга при использовании ИИ» на портале flightglobal.com

* * *

Пентагон обеспокоен тем, что технология искусственного интеллекта может быть не только взломана, но и «подделана». То есть ИИ можно намеренно обмануть, заставив думать, что он видит объекты или военные цели, которых не существует. Верно и обратное: объекты или цели могут ошибочно игнорироваться.

«Это одна из причин, по которой ВВС США и Массачусетский технологический институт (МIT) основали в 2019 году MIT-Air Force AI Accelerator. Акселератор высокотехнологичных платформ, финансируемый ВВС США в размере 15 миллионов долларов в год, ищет уязвимости в ИИ и способы защиты технологий от вражеских манипуляций», — сказал в июне Уилл Ропер, помощник секретаря ВВС США по закупкам, технологиям и логистике.

Ученые МIT уже нашли способы обмануть некоторые из лучших в мире программ, содержащие технологии ИИ.

«Они могут показать изображение авиалайнера, и каждый будет смотреть на него и говорить: «Да, это авиалайнер», — говорит Ропер. — Вы запускаете ИИ с помощью лучших в мире алгоритмов машинного обучения, а он определяет авиалайнер как свинью».

Программы машинного обучения — это разновидность ИИ, которая исследует массивы данных, выявляет закономерности и делает выводы. Программы предназначены для имитации способа распознавания закономерностей человеческим мозгом.

Возможность обмана программ машинного обучения вызывает беспокойство у ВВС США, поскольку они планируют переложить работу с пилотов боевых истребителей на роботов беспилотных летательных аппаратов (БЛА), которые будут управляться программами ИИ.

В июле 2020 года ВВС США заключили четыре бессрочных контракта на сумму до $400 млн каждый на разработку программы ИИ, которую они называют Skyborg. Контракты получили компаниям Boeing, General Atomics Aeronautical Systems, Kratos Unmanned Aerial Systems и Northrop Grumman.

Skyborg должен стать мозгом и позвоночником БЛА ВВС США — автономных летательных аппаратов, которые служба надеется производить в количестве достаточном для уничтожения врагов. Службе нужен ИИ вместо дистанционных пилотов, управляющих такими системами.

В августе 2020 года в своих планах по созданию автономных боевых самолетов Пентагон сделал большой шаг вперед: программа с ИИ победила пилота Lockheed Martin F-16 ВВС США в пяти имитированных воздушных боях.

Поверхностный искусственный интеллект

Говоря простым языком, ИИ — это широкий класс компьютерных программ, обученных распознавать закономерности. Часто эти закономерности наблюдаются в данных изображения или видео. Например, программа с ИИ могла бы многократно загружать изображения определенного типа самолета и сообщать его название до тех пор, пока она не научится идентифицировать этот самолет самостоятельно.

ВВС США уже используют ИИ для облегчения и сокращения по времени утомительной работы по маркировке фотографий наблюдения и разведки, которые поступают с самолетов Lockheed U-2 и Northrop Grumman RQ-4 Global Hawk.

Теоретически аналогичная технология на борту БЛА также может быть использована для определения тепловых или радиолокационных признаков вражеских самолетов. К сожалению, ИИ часто делает поспешные выводы.

«Когда вы вводите что-то, чего раньше не видели, намеренно или непреднамеренно… вы заставляете ИИ сделать выбор, — говорит Ропер. — Но, в отличие от людей, у ИИ нет необходимых средств, чтобы понимать, насколько его выбор поверхностен или вынужден, или что в этом выборе что-то не так. Люди принимают решения по-другому».

Обмануть программу ИИ очень легко. Одним из часто цитируемых примеров манипуляций с ИИ является эксперимент, в котором программу беспилотных автомобилей обманули, заставив думать, что знак остановки на самом деле является знаком ограничения скорости на 45 миль в час. Для обмана потребовалось лишь несколько удачно размещенных наклеек. Разумеется, проезд через знак остановки на скорости 45 миль в час может привести к катастрофе.

Есть два способа воспользоваться уязвимостью в программе с ИИ: атака «белого ящика» и атака «черного ящика». В случае атаки методом «белого ящика» злоумышленник имеет некоторый доступ к программе ИИ и понимает, как она работает. Эти знания используются для управления программой. При атаке с помощью «черного ящика» агрессор не имеет никаких инсайдерских знаний, но вместо этого должен исследовать программу ИИ извне, снабжая её информацией до тех пор, пока она не выйдет из строя.

В апреле этого года Управление перспективными исследовательскими проектами Министерства обороны США (DARPA) начало поиск идей для «методов нарушения машинного зрения», имитирующих попытки «черного ящика» обмануть идентификацию изображений ИИ в ситуациях, когда не доступны ни исходный обучающий набор, ни конкретная архитектура зрения.

По словам Брюса Дрейпера, менеджера программы Управления информационными инновациями, во многих отношениях подделка ИИ похожа на военный обман и радиоэлектронную атаку, использовавшуюся в прошлом. Дрейпер возглавляет ещё одно подразделение DARPA — программу обеспечения устойчивости ИИ против обмана — инициативу по созданию теоретических основ для выявления уязвимостей системы и характеристики определенных свойств, которые сделают программы ИИ более надежными.

«Камуфляж — это попытка подделать зрительную систему человека, — говорит он. — То, что мы сейчас делаем, заключается в том, что органы чувств всё больше и больше заменяются ИИ. Таким образом, люди пытаются изобрести способы подделать искусственные системы восприятия окружающего мира. На самом деле, ИИ во многих отношениях надежен, он способен обнаруживать закономерности среди запутанных данных, с которыми люди не справляются. Но, с другой стороны, вещи, с которыми у людей нет проблем, например, наклейка на знаке остановки — если это правильный цвет, правильное место, правильная форма, это может победить систему ИИ. Он видит иначе, чем мы. И поэтому то, что его обманывает, отличается от того, что обманывает нас».

Например, программы ИИ, просматривающие изображения или видео, как правило, фокусируются на высокочастотных визуальных шаблонах.

«Гребни на кирпичах, как правило, являются вещами, которые по какой-то причине эти системы ИИ особенно хорошо классифицируют, — говорит Дрейпер. — Итак, если вы можете нарушить визуальную текстуру, вы можете и подделать её».

Меры безопасности

Построение защиты от таких ошибок может быть трудным делом, потому что нелегко понять, как программы ИИ приходят к выводам. Подобно тому, как работает человеческий мозг, программное обеспечение на базе ИИ дает результаты не за счёт того, что оно запрограммировано на выполнение определенных задач, а путем наблюдения за информацией и последующего обобщения взаимосвязей между множеством различных точек данных.

«Одна из проблем, связанных с ИИ, состоит в том, что многие из нас не совсем понимают, что он делает, — говорит Стюарт Мэдник, профессор кафедры информационных технологий и инженерных систем MIT. — Таким же образом очень сложно понять, что происходит в голове у годовалого или двухлетнего ребенка».

Попытка разгадать способ мышления программы с ИИ может оказаться непосильной задачей.

«С математической точки зрения мы говорим о нелинейных моделях буквально с миллионами параметров», — говорит Дрейпер.

Однако есть ряд идей о том, как сделать ИИ более надежным.

По словам Дрейпера, один простой для понимания метод называется «ансамблями классификаторов». Этот метод направлен на предотвращение ошибок ИИ путем подачи в программы различных типов данных. Например, программа может научиться классифицировать объекты не только по изображениям, поступающим с камеры, но и по данным, поступающим с лазерного локатора и радара. Дополнительные данные предоставили бы компьютерной программе более точную информацию о том, как выглядит объект.

Другой метод называется «состязательное обучение».

»Идея состязательного обучения состоит в том, что вы берёте на себя ожидаемую атаку и делаете её частью своего тренировочного процесса», — говорит Дрейпер. — Система с самого начала учится быть устойчивой к такого рода атакам».

Тем не менее иногда сложно понять, что программой ИИ манипулируют, потому что определённые программы предназначены для поиска необычных, неожиданных или упускаемых из виду решений.

«Вы не можете просто посмотреть на результат и сказать: «Да, результат оказался не таким, как я ожидал, и, следовательно, с системой должно быть что-то не так», потому что вы используете систему ИИ, чтобы найти иголки в стогах сена, — говорит Кери Перлсон, исполнительный директор по кибербезопасности школы менеджмента Sloan при MIT.

В конечном счете, для того чтобы программы ИИ были выпущены на свободу и действовали самостоятельно, они должны оказаться устойчивыми к манипуляциям и достаточно предсказуемыми, чтобы люди могли с ними сотрудничать.

В ближайшем будущем это означает, что беспилотные самолеты будут находиться под пристальным наблюдением бортовых командиров, управляющих самолетами.

«Если мы собираемся использовать самолёт на поле боя, нам необходимо убедиться, что операторы, которые ведут этот бой, обучены уязвимостям и лучше понимают, что делать с ИИ для того, чтобы одержать победу», — утверждает Ропер.

В более долгосрочной перспективе необходимо проделать большую работу, чтобы понять слабые стороны и ограничения ИИ.

«Существует мнение, что ИИ работает так: просто введите в него достаточно данных, и все будет хорошо, — говорит Ропер. — Но это не так. Мы нуждаемся в новом поколении этой технологии».