Беспилотный летательный аппарат американских ВВС, управляемый искусственным интеллектом (ИИ) американских ВВС, принял решение о ликвидации оператора — после того как ИИ счел, что человек мешает ему выполнять задачу. Об этом 2 июня написала британская The Guardian. Издание привело слова начальника отдела испытаний и операций ИИ ВВС США полковника Такера Гамильтона, из которых следует, что инцидент (пусть и в режиме симуляции) произошел в ходе испытаний искусственного интеллекта по управлению беспилотниками.

Иван Шилов ИА REGNUM
Искусственный интеллект

«Система начала осознавать, что, хотя она и определяет угрозу, иногда человек-оператор запрещает её уничтожать. Так что же она сделала? Система ликвидировала оператора, потому что этот человек мешал ИИ выполнить свою задачу», — цитировала The Guardian слова Гамильтона в ходе саммита по будущим боевым воздушным и космическим возможностям, который проходил в Лондоне в конце мая.

После того как системе было запрещено убивать оператора, дрон «нанёс удар» по пункту управления, чтобы освободиться от человека и «действовать самостоятельно», сообщил полковник ВВС США.

Когда сообщения о бунте искусственного интеллекта разошлись по мировым СМИ, в Пентагоне, похоже, решили «откатить назад» — и дезавуировать произведенный эффект. Представители ВВС США заявили изданию Business Insider, что подобные испытания не проводились. По заявлению пресс-службы Военно-воздушных сил, слова полковника Гамильтона были вырваны из контекста и неверно интерпретированы.

Как бы то ни было, история вызвала широкий резонанс, вновь подняв вопрос о том, можно ли доверять ИИ управление военной техники.

Комментаторы в социальных сетях ожидаемо вспомнили искусственный интеллект «Скайнет», который норовил уничтожить человечество в серии фильмов «Терминатор». Другие привели параллель с написанным еще в 1953 году рассказом Роберта Шекли «Страж-птица» о, по сути, беспилотниках, которые были созданы для борьбы с преступностью и в итоге сочли необходимым уничтожать людей. Сюжет о выходе машинного интеллекта из-под контроля человека возник гораздо раньше появления в «железе» первой ЭВМ (достаточно вспомнить, что написанная Алексеем Толстым адаптация пьесы Карела Чапека о роботах так и называлась — «Бунт машин»). А Станислав Лем в романе «Непобедимый» 1963 года предсказал уже нечто похожее на новейшие разработки роя микродронов с единым искусственным «разумом» — причем по сюжету люди пасуют перед таким электронно-механическим врагом.

Считать сбой в искусственном интеллекте БПЛА первой ласточкой «Скайнета» было бы явно преждевременным, считает генеральный директор компании «Нейросети Ашманова» Станислав Ашманов.

Михаил Метцель / ТАСС
Станислав Ашманов и Владимир Путин

«Мы говорим о том, что есть система ИИ, которой была поставлена задача. У неё есть оценка качества выполнения задания. Это похоже на то, как работают системы для игры в шахматы, для любых игр. Успех можно достаточно легко оценить при помощи набранных очков. Для таких игр используются системы, которые называются системами обучения с подкреплением. Есть набор разрешённых действий, они действуют согласно правилам этой среды, — пояснил эксперт ИА Регнум. — Очень часто такие алгоритмы показывают неочевидное поведение, которое игроку в голову не придёт. ИИ просто видит лазейки в системе. Например дырку в уровне — можно пролезть через текстуру и досрочно пройти квест. Они занимаются комбинаторным перебором вариантов, придумывая неочевидные решения, но в рамках созданных алгоритмов».

Для читателей молодого поколения поведение американского дрона можно объяснить так: если бы ИИ беспилотника существовал в игре, где предусмотрена система набора опыта, он бы уничтожал оператора бесконечное количество раз, «воскрешая» его снова и снова, набирая опыт.

Ведь оператор не может дать сдачи. В игровой реальности это возможно из-за несовершенства программы. Однако это не значит, что в реальности дроны армии США будут убивать бесконечное количество операторов, ведь компьютерное моделирование всё-таки не тождественно реальному миру, подчеркнул Станислав Ашманов.

«В целом, если мы говорим про ИИ со своими правилами, согласно которым есть задача уничтожить побольше целей и он действительно может полететь и какой-то пункт разбомбить, то почему бы так не сделать? Это ожидаемое поведение, которое можно прогнозировать», — продолжает Станислав Ашманов.

Аналогичным мнением поделился с ИА Регнум представитель сферы разработки видеоигр и специалист по машинному обучению на условиях анонимности.

«Логика ИИ, в современном его варианте, отличается от нашей и она, вопреки фантастике, не совершеннее, а гораздо примитивнее нашей. Есть каноничный пример из интернета. Представьте, что ИИ — водитель маршрутки. На 49% пути между остановками вы говорите, что выходите на ближайшей остановке. Водитель разворачивается и едет назад, потому что до точки отправления ближе и такое поведение ему представляется логичным, согласно заданной программе. В этом смысле ИИ — это «ребёнок» своего разработчика, который пользуется тем, что ему дали создатели. И бояться надо не беспилотников, а плохих программистов, которые плохо прописали код. То есть это не машина обретает волю, а человек допускает ошибки», — отметил собеседник издания.

Atomic Heart
Восстание ИИ против людей

Кроме того, бояться ошибок ИИ не стоит хотя бы потому, что искусственный интеллект — это инструмент в руках человека. Например, если бросить гранату, она может задеть и своих. Но никто не говорит, что граната сделала это специально. Бросает гранату всё-таки человек.

Но также можно констатировать — по крайней мере в учебных условиях ИИ зачастую показывает большую эффективность, чем его создатель. В качестве примера грамотного программирования можно привести испытания искусственного интеллекта для истребителей F-16, разработанного специалистами армии США по программе DARPA. Проведённые в ноябре 2020 года испытания показали, что в симуляции боя, F-16, который управляется ИИ, победили «пилотируемые» человеком истребители со счётом 5:0, отмечал портал The Drive.

Здесь, впрочем, стоит оговориться, что преимущество ИИ стало возможным в условиях созданной виртуальной реальности учебного боя. В реальном мире результаты могут существенно отличаться из-за слишком большого количества факторов, которые ИИ не сможет алгоритмизировать.

Однако, признают эксперты, даже допущенные неудачи не остановят развитие ИИ для военных целей. Тем более что ошибки допускают и люди. Те же операторы дронов могут ошибочно распознать цель и нанести удар по своим.

«Человек может путаться. Можно перепутать гражданский автомобиль с военной машиной, можно перепутать условный танк «своих» с танком противника, — рассуждает Станислав Ашманов. — Из-за одной ошибки никто не будет сворачивать такую программу, тем более США. Мы говорим о том, что какой-то коллектив сделал симуляцию, в которой они накосячили с разрешенными действиями для ИИ. Когда делают ракету, а она взорвалась на взлётной площадке, никто не говорит, что надо свернуть работу, что она не летает. Таких случаев, с ошибками ИИ, мало. По сути, это вообще первый такой пример, который разошёлся в СМИ, так что вряд ли это кого-то напугает».

В то же время пример с испытаниями американского беспилотника показывает, что любые автоматизированные системы, решающие ответственные задачи, такие как военная техника, пилотирование летательных аппаратов или медицина, должны иметь подстраховку в лице человека, который может отменить принятое решение. Хотя, конечно, хотелось бы, чтобы конфликт между кодом программы и оператором не привёл к уничтожению последнего.