Смертоносный рой

Автор журнала Wired Уилл Найт в своей статье пытается найти ответ на вопрос, целесообразно ли устранить человека из процесса принятия решений при применении автономных систем вооружений.

В августе прошлого года в 40 милях к югу от Сиэтла в небо поднялись несколько десятков военных дронов, а на дороги вышли танкоподобные роботы. Их миссия: обнаружить террористов, которые вероятно прячутся в нескольких зданиях.

В ходе операции было задействовано так много роботов, что контролировать их не смог ни один оператор-человек. И им дали приказ найти и уничтожить вражеских комбатантов.

Эта миссия была лишь учением, которое организовало Агентство перспективных исследовательских проектов Министерства обороны. У роботов из вооружений не было ничего смертоноснее радиопередатчиков, предназначенных для имитации взаимодействия как с дружественными, так и с вражескими роботами.

Учения были одним из нескольких, проведенных прошлым летом, с целью проверить, как искусственный интеллект может помочь шире использовать автоматизацию военных систем, в том числе в ситуациях, которые слишком сложны и слишком быстро изменяются, чтобы человек мог быстро принять критически важное решение. Эти учения также являют собой некий сдвиг в отношении Пентагона к автономному оружию, ведь становится все очевиднее, что при анализе сложны ситуаций или действиях машины могут превзойти человека.

Генерал Джон Мюррей из Командования будущего армии США во время выступления в Военной академии США в прошлом месяце заявил, что армия роботов вынудит военных тактиков, политиков и общество задуматься над тем, должен ли человек принимать все решения о применении летальной силы при работе с новыми автономными системами. Мюррей спросил: "Может ли человек решить, какие из них нужно задействовать, а затем принять 100 отдельных решений? Необходимо ли вообще участие человека?", — добавил он.

Судя по другим оценкам военного руководства, оно заинтересовано в расширении возможностей автономных систем вооружения. Директор по операциям в программе ВВС по ускорению ИИ в Массачусетском технологическом институте и ведущий специалист по ИИ в вооруженных силах США Майкл Кэнаан на конференции по искусственному интеллекту в ВВС, состоявшейся на прошлой неделе, отметил, что мышление развивается. Он говорит, что ИИ следует больше заниматься выявлением и определением потенциальных целей, пока люди принимают решения на высоком уровне. "Думаю, к этому мы и движемся", — считает Кэнаан.

На том же мероприятии присутствовал также заместитель начальника штаба Пентагона по стратегии, интеграции и требованиям генерал-лейтенант Клинтон Хинот, который сказал, что вопрос о том, можно ли вывести человека из цикла работы летальной автономной системы, является "одним из самых интересных, [и] решения пока нет".

В этом месяце Комиссия национальной безопасности и по искусственному интеллекту (NSCAI), консультативный орган, созданный Конгрессом, опубликовал доклад, в котором среди прочего рекомендовал США сопротивляться призывам к введению глобального запрета на разработку автономного оружия.

По словам Тимоти Чана, менеджер программы Darpa, отвечающий за проект роя дронов, прошлогодние учение проводились с целью понять, когда оператор беспилотного летательного аппарата должен или не должен принимать решения для автономных систем. Например, подвергаясь атакам с нескольких сторон, человеческий контроль порой может мешать выполнению миссии, потому что люди не могут реагировать достаточно быстро. "На самом деле системы могут работать лучше, если никто не вмешивается", — говорит Чан.

Тогда перед дронами и роботами на колесах, каждый из которых размером с большой рюкзак, поставили общую цель, а затем запустили алгоритмы ИИ для проработки плана по ее достижению. Некоторые окружали здания, а другие наблюдали. Некоторые были уничтожены имитацией врызвчатки, некоторые обнаружили маяки — вражеских комбатантов, и решили атаковать.

США и другие страны десятками лет использовали автономию в системах вооружений. Некоторые ракеты могут, например, автономно идентифицировать и атаковать врагов в заданной области. Но быстрое развитие алгоритмов искусственного интеллекта изменит то, как военные используют такие системы. Стандартный ИИ-код, способный управлять роботами и определять ориентиры и цели в большинстве случаев с высокой надежностью, позволит использовать больше систем для более широкого списка сценариев.

Однако, как показали учения с дронами, с более активным применением ИИ порой становится проблемным держать человека в курсе происходящего. Это может оказаться проблематичным, поскольку ИИ может быть подвластен предубеждениям или вести себя непредсказуемо. Алгоритм зрения, благодаря котором происходит распознавание конкретной униформы, может ошибочно нацелиться на кого—то в аналогичной одежде. По словам Чана, проект Swarm ("Рой") предполагает, что алгоритмы улучшатся до такой степени, что с их помощью враг будет идентифицирован с достаточной надежностью.

Использование ИИ в системах вооружений в последние годы вызывает все больше споров. Так, Google в 2018 г. столкнулась с протестом своих сотрудников и общественным резонансом после того, как передала ВВС технологию искусственного интеллекта в рамках проекта Maven.

В какой-то степени этот проект является частью уже долгой истории автономных систем вооружений, причем некоторые ракеты уже способны выполнять ограниченные задачи без контроля человека. Но он также дает представление о том, как последние достижения в сфере ИИ сделают автономию более привлекательной и неизбежной в определенных ситуациях. Более того, он подчеркивает доверие, которое будет оказано технологиям, и которые пока могут быть непредсказуемыми.

По мнению эксперта Центра новой американской безопасности, автора книги "Армия без людей: Автономное оружие и будущее войны" Пола Шарра, пришло уже время провести более серьезное обсуждение технологии автономного оружия. "Дискуссия о "людях в цикле" должна быть более сложной, нежели вопрос с двумя простыми ответами: "да" или "нет", — говорит он. — Если человек принимает решение атаковать рой вражеских дронов, нужно ли ему индивидуально выбирать каждую цель?".

Министерство обороны в ноябре 2012 г. опубликовало стратегию использования автономного оружия, в которой говорилось, такие системы должны контролировать человека, но это не значит, что каждое решение должны принимать военные.

Те же, кто считает, что использованием ИИ военные перейдут Рубикон, когда речь пойдет об ответственности человека за летальное оружие, смотрят на это иначе.

"Летальное автономное оружие, достаточно дешевое, чтобы его мог себе позволить каждый террорист, что не отвечает интересам национальной безопасности Америки, — считает Макс Тегмарк, профессор Массачусетского технологического института и соучредитель Института "Будущее жизни", некоммерческой организации, выступающей против автономного оружия.

Тегмарк отмечает, что оружие с ИИ следует "заклеймить и запретить, как биологическое оружие". По его словам, рекомендация NSCAI не соглашаться на глобальный запрет является стратегической ошибкой. "Я полагаю, что однажды мы будем жалеть об этом даже больше, чем о вооружении талибов", — добавил он. 

"ДС"