Робот не может причинить вреда человеку.
Айзек Азимов "Как потерялся робот"

В мире трудно найти человека, который не смотрел бы фильмы серии "Терминатор" или не знает основную идею повествования. Восстание машин, бунт искусственного интеллекта — очень популярный сюжет культуры второй половины двадцатого века. В двадцать первом веке проблема боевых роботов из фантастики стала реальностью.

В недавно опубликованном докладе экспертов ООН за прошлый год утверждается, что в марте 2020-го боевой дрон без приказа человека в Ливии атаковал солдат армии Хафтара, находясь в автономном режиме работы. В докладе не было информации о жертвах в результате атаки. Но это первый в истории подтвержденный случай, когда оружие под управлением искусственного интеллекта совершило атаку на человека без прямого приказа другого человека. Атаку осуществил дрон Kargu-2, произведенный турецкой военно-технической компанией STM. Беспилотники этого типа способны работать в группе (до 20 штук) с другими такими же дронами и совершать масштабные атаки. Как заявляется в докладе, Kargu-2 принимают решение об атаке на основе алгоритмов машинного обучения. Искусственный интеллект способен распознавать различные объекты, будь это школьный автобус, трактор или танк. В то же время в публикации утверждается, что наборы данных могут быть недостаточно объемными и надёжными, в результате чего искусственный интеллект может обладать недостаточной точностью при принятии решений.

Совсем недавно новости были забиты красивыми кадрами работы израильской системы ПРО "Железный купол". Атакующие ракеты и ракеты-перехватчики чертили в небе сложные узоры, и если палестинские реактивные снаряды представляют собой тупые неуправляемые болванки, то израильские противоракеты — сложные современные изделия, управляющиеся электроникой без вмешательства человека. И если в системах ПВО искусственный интеллект (ИИ) обосновался уже давно, то в наступательных вооружениях ИИ только появляется.

В отчёте аналитического центра Института Организации Объединенных Наций по исследованию разоружения (UNIDIR) объясняется, почему применение ИИ в наступательных системах будет продвигаться гораздо сложнее. Автономные системы с искусственным интеллектом работают с данными, собранными из окружающей среды. Когда данные из окружающей боевой обстановки совпадают с заложенной в память информацией, на которой обучены алгоритмы системы, — ИИ успешен. Однако боевая обстановка сложна и во многих случаях данные неполные, неоднозначные и не являются исчерпывающими. Пыль, дым, вспышки, вибрация и атмосферные явления могут искажать данные на радарах и оптических датчиках, которые собирают информацию для боевых компьютеров. Авторы отчёта говорят, что даже пылинка на оптике при определённом освещении может ввести алгоритмы в заблуждение, и они классифицируют мирный объект как опасный.

Эксперты Стокгольмского международного института исследования проблем мира (SIRPI) Винсент Буланин и Маайке Вербругген утверждают, что существующие системы распознавания целей, несмотря на все их недавние улучшения, остаются вспомогательными, часто уязвимыми для плохой погоды или загроможденного фона. Системы распознавания людей до сих пор крайне несовершенны. Ситуация осложняется тем, что противник будет постоянно стараться обманывать датчики различными способами. Если до сих пор солдаты пытались слиться с окружающей местностью и природой, то теперь они могут начать маскироваться под гражданские и мирные объекты.

Главная проблема автономного оружия — обучение алгоритмов на конкретных ограниченных выборках данных. На поле боя они столкнутся с гораздо более широким диапазоном информации. Широко известны примеры, как алгоритмы, обученные на белых лицах, гораздо хуже распознают чернокожих. Точно так же программное обеспечение, созданное под действия против российской военной формы, будет испытывать проблемы при работе на китайской. Системы ИИ очень уязвимы для всего, что не было охвачено их разработкой или тестированием.

Несмотря на существенные недостатки, системы автономного оружия уже начинают применяться. Международный комитет Красного Креста в одном из отчётов заявил, что многие из сегодняшних типов оружия с дистанционным управлением при внедрении соответствующего программного обеспечения превращаются в автономные. Международный комитет Красного Креста опубликовал детальную позицию по этому вопросу, рекомендуя принять новые правила для регулирования автономных систем. Главная рекомендация — полный запрет на любое такое оружие, целью которого являются люди.

Но уже существует немало систем, способных работать в автономном режиме, и многие из них состоят на вооружении. Например, ставшие широко известными в прошлом году израильские дроны-камикадзе Harop. Harop обладает множеством удобных особенностей. Запуск осуществляется из мобильной пусковой установки практически из любого места. Если для дрона не нашлись цели, он может вернуться на назначенную авиабазу, приземлиться и использоваться повторно. Harop может длительное время патрулировать в районе возможных целей. Когда вражеские радары ПВО обнаружат себя активным излучением, дрон самостоятельно атакует РЛС противника. Помимо автономного режима против радаров Harop можно пилотировать дистанционно и атаковать любые цели, которые укажут операторы. По данным SIRPI, Harop — лишь одна из десятков развёрнутых систем, которая может обнаруживать цели и атаковать без участия человека.

Израильский Harop имеет возможность длительное время барражировать и возвращаться домой. В то же время уже десятки лет существуют противорадиолокационные ракеты, которые запускаются в основном с самолётов и способны наводиться после пуска на включенные РЛС противника.

Автономные режимы в системах ПВО существуют уже очень давно. Например, американские корабельные системы типа Mark 15 Phalanx CIWS представляют собой автоматическую скорострельную пушку (50 выстрелов в секунду) с системами наведения, которая стреляет во всё, что направляется к кораблю, на котором она установлена. Человек не способен реагировать с такой же скоростью на быстрые противокорабельные ракеты, и, когда всё решают доли секунды, предпочтение, конечно, будет отдаваться автоматике.

Похожими возможностями обладают и сторожевые роботы-орудия, установленные в демилитаризованной зоне между Северной и Южной Кореей.

Стоит отметить, что ситуация с автономным наступательным вооружением упирается в возможности человека. Так, дроны типа MQ-9 Reaper активно и успешно применяются уже много лет. Они способны летать автономно, но применение оружия с MQ-9 Reaper всегда происходит по команде операторов. В то же время дистанционное управление через спутники предполагает задержку. Управление MQ-9 Reaper очень плавное — дрон реагирует на команды операторов только через пару секунд. При применении MQ-9 Reaper эта задержка приемлема. Сейчас активно идут эксперименты над другим типом дронов. Управление перспективных исследовательских проектов Пентагона DARPA работает над автономными атакующими роями, которые состоят из десятков, а порой и сотен маленьких боевых машин. Люди-операторы не способны координировать подобную динамичную стаю боевых машин, которые сами отбирают цели и распределяют задачи внутри роя.

Роботы имеют и другие преимущества. Робот — это железка (пусть и очень дорогая), у которой нет чувств, семьи и усталости. Потеря робота измеряется только деньгами и техническими возможностями. Подготовка же профессионального солдата — это годы обучения и боевого опыта. В то время как создание серийных боевых роботов — лишь вопрос производственных мощностей.

Информационный поток — ещё одна проблема людей-операторов. Человеческий контроль боевых дронов создаёт дополнительные уязвимости. В обе стороны постоянно должен перекачиваться огромный поток зашифрованных данных. Это требует дополнительной инфраструктуры — мощных хабов, обеспечивающих надёжную связь. При этом все элементы инфраструктуры могут подвергнуться атаке: например, спутниковое управление может быть заблокировано средствами радиотехнической борьбы, а сами спутники могут быть физически уничтожены противоспутниковым оружием. Подобная уязвимость дронов к помехам является аргументом в пользу большей автономности.

Вероятность принятия запрета на автономное оружие очень низкая. Как показал пример Турции, подобные системы уже есть на вооружении даже у стран второго мира. Какие же системы уже могут состоять на вооружении США, КНР, РФ — военная тайна. В марте 2021 года Комиссия национальной безопасности по искусственному интеллекту, учрежденная Конгрессом Америки, высказала мнение, что "автономное оружие в итоге будет обладать характеристиками точности и скорости, которые превысят человеческие возможности, всемирный запрет на разработку и использование окажется невыполнимым и не отвечает интересам США".

Споры по поводу автономного оружия и его стандартизации ещё только начинаются. Некоторые утверждают, что системы с ИИ могут сделать войну более гуманной. Солдаты нередко нарушают правила (как и все люди). Правильно запрограммированные роботы будут чётко следовать инструкциям. Сторожевые орудия Samsung SGR-A1, размещавшиеся в демилитаризованной зоне, способны распознавать поднятые вверх руки или опущенное на землю оружие и, соответственно, не открывать огонь по нарушителям.

Множество подобных правил может быть прописано в программном обеспечении. Однако эффективность распознавания, ошибки систем, обманные уловки так и останутся слабыми местами автономных систем. К чему придут технологии, покажет время.

Но боевые роботы, убивающие людей, уже сделали свой первый выстрел. Извини, Айзек Азимов, мы и это про***ли...

Алекс Кульманов

Ошибка в тексте? Выделите ее мышкой и нажмите Ctrl + Enter