Новости

Публикации о британских роботах-собаках снова привлекло внимание к будущему автономных систем вооружения. Такие собаки британской компании Brit Alliance — это наземные дроны, которые в основном занимаются разведкой там, где не помогают воздушные дроны (в зданиях, в густой растительности и т.д.), доставляют небольшие грузы. Однако эти роботы-собаки не автономны. Как и в случае с воздушными беспилотниками, ими все равно управляют люди.

Минусы таких систем очевидны — связь между оператором и беспилотником можно глушить, к тому же один оператор может управлять только одним аппаратом. Намного перспективнее, по мнению многих аналитиков, создание полностью автономных систем вооружения, у которых этих недостатков не будет. Однако в таком случае получается, что решение о жизни и смерти людей будут принимать алгоритмы. С призывом запретить такие системы выступил, среди прочих, генеральный секретарь ООН Антониу Гутерриш. Сторонники развития таких систем, напротив, утверждают, что они позволят сделать войну более гуманной и снизить потери среди гражданского населения, поскольку автоматика исключит ошибки, которые допускают люди, сможет лучше отличать военные цели от гражданских. Но в реальности развитию этих технологий препятствуют не этические соображения, а совсем другое.

«Сохранить человеческий контроль»

Министерство обороны США в 2023 году издало обновленную директиву об использовании автономных и полуавтономных систем вооружения. В ней, в частности, говорится, что эти системы должны быть спроектированы так, чтобы у людей оставалась достаточная степень контроля над ними. Однако Human Rights Watch посчитала, что перечисленных в директиве мер недостаточно. Например, непонятно, кто будет нести ответственность в случае совершения автономными системами военных преступлений.

В октябре 2023 года генеральный секретарь ООН Антониу Гутерриш и президент Международного комитета Красного Креста Мирьяна Спольярич-Эггер обратились с совместным призывом к странам — членам ООН разработать к 2026 году соглашение о запретах и ограничениях для автономных комплексов вооружения. Как говорится в обращении, такие системы создают серьезные гуманитарные, юридические и этические проблемы, а также риски в области безопасности. «Их развитие и распространение может значительно изменить то, как ведутся войны, и стать одной из причин роста глобальной нестабильности и международной напряженности», — говорится в обращении.

В нем указано, что использование автоматических систем создает впечатление, что риск для военных и гражданского населения сокращается, а это может снизить порог принятия решения о вовлечении в военный конфликт. В результате возрастет риск эскалации международной напряженности. Гутерриш и Спольярич-Эггер призвали «сохранить человеческий контроль над решениями о жизни и смерти». «Машины, у которых есть возможность и свобода действий без участия человека отнимать жизнь, должны быть запрещены международным правом», — считают Гутерриш и Спольярич-Эггер. Они подчеркивают, что разрешать автономные военные комплексы, которыми управляют алгоритмы на основе машинного обучения, неприемлемо, поскольку такие алгоритмы — это непредсказуемое программное обеспечение, которое само себя пишет. Что касается не полностью автоматических систем, то Гутерриш и Спольярич-Эггер предлагают установить ограничения на их использование, которые позволяли бы людям контролировать их работу.

Запрограммированная этика

Этот осторожный подход вызывает резкий ответ со стороны американских военных экспертов. Профессор права Военной академии США Хитоши Насу и директор исследовательского центра в области робототехники этой же академии полковник Кристофер Корпела в материале на сайте американского Совета по международным отношениям призывают прекратить призывы к запрету «роботов-убийц». По их мнению, аргументы противников автономных систем вооружений основаны на ошибочных предположениях и рассуждениях, не основанных на практических соображениях и факторах, которые нужно учитывать при боевых действиях.

По оценке Насу и Корпелы, сделать так, чтобы автономные системы отвечали стандартам международного гуманитарного права — это технологическая задача, для которой нужно найти технологическое решение, чему запрет развития таких технологий только повредит. Использование вооружения, которое действует неизбирательно, как они напоминают, уже запрещено международным правом, как запрещено и использование оружия против людей на основании их расы, пола, гражданства и других подобных факторов. Поэтому, считают Насу и Корпела, международное соглашение, запрещающее все это, ничего не добавит к уже существующим ограничениям.

Они также обращают внимание на то, что некоторые существующие вооружения, те же ракеты, после запуска уже не контролируются людьми. Однако они не запрещены, хотя и не могут принимать этических решений. Более того, Насу и Корпела подчеркивают, что ответственных за действия автоматических систем вооружений не так уж сложно найти, ведь решение об их использовании принимают люди. К тому же опасна не автономность сама по себе, а боеприпасы, которые в такие системы загружают опять же люди. Кроме того, Насу и Корпела не верят, что все страны будут соблюдать запрет на разработку и использование «роботов-убийц», даже если международное соглашение по этому поводу будет достигнуто.

Наконец, американские военные утверждают, что автономные системы вооружения могут сделать военные действия более гуманными, так как использование автоматики исключит ошибки, которые допускают люди. В частности, такие системы смогут лучше отличать военные цели от гражданских объектов, а также установить присутствие гражданских лиц. А поскольку автоматические системы повышают точность удара, можно использовать боеприпасы меньшей разрушительной силы, то есть снизить сопутствующий ущерб от ударов.

Другие эксперты непосредственным преимуществом автономных систем вооружения называют то, что меньшее количество военнослужащих-людей смогут с их помощью выполнять больше задач, а также действовать на большей площади, не говоря уже о снижении потерь среди личного состава. Автономные системы также можно использовать для задач, которые слишком опасны или даже невыполнимы для людей. Такие системы, предположительно, будут лучше координировать свои действия и планировать их, обрабатывая большие объемы данных. Наконец, существуют подсчеты, согласно которым использование автономных систем может быть дешевле, чем содержание солдат.

Американский специалист по робототехнике Рональд Аркин считает, что роботы смогут воевать гуманнее людей, если у них не будет запрограммированного инстинкта самосохранения, который иногда заставляет человека превентивно уничтожать цели, не тратя времени на выяснение их характера. К тому же роботы смогут действовать без воздействия эмоций, а также докладывать о нарушениях, которые совершают люди. Подполковник вооруженных сил США Дуглас Прэйер, слова которого приводит Military Review, обращает внимание, что военнослужащие могут совершать преступления в зоне боевых действий из-за стресса. Замена их автоматическими системами могла бы снизить число таких преступлений.

Не раньше 2035 года

На какой стадии находятся работы по созданию полностью автономных комплексов вооружения, неясно, разработки в этой сфере засекречены. «Среди ученых, экспертов индустрии и чиновников Пентагона не вызывает большого сомнения то, что в течение следующих нескольких лет США будут иметь полностью автономное летальное оружие», — говорилось в материале AP, вышедшем в конце 2023 года. Представитель Пентагона не стал отвечать на вопрос корреспондента агентства, рассматривает ли сейчас Министерство обороны США возможность принять на вооружение образцы такого оружия. Согласно официально озвученным данным, в соответствии с новой программой «Репликатор» вооруженные силы США планируют до 2026 года получить тысячи недорогих автономных систем с ИИ. Однако не ясно, будут ли среди них полностью автономные. По данным AP, у Пентагона более 800 незасекреченных проектов, связанных с использованием ИИ.

Недостатки есть и у полностью автономных систем. Как отмечает научный сотрудник французского Национального научно-исследовательского центра Грегуар Шамаю, возможность использовать полностью роботизированные дроны может стать решением проблемы вероятного перехвата управления ими. Однако чтобы перемещаться, эти устройства все время зависят от GPS, то есть от данных, поступающих со спутников, которые также можно фальсифицировать или перехватывать. Шамаю рассказывает об эксперименте, когда при помощи аппарата стоимостью около тысячи долларов команда исследователей посылала ложный сигнал автономному дрону. Его заставили поверить в то, что он резко взлетает. В результате автопилот, который регулирует высоту полета, направил аппарат в землю.

Однако если судить об уровне развития автономных систем по состоянию смежных гражданских отраслей, например, беспилотного транспорта, ситуация выглядит менее оптимистично. По оценке британской аналитической компании GlobalData, первые по-настоящему беспилотные автомобили вряд ли появятся раньше 2035 года. В числе основных проблем GlobalData называет необходимость больших инвестиций в исследования и разработки. Однако дело может быть не только в этом. Согласно подсчетам McKinsey, с 2010 года в разработку беспилотных автомобилей инвесторы уже вложили $106,1 млрд, а в разработку электромобилей — заметно меньше, $62,2 млрд. Но размер глобального рынка электромобилей превысил $200 млрд, а настоящие беспилотные машины без человека в кабине так и остались фактически в стадии тестирования.

По словам Энтони Левандовски, который в 2009 году был сооснователем программы Google по разработке беспилотного транспорта, трудно найти другую сферу, где такие масштабные инвестиции в исследования и разработки привели бы к таким скромным результатам. При работе над этими проектами выяснилось, что ориентироваться в ситуации на дороге компьютерам очень сложно, пусть они и могут проводить вычисления намного быстрее людей. Проблема в том, что на дороге возникает огромное множество уникальных ситуаций, запрограммировать реакцию на которые невозможно. Например, человек понимает, что голуби, севшие на дорогу, улетят при приближении автомобиля. Алгоритм может посчитать их серьезным препятствием и затормозить неожиданно для других водителей. Если ситуация на дороге будет немного отличаться от сценариев, на которых обучали алгоритм, машинное обучение не поможет.

То есть беспилотный автомобиль должен был бы ориентироваться в жизни не хуже, чем сами люди, что пока невозможно. Поэтому такие машины во время тестов часто попадают в аварии. Если беспилотный автомобиль, который должен просто передвигаться по дороге в мирной обстановке, не удастся сделать раньше 2035 года, непонятно, когда могут появиться полностью автономные системы вооружения. Можно было бы подумать, что инвестиции в военные разработки выше, чем в гражданские, и результат в военной сфере будет достигнут быстрее. Однако ситуация обстоит как раз наоборот. В публикациях по этой теме отмечается, что Пентагону трудно нанимать специалистов в области ИИ, поскольку их зарплаты могут превышать оклады генералов и адмиралов.

В будущем из-за автономных систем вооружений в странах с республиканской формой правления могут возникнуть и политические проблемы. Пока вооруженные силы состоят из людей, военнослужащие могут отказаться выполнять незаконные приказы, например, по подавлению внутренней оппозиции. Однако в случае, если в распоряжении правительства будут боевые роботы, неясно, каким образом можно будет предотвратить злоупотребления властью. По словам того же Грегуара Шамаю, распространение даже дронов, управляемых людьми, неизбежно подразумевает изменение отношения государства к своим гражданам. «Было бы неправильно сводить проблему вооружений исключительно к насилию, обращенному вовне, — отмечает он. — Что значит для населения стать подвластным государству-дрону?»

Как говорится в том же материале AP, бывший директор Объединенного центра по ИИ вооруженных сил США Джон Шанахан пока доверяет только оборонительным автономным системам, таким как корабельный зенитный артиллерийский комплекс Phalanx. Причем опасается он вовсе не этических дилемм, связанных с тем, что машины смогут самостоятельно принимать решения, а того, что автономные системы не будут правильно работать и начнут стрелять по своим или по гражданскому населению.