Терминатор не пройдет

Группа правительственных экспертов ООН в рамках конвенции о негуманном оружии согласовала возможные принципы обсуждения боевых автономных систем. ТГ-канал "Ватфор" предлагает изложение этих принципов для широкой аудитории со своими комментариями.

1. Автономное оружие - тоже оружие, и подпадает под международное право. Это следствие статьи 36 Женевской конвенции, которая обязывает участников вводить любые перспективные системы вооружения в рамки международного права.

2. Ответственность за использование автономных боевых систем лежит на человеке на протяжении всего жизненного цикла, так как автономные боевые системы не могут думать и к ним неприменимо понятие ответственности.

В отсутствие других сколь-нибудь осмысленных вариантов (не сажать же робота в тюрьму), ответственность за использование повесили на человека. Одновременно здесь нет требования контроля человека над процессом в любой момент времени. Так мы говорим только о нежелательности сценария автономных решений на стратегическом и оперативном уровне, оставляя тактический уровень и теоретически всё после включения автономной системы на совести, но без обязательного участия человеческого оператора.

3. Конвенцию о негуманном оружии (КНО) нужно дополнить протоколом о новых вооружениях и требованием ответственности человека за разработку, постановку на вооружение и применение новых систем вооружений. Это - требование кодифицировать пункт 2 в ранках КНО, без конкретных сценариев применения.

4. На всех стадиях разработки новых видов вооружений нужно рассмотреть вопрос об том, запрещено ли их применение в каких-либо сценариях действующим международным правом. Тут более конкретная отсылка к статье 36 Женевской конвенции: пожелание явно задать сферу допустимого применения любого автономного комплекса.

5. Просьба обеспечить достаточные меры кибер- и физической безопасности, чтобы террористы не украли и не перепрограммировали дрон. Учитывая сферу применения, это правильное и нужное замечание. Этот пункт можно было сформулировать жёстче, как жёсткое требование, а не пожелание. Но и так хорошо.

6. Просьба оценить риски от внедрения. Тоже важное замечание. И здесь тоже можно было жёстче сформулировать.

7. Предложение рассмотреть использование перспективных технологий для «гуманизации» систем вооружений. Грубо говоря, использовать ИИ, чтобы лучше отделять комбатантов от гражданских. Хорошая мысль.

8. Не применять "человеческие" нормы к машинам в будущем обсуждении. Таким образом философская дискуссия о том, что есть человек и насколько искусственный интеллект способен мыслить, выведена за рамки обсуждения. Это хорошо и правильно, по крайней мере, пока мы говорим о системах вооружения и «слабом» ИИ.

9. Не ограничивать прогресс и доступ к гражданскому использованию новых технологий.
На наш взгляд, это основной пункт. Таким образом исключается запрет всего, что теоретически может быть использовано в мирных целях, и, в том числе, технологии двойного назначения.

10. КНО — адекватный инструмент для формулирования требований к перспективным комплексам вооружений.

Здесь имеем явное нежелание плодить лишнюю конвенцию, а также «продолжение следует». Ждём дальнейшего обсуждения.

Что мы имеем на выходе: стремления к фундаментальному запрету разработки и исследований нет, дискуссии об определении автономных боевых систем выведены за рамки обсуждения (т.е. принят «функциональный» взгляд на автономию, в котором имеют значение сценарии, действия, результаты и цепочки ответственности, а не процессы внутри машины), фундаментальные и гражданские исследования никто не трогает, обращают внимание на другие аспекты безопасности. Морально-этические вопросы пока что завёрнуты в требование оценки рисков.