Искусственный интеллект в гонке вооружений

Российский совет по международным делам опубликовал любопытную статью о перспективах и угрозах, исходящих от сильного искусственного интеллекта. В двух словах, сильный ИИ — кибер-физическая система, способная решать разнообразные задачи обучения, классификации и распознавания образов без переобучения в различных контекстах. В обработке текстов, например, сильный ИИ смог бы автоматически переводить литературные произведения с английского на русский, находить в них отсылки к культурному контексту и «разумно» отвечать на вопросы о мотивации героев, а потом, после небольшого периода дообучения, проделывать то же самое с текстами на французском, пишет телеграм-канал "Ватфор. Центр политической наркологии".

Очевидно, что создание сильного ИИ до неузнаваемости изменит отношение человека и общества к копьютерным системам. В статье Антона Колонина описываются вызовы на этом пути, головокружительные перспективы и потенциальные риски новых технологий. Выделим, на наш взгляд, ключевые предложения по снижению рисков, связанного с созданием и (в перспективе) широкой доступностью соответствующих технологий:

1. Международный запрет создания «автономных систем смертоносных вооружений» (LAWS).

2. Государственная поддержка работ в области ИИ и, в особенности, работ по решению задачи целеполагания и контроля за ИИ.

3. Расширение доступа к технологиям ИИ.

4. Международно-правовое регламентирование открытости алгоритмов ИИ, в первую очередь, чтобы сделать возможным контроль за обработкой данных и адекватный функциональный аудит принятия решений на основе машинного обучения.

В целом Ватфор готов сразу подписаться под многими из этих пунктов, но отдельные аспекты требуют более широкой и разносторонней дискуссии. К пункту 4 можно добавить, что нечто подобное уже происходит при разработке автономных автомобилей: так, существуют наработки по стандартизации функционального аудита автомобильных автопилотов. Судя по готовности компаний вроде DeepMind предоставить широкой публике тренировочные данные и готовые модели распознавания, третий пункт на данном этапе проблемой не является. Что же касается государственной поддержки, то, видимо речь идёт о грантах исследовательским группам. Это в целом благое пожелание зачастую ограничено бюджетами и длинными циклами планирования грантов, поэтому этот пункт можно дополнить пожеланием к частным компаниям активнее привлекать сотрудников исследовательских организаций к своей деятельности в виде частных грантов на научно-исследовательские работы, а к университетам — активно сотрудничать с потенциальными коммерческими партнёрами.

Но наиболее спорным можно считать первый пункт. В первую очередь, есть все основания полагать, что гонка вооружений в сфере автономных систем началась (или не останавливалась, в зависимости от перспективы). Во вторую очередь, в международно-правовых понятиях очень сложно отразить понятие автономности: если понимать под автономными системами всё, что само движется к цели после запуска, то под это понятие подпадут баллистические ракеты и самонаводящиеся снаряды, а если понимать всё, что срабатывает без целеуказания, то можно сделать вид, что ничего такого нет, целеуказание-то всегда присутствует, пусть даже в форме «куда-то туда, в первую попавшуюся цель». Если же рассмотреть только этический аргумент, то можно возразить, что запретом на разработки отдаётся преимущество возможным государственным и, тем более, негосударственным нарушителям запрета, которые не будут связаны этическими и легальными нормами. Впрочем, насколько реально создать «на коленке» настоящюю боевую систему — вопрос отдельный, и он сложнее, чем кажется.