В ожидании Терминатора

Запрещать ли автономное оружие?

• Все большее распространение получают летальные системы автономного оружия, в которых программа или нейросеть принимают решение об уничтожении противника.
• Применяемое сегодня оружие – пока еще не полностью автономное: цель всегда задает человек, и ошибки чаще всего являются следствием действий человека.
• Искусственный интеллект и человеческий интеллект довольно сильно отличаются и в сложных ситуациях действуют по-разному.
• Развитие искусственного интеллекта и систем автономного оружия вновь возвращает человечество к гуманитарным, нравственным проблемам.

Сергей Медведев: Мне пришлось сделать небольшую операцию по реконструкции плеча, теперь оно нашпиговано титаном. И это подводит меня к той теме, которую мы сегодня будем обсуждать – киборгизация человека, солдат-киборг, автономное оружие. Об этих вещах думает все большее количество экспертов. В частности, недавно в Женеве закончила свою работу комиссия ООН по системам автономного оружия. Подробности в сюжете нашего корреспондента Светланы Осиповой.

Светлана Осипова: Автоматизация становится частью повседневной жизни. Мы привыкли к тому, что многое за человека выполняет искусственный интеллект. В скором времени ученые обещают масштабное внедрение автономного оружия, так называемых роботов-убийц. Такие системы будут без вмешательства человека определять цель и время атаки, а также принимать решение о ее проведении. 26 стран выступают против разработки такого оружия, однако ряд государств, в том числе Россия, США и Великобритания, поддерживают внедрение новой системы вооружения. Пока неясно, на чем будет строиться принцип работы такой системы и каковы риски внедрения новых технологий. Эксперты продолжают спорить, допустима ли передача контроля над оружием роботу.

Сергей Медведев: Фантазии фильмов "Терминатор", "Робокоп" или рассказа Шекли "Птица-стражник", собственно, уже воплощаются в жизнь. Поговорить об этом позвали наших сегодняшних гостей: это Петр Левич, основатель Future Foundation, и Александр Неклесса, руководитель группы "Интелрос", руководитель группы "Север-Юг" ИАФ РАН.

Может быть, системы автономного оружия древние, как и все способы убийства? Ведь если вспомнить древние ловушки, подвешенные топоры, петли – это же тоже своего рода автономное оружие.

Александр Неклесса: Я бы вспомнил Голема. Вот здесь действительно отдельный интеллект, отдельные решения с какого-то момента и пугающие перспективы, когда такое существо выходит из-под управления человека.

Для меня проблема летальной робототехники, то есть такой объект, который становится техническим, но субъектом, это своего рода кощеева игла, которая находится сразу в нескольких оболочках. Здесь оболочки – это проблема на проблеме, а сама игла – это стрелка компаса: что сейчас происходит в мире. 80–90-е – годы глобализации, трансформации. Слово "трансформация" остается, а "глобализация" постепенно "желтеет", появляется какая-то новая концепция мира. Она реализуется буквально в последний год, в последние месяцы. Мы видим довольно серьезные перемены в том, что, как представлялось, будет продолжаться еще какое-то время.

Фантазии фильмов "Терминатор", "Робокоп" или рассказа Шекли "Птица-стражник" уже воплощаются в жизнь

Сергей Медведев: В смысле – ренационализация, протекционизм, появление новых границ, барьеров?

Александр Неклесса: Я бы вспомнил сказки. Мифология сказки кодирует точные образы ситуации, которые в каком-то смысле на все времена. Если говорить про войну, по крайней мере, у меня с детства образ – знаменитая биполярная мировая война. В сказках – война птиц и зверей. Так вот сейчас этот архетип явно размывается. У нас это уже не война птиц и зверей, они-то сохраняются, но это и земноводные твари, и рои насекомых, и големообразные существа с искусственным интеллектом. То есть одни ассоциируются с другими, и возникает достаточно сложная ситуация, которая требует новой методологии для работы с ней.

Сергей Медведев: Если посмотреть эволюцию оружия, то она все больше и больше отдаляет момент убийства от действия человека. Может быть, последний раз во Второй мировой войне людям приходилось ходить в штыковую атаку. Но сейчас противник все дальше и дальше от тебя. Ты нажимаешь спусковой крючок, и в 50 метрах, в 500 метрах, а может быть, в 5 тысячах километров падает пораженный человек.

Петр Левич: В военном деле в последнее время, кажется, есть некоторая проблема. Человеческие существа, такие теплые, с сознанием, с душой, не очень любят убивать других людей. Есть статистика про процент выпущенных пуль: командир дает приказ, и нужно выпускать пули, но ты стреляешь куда-то...

Сергей Медведев: В Первой мировой войне чуть ли не 90% людей стреляли поверх голов противника.

Петр Левич: Можно вспомнить красивый гуманистичный эпизод с Рождеством, когда нужно было разнимать играющих в футбол солдат двух армий, которые обменивались адресами, чтобы после войны ездить друг к другу в гости. Офицерам приходилось говорить: мы сейчас будем стрелять по всей толпе, если вы не начнете воевать. Понятно, что для тех, для кого война является способом заработка или смыслом, эту проблему нужно как-то решать: например, действительно отделять человека, нажимающего кнопку на дроне, и того, кого он убьет.

Сергей Медведев: Это как раз проблема, потому что это все больше и больше снимает моральную ответственность с человека убивающего, с солдата. Все это отдается автономным анонимным программам. Какой-то злой гений – программист пишет программу, и никто даже не берет ответственность за то, что где-то убиты тысячи человек.

Петр Левич: Проблема шире. Когда мы говорим про роботов, мы сразу представляем себе терминатора, автономные вертолеты, дроны. Но ведь сейчас большая часть роботов – это незаметные роботы, программы, алгоритмы, искусственные интеллекты. Тут можно вспомнить и печально известный кейс в Пакистане, когда американские спецслужбы создали алгоритм, который по профилю телефонных абонентов вычисляет террористов. Вылетали дроны и уничтожали их, но это не так важно, могли бы выезжать и целевые группы спецназа. Важно, что определяли, кто есть террорист, по профилю: как он передвигается, если поменялась сим-карта – это подозрительно, если ты часто выключаешь телефон – тоже. Было должностное разбирательство внутри ЦРУ, оказалось, что этой программе дали обучиться на каких-то профилях террористов и законопослушных людей. Но проблема в том, что террористов немного, особенно с известными профилями телефонных переговоров, и это было жутко неточно, от двух с половиной до четырех тысяч человек были убиты во время действия этой программы.

Или, например, то, что сейчас происходит в Китае: вот эта система социальных рейтингов. Там формально никого не убивают, но там система тоже обучена на биг дате, и какие-то действия вполне могут быть направлены на разрушение жизни человека. Это и есть те самые автономные роботы. Что меня в этом пугает? Одно из определений, которое мне близко, – это человек как некая достаточно рациональная трансцендентная сущность, которой по ее природе подобает совершать ошибки, быть иррациональной, действовать согласно эмоциям. В этом смысле, когда мы берем живую систему людей и пытаемся модерировать с помощью роботов-убийц или социальных рейтингов, модерировать искусственным интеллектом, алгоритмом, создается диссонанс, несоразмерный с этой живостью. Модерирующая система не содержит в себе права на ошибку, потому что она – алгоритм.

Сергей Медведев: Можно ли управлять биологическими социальными системами при помощи искусственного интеллекта? Можно ли судьбу человеческого тела, социального организма доверять искусственному интеллекту, технической инстанции?

Александр Неклесса: Война – слишком сложное дело, чтобы доверять его военным. В нынешней ситуации возникает много новых аспектов. Во-первых, соотношение "война и мир": что такое война, что такое мир? Сейчас это становится достаточно неопределенным понятием. У нас возникло понятие "гибридная война"; мне кажется, сейчас более актуально говорить о гибридном мире. Второе – военные действия (непонятно, военные они, не военные, полувоенные, четвертьвоенные) перетекают в компьютерные войны. Возникла новая категория, новое явление, которое до сих пор не имеет четкого определения.

Вторая проблема заключается в том, что не только военным нельзя это полностью доверять – собственно, никогда не доверялось, политики руководили, но и политики не справляются. Возникла проблема, связанная с той трансформацией, в которой находится сейчас человечество. Можно выделить три фактора – это многофакторность нового мира, огромное количество трудноопределимых субъектов, которые – непонятно кто. Второе – это подвижность. Мало того, что это разные субъекты, они еще находятся в разных сочетаниях в этом трансформационном калейдоскопе. И третье – они меняют свою сущность, оболочку. Как тут справиться военному, политику и так далее? То есть проблема автономной системы не просто в том, что она решает гуманитарные вопросы (человек-оператор – да, это присутствует), а в том, что человеческий интеллект не справляется с многофакторностью, подвижностью не только военных проблем, а всех проблем, которые возникают в современном мире. Поэтому мы вынуждены переходить к сотрудничеству с искусственным интеллектом в разных формах.

Сергей Медведев: Условно говоря, сложность мира настолько возрастает, что сложности нашего мозга уже недостает.

В мире все большую роль играют люди, обладающие уникальными способностями, компетенциями и интеллектом

Александр Неклесса: Теперь возникает следующая проблема. Роботы-убийцы – такой образ при всей его техничности антропоморфен. Мы воспринимаем искусственный интеллект как некоторую форму продвижения к тому, что мы называем человеческим интеллектом. На самом деле дела обстоят не так. Искусственный интеллект отличается от человеческого интеллекта, и это отличие – кто говорит, преодолимо, кто говорит, непреодолимо, – но даже те, кто говорят, что преодолимо, не могут ответить на ряд принципиальных вопросов. В ближайшей перспективе, конечно, непреодолимо. Но у этого другого интеллекта есть свои достоинства и свои недостатки, как и у человеческого. Человеческий интеллект не может справляться с многофакторностью, подвижностью. А искусственный интеллект действительно способен осваивать эти большие информационные массивы все в более и более быстром режиме. Значит, многофакторность, быстродействие. Чего у него нет? Я бы сказал, что здесь возникают, в том числе, и философские вопросы. Само понятие интеллекта сейчас – это очень важное понятие, потому что мы переходим от индустриального мира к миру, в котором все большую роль играет геокультура, геоантропология, лица, люди, обладающие уникальными способностями и компетенциями, уникальным интеллектом. Интеллект не исчерпывается IQ.

Сергей Медведев: Нет ли здесь противоречия? С одной стороны, вы говорите, что мир настолько сложен, что он уже не охватывается человеческим разумом, и нам нужны механические костыли для принятия решений по сложному миру. А с другой стороны, вы говорите, что мы переходим в новую гуманитарную постиндустриальную фазу, где человеческое сознание играет особенную роль.

Александр Неклесса: Я бы сказал так, мы вступаем в мир, где коридоры без стен. То есть мы по инерции по-прежнему воспринимаем индустриальный мир, разделенный на дисциплины, на учреждения, а он на самом деле рассыпается. Сейчас говорят о необюрократической революции. Это не самое удобное слово, потому что рассыпаются прежние регламенты. Сейчас креативное мышление решает те проблемы, которые только что возникли, компетенция перекрывает квалификацию. Человек как источник творчества решает эти проблемы. Искусственный интеллект как нейросеть в какой-то степени что-то решает, но совсем не в той степени, как человеческий интеллект.

Сергей Медведев: Об автономном оружии рассуждает Руслан Левиев, руководитель Conflict Intelligence Team.

Руслан Левиев: По тому опыту, который мы наблюдаем, по войне на Украине, на Донбассе, в Центральной Африканской республике, где применяется, в том числе, высокоточное оружие, самонаводящиеся ракеты и подобные вещи, мы все равно видим, что чаще всего ошибка получается именно со стороны того человека, который управляет этим оружием. Такое оружие все еще не полностью автономное, оно не само принимает решение атаковать. Цель всегда задает человек. Я как сейчас помню историю, показанную по телеканалу "Россия-24" в программе Соловьева: репортаж о том, как работают наши силы специальных операций в Сирии. Там был кадр: ракета наводится на внедорожник, в котором едут мужчины возраста, явно подходящего для боевиков. Закадровый голос комментирует: мы видим цель, в ней едут террористы. Дальше ракета летит в этот движущийся джип и четко в него попадает, он взрывается. При внимательном рассмотрении видеокадров мы заметили, что, судя по тем вещам, которые разлетались от взрывающегося объекта, это были мирные гражданские люди, которые везли свои вещи, эвакуируясь из города. Вот, пожалуйста: высокоточное оружие, которое было в руках людей, допустило ошибку.

Чем сложнее система, тем потенциально больше в ней уязвимостей. Мы прекрасно помним случай несколько лет назад, когда у военных только начали входить в моду американские беспилотники с ракетами, с помощью которых они уничтожали террористов в других странах. Были успешные примеры, когда различные военные из арабских стран с помощью подделки сигналов GPS-спутников перехватывали управление этими беспилотниками и сами их сажали. Соответственно, представьте, что такую очень мощную, очень сложную систему сможет перехватить ваш противник и направить против вас. Окончательное решение на долгие десятилетия вперед будет принимать человек, соответственно, большая часть вины будет лежать на нем.

Сергей Медведев: В прошлом году скончался Станислав Петров, человек, который спас мир. Это советский офицер, который, получив все сигналы о том, что происходит американское ядерное нападение, все-таки на свою ответственность принял решение не запускать ракеты. Фактически он предотвратил третью мировую войну. Вот вам хороший пример того, что нельзя доверить окончательное решение автоматике.

Александр Неклесса: Интересно, что автономное оружие иногда может оказаться более гуманным. Был крайне трагический эпизод, когда американский эсминец сбил иранский пассажирский лайнер. Буквально за несколько секунд автоматическая система этого эсминца определила, что самолет гражданский, но решение уже практически принималось человеком. Когда разбиралась эта ситуация, вывод был, что если бы этот процесс был автоматический, то он был бы заблокирован, ракета не была бы пущена.

Вообще, искусственный интеллект и человеческий интеллект иногда с точки зрения потерь действуют по-разному. Некоторое время назад был проведен эксперимент, показавший, что человек действует нерационально, но на основании других уровней рациональности. Тележка срывалась, она могла идти по железнодорожному пути, и по одному пути оказывались пять человек, а по другому – один. Большинство людей, которые принимали участие в эксперименте, сделали выбор в пользу сокращения количества жертв. В некоторых ситуациях решение автономной системы оказывается свободно от этих рассуждений. Чаще всего мы воспринимаем это как минус.

Сергей Медведев: У нас в студии были разговоры о том, нужно ли искусственный интеллект наделять этикой и какой именно. Есть этика Канта, которая говорит о первичности морального выбора человеческой жизни, есть утилитарная этика, которая считает: пусть лучше умрет один человек, чем три.

Петр Левич: Есть какая-то пагубность в самом разговоре про это. Вопрос о том, можно ли нам применять роботов для убийства людей, смещает фокус с того, можно ли вообще убивать людей. Мы не обсуждаем, нужно ли нам воевать, мы говорим: а можно ли применять для этого роботов? Это выглядит спекуляцией для отвлечения от основного вопроса. Вообще-то никак нельзя убивать людей.

Есть, конечно, этические примеры, ловушки. Под эгидой борьбы с терроризмом закручивают гайки. Это спор без ответа. Вопрос, какой позиции мы придерживаемся. Мне трудно построить логическую последовательность аргументов про боевых роботов. Первым из этих аргументов будет то, что война – это, может быть, не хорошо, но неизбежно, давайте возьмем это за факт и будем думать, как это делать. Я не считаю, что это так. Мне кажется, нужно направить больше сил и возможностей на то, чтобы договариваться, уменьшать сами факты войны.

Александр Неклесса: Так ли мы решим в спорах эту гуманитарную проблему или иначе, это неизбежно будет создано и неизбежно будет использоваться и "серым", и "черным" образом.

Запрещенное в России Исламское государство, которое сейчас находится во временном отступлении, открыло нам новую феноменологию действия – не прежней подпольной деятельности, хотя это сохраняется, а возможность достаточно внушительных форм ведения новой практики, которую уже не назовешь одним словом "военная". Зомбированный человек – это тоже автономный робот-убийца. Возникает совершенно новая ситуация, где обсуждение конвенции – важный процесс, но он останется на поверхности и не решит эту проблему. Нам нужно понимать сущность проблемы: что происходит – смешение гражданского с военным, смешение государств как субъектов действия с какими-то новыми политическими образованиями…

Сергей Медведев: Еще смешение биологического с искусственным, механическим.

В связи с темой автономного оружия вспоминается одна из серий пророческого сериала "Черное зеркало" под названием "На линии огня". В будущем сделаны такие солдаты, которым в мозг имплантируется интерфейс, изменяющий им оптику. Вместо своего потенциального противника, малоприятных людей, они видят тараканов. Это тоже, видимо, надо регламентировать – изменение человеческого сознания, зомбирование человека. Те же самые берсерки – это то же автономное оружие, люди объевшиеся грибов, опившиеся каких-то опиатов, наркотических веществ и после этого идущие убивать. Это тоже чудовище Франкенштейна, Голем – автономное оружие.

Мы живем в ситуации усложнения мира, усложнения всех видов деятельности: финансовой, экономической, политической, военной

Александр Неклесса: Киборгизация – это не просто механические руки и ноги, это, в том числе, химия. И не в будущем, а уже сейчас применяются и электронные, и химические стимуляторы.

Сергей Медведев: Это новая антропология. Как нам это регламентировать, должно ли это вообще поддаваться регламентации? Что, ограничивать вмешательство технологий в человеческое тело, чтобы не получить универсального солдата-убийцу?

Петр Левич: Ответ тот же: не получить универсального солдата-убийцу нужно не потому, что он киборгизирован, а потому, что он солдат-убийца.

Сергей Медведев: Вообще не должно быть солдат-убийц?

Петр Левич: Я не считаю, что нужно ограничивать развитие технологий. Каждый человек должен сам решать, какое количество технологий ему хочется в себя внедрить. Здесь важна свобода и, конечно же, добровольность, сохранение ценности чего-то человеческого.

Мне очень близко то, о чем мы говорили: про барьер сложности, к которому подходит мир. Действительно, мы не можем с ним справиться старыми методами, но это не только старые методы ведения войны, но и старые методы управления системами, которые мы создаем, внедряем в себя и так далее. Кажется, что старые элиты, спецслужбы – это что-то сложное, непонятное, мы не можем это контролировать, как невозможно запретить Телеграм. То есть это борьба со сложностью путем брутального упрощения. Второй способ, который используют новые элиты типа Цукерберга или Маска, – это борьба со сложностью с помощью работы с этой сложностью, с помощью искусственных интеллектов, блокчейн-систем и так далее.

Сергей Медведев: Наверное, третьи сценарием может быть гуманизация сложности.

Петр Левич: Наверное, это какой-то сценарий про поиск методов работы с этой сложностью. Такие способы сейчас появляются в различных экопоселениях, они включают в себя возвращение в давно вытесненные из цивилизации практики традиционной культуры, шаманские практики. Но если посмотреть в сторону, то это могут быть практики групповой работы, одно племя может договориться с другим без роботов-убийц.

Сергей Медведев: Может быть, наоборот, стоит все это развивать, и в будущем мы придем к такой ситуации, когда роботы будут биться с роботами, и можно будет обойтись вообще без человеческих потерь? Сейчас есть битвы роботов на ринге, сражаются автономные машинки. Может быть, в будущем ракеты и противоракеты будут нацелены друг на друга.

Александр Неклесса: Это уже происходит. Автономные системы – это боты, они уже взаимодействуют. В виртуальном мире, в киберпространстве происходят очень интересные процессы взаимодействия и борьбы. Простой пример – острые ситуации во время всякого рода финансовых операций, когда управление происходит практически в автономном режиме. Человек-оператор не может управлять этим процессом в силу скорости изменений, и есть какие-то отдельные эпизоды, когда они сами торгуют, заключают сделки, конкурируют. Но здесь проблема шире, чем военная, она связана с новым статусом мира, в котором мы переходим к необходимости вести себя по-другому.

Мы живем в ситуации усложнения мира, усложнения всех видов деятельности: финансовой, экономической, политической, военной, – и это сопровождается перманентной методологической революцией. В этом контексте можно говорить не только о шаманах или о чем-то подобном, но и о рациональном процессе, который начался после Второй мировой войны. Возникла проблема – как управлять сложными процессами. Сначала была создана новая методология управления масштабными операциями. Она перешла в системный анализ, а дальше выяснилось, что системный анализ подходит к многофакторности, но не подходит к подвижности. Поэтому возникла системная динамика.

Сергей Медведев: А сейчас у нас квантовый компьютер, который еще сложнее просчитает.

Александр Неклесса: Сейчас закладываются очень интересные методологические рисунки, которые как раз идут в русле этой ситуации. Да, притормозить этот процесс в какой-то степени можно, а остановить нельзя. Поэтому методология – как жить в этом новом мире без коридоров, в котором сосуществуют – не только конкурируют или воюют, но и находятся в партнерских отношениях.

Сергей Медведев: Я не случайно вспомнил квантовый компьютер, потому что квантовый мир – это мир не коридоров, а пересекающихся тропок, когда из каждой ситуации есть не коридор, а расходящийся веер решений и участников. Как нам быть с этой новой сложностью, с этим роем дронов, с автономным оружием, с робокопами, с универсальными солдатами, с людьми, которым в будущем будут перепрошивать мозги, вставлять какие-то чипы? Запрещать, регулировать – то, что делают эксперты ООН, которые собирались в Женеве и выработали десять принципов регламентации автономного оружия?

Петр Левич: С чьей позиции задан вопрос – "что нам с этим делать"? Есть позиция глав стран, которые сидят в ООН. Тогда это достаточно ироничный вопрос, потому что они сами же и создают эти дроны. Если же это относится к нам, то мы вроде как и не создаем.

Сергей Медведев: Условно говоря, гражданское общество может информационным путем воздействовать на правительства, на представителей в международных организациях. Гражданское общество добилось Конвенции о запрете противопехотных мин. Несколько лет назад была дискуссия, сравнивали автономное оружие с ядерным. Мы же пришли к идее ограничения и постепенного уничтожения ядерного оружия, хотя, казалось бы, вот фронтир цивилизации…

Петр Левич: Думаю, имеет смысл показывать людям другой путь своим примером. Выстраивать сообщества, которые проектируют тот образ будущего, который я хочу видеть, где нет военных дронов, где проявляется тот самый третий сценарий решения барьера сложности через какое-то человеческое взаимодействие, гуманизм, красоту, теплоту, а не дегумунизацию искусственными интеллектами.

Сергей Медведев: Запрет противопехотных мин – это же сделали помимо ООН. Гражданская инициатива, которая начиналась в Канаде, привела к глобальной конвенции о запрете противопехотных мин.

Развитие искусственного интеллекта и систем автономного оружия все равно, так или иначе, возвращает нас к гуманитарным, нравственным проблемам.