Оригинал материала
Сергей Шумский: Воспитание машин. Новая история разума
Сергей Шумский 
Издательство «Альпина нон-фикшн» представляет книгу Сергея Шумского «Воспитание машин. Новая история разума».
Известный специалист по искусственному интеллекту Сергей Шумский считает неизбежным возникновение в будущем общей человеко-машинной цивилизации, которая унаследует наши человеческие ценности. Но даже когда интеллект машин далеко превзойдет человека, они по-прежнему смогут действовать в интересах человечества, а не преследовать чуждые ему цели. Для этого необходимо создать не просто искусственный интеллект, а «дружественный искусственный интеллект». Как выполнить такую задачу, расскажет эта книга.
Предлагаем прочитать фрагмент книги.
ИИ-патернализм
С одной стороны, ситуация с ИИ-безработицей показывает, что без активного вмешательства государства в поддержание общественной стабильности в переходную эпоху нам не обойтись. С другой стороны, с искусственным интеллектом связано множество страхов и фобий в контексте государства как «большого брата». Действительно, для авторитарных государств, которых, к слову, сегодня в мире больше, чем демократических, ИИ предоставляет великолепный инструмент тотального контроля над своими гражданами. Например, в Китае с его системой социального рейтинга право вмешательства государства в частную жизнь вообще не ставится под сомнение. Но и в менее авторитарных странах власть «в интересах народа» всегда найдет легальные способы, как поставить ИИ на службу своим интересам[1]. Ведь у государственной бюрократии и силовых структур есть и собственные амбиции при разделе общественного пирога.
Технологии ИИ позволяют государству не просто следить за настроениями и поступками граждан, но и активно влиять на общественное мнение в пользу тех или иных групп интересов, например с помощью армии искусственных личностей в социальных сетях. А поскольку соответствующие разработки силовых ведомств засекречены, они с большим трудом поддаются общественному контролю, если вообще поддаются.
Еще более опасны попытки бюрократии переводить стрелки общественного недовольства с больной головы на здоровую, списывая свои неудачи и провалы на разного рода внутренних или внешних врагов. Это нисколько не способствует выявлению и решению реальных проблем и в долгосрочной перспективе лишь усугубляет нестабильность в обществе. Более того, атмосфера «осажденной крепости» содействует безудержной гонке вооружений, опасность которой с появлением боевого ИИ возрастает многократно.
Действительно, возникновение и быстрое развитие ИИ часто сравнивают с изобретением атомного оружия, которое впервые поставило под вопрос физическое выживание человечества. Начинающаяся на наших глазах гонка за искусственным интеллектом очень напоминает атомную и ракетную гонку вооружений второй половины XX века. Автономные боевые роботы, управляемые по глобальной оперативной сети искусственными стратегами, действительно способны качественно изменить баланс сил в пользу государств, имеющих доступ к соответствующим технологиям.
Пока что военные успокаивают общественность тем, что, мол, окончательное решение всегда остается за человеком. Но все прекрасно понимают, что это временный вариант, продиктованный эпохой слабого ИИ, так как именно преимущество в скорости и качестве принятия решений станет главным достоинством боевого сильного ИИ[2]. Военные в ходе начавшейся гонки будут вынуждены постепенно передавать ему право принятия смертоносных решений, поднимаясь от уровня отдельных боевых единиц, как это уже происходит с самонаводящимися ракетами, до боевых тактических групп и далее — на всё более высокие оперативные и стратегические уровни. А поскольку вся логика принятия подобных решений будет основана на обработке гигантских объемов разнородной информации, недоступных человеческому разуму, перепроверить правильность решений искусственных стратегов в условиях ограниченного времени будет попросту невозможно.
При таком развитии событий повышается вероятность того, что человечество окажется втянутым в масштабную ядерную катастрофу в силу естественного стремления искусственных стратегов достичь поставленных военным руководством «национальных целей». Ведь недоверие к противнику и стремление превентивно нейтрализовать его коварные планы — профессиональные качества военных, от которых они неизбежно перейдут и искусственным стратегам.
Мало того, что интересы политического руководства могут кардинально расходиться с интересами граждан. При постановке задачи искусственным стратегам самое сложное — не определить цели, а сформулировать ограничения, при которых достижение этих целей всё еще имеет смысл. В известном рассказе У. Джекобса «Обезьянья лапка» этот древний талисман неизменно исполнял все желания своих хозяев, но делал это формально, без учета негласных ограничений — тех самых человеческих ценностей. Так, в ответ на желание очередного хозяина талисмана получить 200 фунтов чек на эту сумму был вручен ему на следующий же день, но в качестве компенсации за жизнь внезапно погибшего в результате несчастного случая любимого сына. Боевой ИИ в конечном итоге может привести мир к ситуации, когда ядерные кнопки окажутся в таких «обезьяньих лапках».
Гипертрофированная борьба с внутренними и внешними врагами в ущерб остальным функциям государства подобна аутоиммунным заболеваниям или в острой форме — цитокиновому шторму, когда защитная система организма начинает поражать не только его врагов, но и свои собственные органы, в том числе жизненно важные. Подобное развитие событий может быть смертельно опасным и для общественных организмов. Достаточно вспомнить развал Советского Союза при всей мощи его армии, способной сокрушить любого агрессора. Излишняя концентрация на внешних угрозах заслонила гораздо более реальную проблему — потерю привлекательности режима в глазах своих граждан из-за систематического игнорирования их нужд со стороны государства. А это, в свою очередь, стало следствием недостатка обратных связей в закостенелой административно-командной системе управления.
Соответственно, лекарство от подобных аутоиммунных общественных заболеваний следует искать в развитии цифровой демократии, интенсивных сетевых коммуникациях, нацеленных на выявление и гармонизацию разнообразных нужд всех слоев населения. У разных общественных групп есть свои интересы и представления о том, на что и в каких пропорциях следует тратить общие ресурсы. И общество должно уметь вырабатывать такую политику, которая минимизирует степень народного недовольства.
В индустриальном обществе эта задача зачастую решалась в присущей ему парадигме массового производства, то есть навязывания всему обществу единой идеологии, подчинения всех меньшинств монолитному большинству с использованием чисто силовых методов. Цифровой уклад подразумевает совсем другой подход: использование реального разнообразия общества с помощью новых цифровых технологий, не в последнюю очередь — ИИ.
Например, уже сегодня имеется техническая возможность с минимальными издержками организовать массовые электронные голосования, обеспечив доверие к их результатам. (Применяя технологии шифрования с открытым ключом, когда каждый респондент может по своему частному ключу проверить, правильно ли учтен его голос в электронной системе голосования, не раскрывая при этом тайну голосования.) Сюда же, видимо, можно отнести и постоянно развивающиеся технологии распределенных реестров, математически гарантирующие общественную защиту любых транзакций.
В цифровом укладе государство сможет использовать национальные цифровые платформы для структурирования общественного мнения вокруг приоритетных вопросов, организации по ним качественной экспертизы и выработки совместных решений, вплоть до возможности самостоятельного распределения всеми экономическими субъектами своих налогов по основным бюджетным статьям, причем по математически обоснованным схемам оптимального фондирования публичных нужд, например используя квадратичное фондирование (quadratic funding), наилучшим образом учитывающее истинные предпочтения всех граждан, вместо нынешних сборов пожертвований для больных детей с помощью СМС на фоне кулуарного распределения бюджетов в парламентских комитетах.
На платформах цифровой демократии интеллектуальные агенты смогут «дирижировать» процессами принятия коллективных решений, взвешивая мнения экспертов с учетом уровня их компетентности и знакомя граждан с наиболее весомыми аргументами за и против по любому вопросу подобно тому, как Google сегодня отбирает из сети наиболее релевантную информацию, а Amazon рейтингует и рекомендует товары на своих электронных витринах.
Технологии сильного ИИ помогут людям формировать их личные мнения по любому вопросу в процессе диалога, в котором искусственный интеллект сможет суммировать разные точки зрения, находить в них скрытые противоречия и формулировать аргументированные советы исходя из понимания индивидуальных предпочтений и ценностей каждого гражданина.
Таким образом, ИИ несет с собой не только угрозы, но и способы борьбы с ними. Каждую угрозу мы должны воспринимать как вызов и пользоваться окном возможностей, открывающихся благодаря новым технологиям.
[1] Очень показателен в этом плане британский сериал «Захват» («The Capture»), где власти используют технологию DeepFake для коррекции видеоматериалов с камер слежения в интересах следствия.
[2] В США на июль 2021 года назначен показательный воздушный бой живого летчика с полностью автономным беспилотным истребителем.