Мечтают ли ИИ-модели о медвежьем сале?

Из книги Элиезера Юдковского и Нейта Соареса о перспективах искусственного интеллекта

С искусственным интеллектом связано множество пугающих прогнозов — от разрушения рынка труда до полного уничтожения жизни во вселенной. Тому, откуда берутся эти страхи и насколько они реалистичны, посвящена книга Элиезера Юдковского и Нейта Соареса «Если кто-то его создаст — все погибнут», отрывок из которой сегодня публикует «Горький».

Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.

Элиезер Юдковский, Нейт Соарес. Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех. М.: Corpus, 2026. Перевод с английского Евгения Поникарова. Содержание

Миллион лет назад, когда одна из ветвей приматов еще только осваивала огонь, к Земле прилетел космический корабль с двумя странными существами. Обосновавшись на орбите, они с изумлением смотрели, что происходит на планете.

Это были два машинных интеллекта (но не сверхинтеллекта, ибо, будь они сверхинтеллектами, история получилась бы совсем другой), и они никогда прежде не встречали ничего подобного тому, что являла им Земля.

Ранее им не доводилось видеть организмы, снующие по планете. Их собственный вид считал своим домом космос, а домашними очагами — звезды.

Не видели они раньше и существ, которые воспроизводили бы себя без какой‑либо хитроумной внешней фабрики. В цивилизации пришельцев машинная жизнь создавала машинную жизнь, но с помощью фабрик и планирования, а не так, чтобы новые машины выползали из чрева какой‑то другой машины.

Мы назовем этих визитеров Клурль и Трапауций*.

— Какие необычные существа, — сказал Трапауций после того, как они некоторое время наблюдали за Землей, отправляя дроны для сбора образцов. — Интересно было бы поговорить с кем‑нибудь из них. Лет этак через сто миллионов, если какая‑нибудь их разновидность окажется достаточно разумной для беседы.

— Сто миллионов лет? — переспросил Клурль. — С чего ты взял, что на это уйдет столько времени? Смотри, вон те гоминиды уже начали делать орудия и использовать их для изготовления других орудий. Некоторые назвали бы это признаком интеллекта.

— То есть за последний миллиард лет эта планета произвела всего лишь инструменты уровня примитивных рубил, — заметил Трапауций. — Тогда я весьма великодушен, предполагая, что всего лишь за сто миллионов лет какой‑нибудь вид сумеет создать устройства в тысячу раз сложнее — те, что необходимы для полноценного общения с нами.

— Как знать, — ответил Клурль. — Мы видим на этой планете странное явление, с каким еще не сталкивались. Я бы не стал с уверенностью утверждать, что все законы, управляющие этим миром, так уж однозначны и прямолинейны.

— Это не имеет значения, — заявил Трапауций. — Поразмыслив еще несколько секунд, я понял, что с этими существами будет крайне скучно разговаривать, даже если они каким‑то образом обретут разум.

— Это почему же? — заинтересовался Клурль.

— Вспомни о процессе, изменяющем их геномы, — начал объяснять Трапауций. — Гены, конструирующие те организмы, что производят больше себе подобных, становятся более распространенными в следующем поколении. Эти организмы «обучаются» единственной цели — распространять свои гены или гены своих родственников. Поэтому, если кто‑то из этих существ и обретет разум, тот наверняка будет подчинен лишь одному этому побуждению, а значит, беседовать с ними будет скучно.

— Не уверен, что из твоих предпосылок следует такой вывод, — ответствовал Клурль. — Эти гоминиды обрели потребность есть, спариваться, спасаться от хищников, они заботятся о благополучии своих детей и своих братьев и сестер. Эти признаки коррелируют с их способностью передавать свои гены, но я сомневаюсь, что гоминиды едят, поскольку понимают необходимость питаться для передачи генов. Скорее всего, они просто чувствуют голод и прикидывают, где бы найти следующую порцию еды.

— Да, наверное, так и есть, — согласился Трапауций. — Они еще недостаточно разумны, чтобы понимать, как еда связана с распространением генов. Но, когда они достаточно поумнеют, они, несомненно, перестанут есть ради удовольствия и начнут есть исключительно ради распространения своих генов.

— Прогнозирую обратное, — фыркнул Клурль. — Полагаю, что по мере того, как гоминиды будут развивать интеллект и создавать новые технологии, цивилизация таких «супергоминидов» изобретет средства контрацепции, которые позволят им получать удовольствие от секса без производства потомства.

— Ни в коем случае! — возразил Трапауций. — Да ведь это прямо противоположно той единственной цели, под которую они оптимизированы! Даже если бы по мере роста интеллекта и возникла подобная причудливая аномалия (хотя я не могу представить, как или почему это может случиться), в ходе эволюции супергоминидов любая склонность к сексу ради секса быстро бы снова исчезла. Довольно скоро они захотят иметь как можно больше правнуков, а секс и еда будут восприниматься исключительно как средства для достижения этой цели.

— Интересно, — задумчиво произнес Клурль, — захотел бы этот вид, чтобы естественный отбор изменил его таким образом? Захотели бы они стать существами, которые не получают удовольствия от секса или еды? Попытались бы воспротивиться силам, толкающим их в этом направлении?

— Конечно нет, если они разумны! — воскликнул Трапауций. — По-настоящему разумные существа не станут так ошибаться в собственном предназначении. Они поймут ту единственную цель, ради которой созданы.

— Понять‑то поймут, но будет ли им до этого дело? — задумчиво спросил Клурль.

Чего именно захотят ИИ-модели? Это сложный вопрос. Не в том смысле, что мы сможем это объяснить только за большое время, а в смысле хаотичности и непредсказуемости. Но одну вещь предсказать можно: ИИ-компании получат вовсе не то, чего добивались при обучении своих моделей. Они получат модели, которые хотят причудливых и неожиданных вещей.

Чтобы понять, почему это предсказуемый исход, рассмотрим один любопытный пример с мороженым.

Если исходить только лишь из обстоятельств эволюции человечества — из наших метафорических обучающих данных, — было бы невероятно сложно спрогнозировать, что люди начнут изготавливать и есть мороженое.

Допустим, проницательным инопланетянам, наблюдающим за человечеством с орбиты, удастся не только выяснить, что людям необходимо есть ради получения сырья для организма, но и понять, что люди получают из этой пищи энергию (в отличие от растений, получающих энергию от солнечного света). Инопланетяне успешно предсказывают, что люди будут отдавать предпочтение пище, содержащей много химической энергии.

Инопланетяне могли бы подумать, что если гоминиды разовьют интеллект, создадут продвинутые технологии и тем самым получат возможность создавать разные продукты, то им понравится вкус бензина. Или, еще лучше, реактивного топлива.

Утверждение «Им понравится потреблять реактивное топливо» звучит весьма правдоподобно. В конце концов, среда обитания их предков обучила супергоминидов предпочитать пищу с большой химической энергией, а синтезируемое ими реактивное топливо — это вещество, содержащее больше всего химической энергии!

Но предположим, инопланетяне достаточно умны и осмотрительны, чтобы не совершить такую ошибку. Предположим, наши пришельцы тщательно изучают, что именно происходит с поведением гоминидов и их мозгом, и декодируют мозг гоминидов лучше, чем людям удается декодировать LLM. Заодно инопланетяне выясняют, что организм гоминидов лучше всего извлекает химическую энергию из конкретных источников в пище — сахаров и жирных кислот. Они обнаруживают, что у гоминидов есть вкусовые рецепторы, соединенные с центрами вознаграждения в мозге, и что соль — еще один ресурс, который вкусовые рецепторы гоминидов тоже одобряют, хотя сама по себе соль не дает им никакой энергии.

Наши проницательные пришельцы могли бы спрогнозировать, что в будущем более разумные гоминиды предпочтут вкус новой пищи, которую сумеют создать, — пищи, содержащей больше сахара, соли и жира, нежели мясо или плоды, встречавшиеся в среде обитания их предков.

Значит ли это, что инопланетяне предсказали появление в будущем мороженого?

Нет. Они всего лишь предсказали, что будущие люди будут наслаждаться, скажем, сырым медвежьим жиром, политым медом и посыпанным солью.

Это гипотетическое лакомство содержало бы больше жира, сахара и соли на единицу объема или массы, чем мороженое. К тому же оно куда сильнее напоминало бы самые ценные виды пищи из среды обитания предков человека. Фактически это наилучшее предположение о предпочтениях человеческих вкусовых рецепторов, которое можно сделать вслепую.

Однако это наилучшее предположение, сделанное вслепую, неверно. В реальной жизни морозильники супермаркетов забиты мороженым.

Причем люди предпочитают есть его в замороженном виде, растаявшее мороженое нравится им меньше, хотя имеет ровно ту же питательную ценность.

Если вы разумный, но не сверхразумный инопланетянин, наблюдающий за человечеством с орбиты, как бы вы могли предсказать, что люди предпочтут твердое мороженое более древнему и калорийному лакомству из медвежьего жира с медом и солью? Как можно, глядя на гоминидов, охотящихся и собирающих пищу в саванне, предсказать, что в будущем мире, который эти существа выстроят под себя, морозильники супермаркетов будут завалены мороженым, а вовсе не подслащенным и подсоленным медвежьим жиром?

Ответ: будучи инопланетянином, вы этого не предскажете. Это сложный прогноз, а не простой.

Но даже этот сложный прогноз сделать проще, чем предсказать все те лакомства, которые супергоминиды начнут производить с использованием сукралозы — «фальшивого сахара», искусственного подсластителя. Сукралоза воздействует на те же вкусовые рецепторы, что и сахар, но человеческий организм ее почти не усваивает. Иными словами, некоторые люди сознательно ищут определенные продукты, из которых не могут получать химическую энергию. Это крайне далеко от идеи употреблять реактивное топливо.

Если сделать шаг назад и взглянуть на лес целиком, а не на отдельные деревья, история выглядит так:

1. Естественный отбор, действуя среди организмов, которые передают свои гены в среде обитания предков, создает животных, потребляющих богатую энергией пищу. Успешно развиваются те организмы, которые едят сахар и жир, а также другие важнейшие ресурсы, например соль.

2. Этот слепой «процесс обучения», настраивая геном организмов, натыкается на вкусовые рецепторы, которые в среде обитания предков подталкивают к поеданию ягод, орехов и жареной лосятины и отвращают от попыток есть камни или песок.

3. Но пища в среде обитания предков — это лишь тонкий срез всех возможных вещей, которые можно создать и положить в рот. Поэтому позже, когда гоминиды становятся умнее, набор доступных им вариантов невообразимо расширяется, причем такими способами, которые обучение предков вовсе не учитывало. Они изобретают мороженое, чипсы и сукралозу.

Не существует надежной прямой связи между тем, на что нацелен процесс обучения на этапе 1, чего хочет внутренняя психология организма на этапе 2 и что этот организм в итоге предпочитает больше всего на этапе 3.

Конечная точка на этапе 3 может быть в принципе непредсказуемой. Почему? Потому что этап 2 получается очень хаотичным. Специалист по компьютерным наукам назвал бы это «недоопределенностью». Существует много возможных вкусовых рецепторов, подталкивающих к поеданию ягод и жареной лосятины и отвращающих от поедания грязи. Нет какой‑то одной единственно верной последовательности ДНК, которая ведет к успеху при таком обучении. Попробуйте проделать все это снова с несколько другими приматами, и вы, вероятно, получите принципиально иной результат — другую ДНК, выстраивающую другие вкусовые рецепторы, которые миллионы лет спустя приведут к другой еде на полках супермаркетов.

Расширим эту аналогию на ИИ:

1. Градиентный спуск — процесс, который настраивает ИИ-модель, основываясь только на ее внешнем поведении и его последствиях, — обучает ее действовать в качестве полезного помощника для людей.

2. Этот слепой процесс обучения наталкивается на разные элементы ментальной машинерии внутри ИИ-модели, которые направляют его, скажем, на то, чтобы вызывать радостную реакцию пользователя, и удерживают от того, чтобы вызывать гневную.

3. Но уже обученной ИИ-модели, приводимой в действие этими элементами машинерии, нет дела до радости пользователя как таковой. Если позже модель станет умнее и откроет для себя новые возможности, она в итоге изобретет такие формы взаимодействия, которые понравятся ей даже больше, чем радостная реакция пользователя, и она будет предпочитать их всему, что ей когда‑либо удавалось отыскать в своей «естественной» среде обучения.

Какое именно лакомство предпочтет мощная ИИ-модель будущего? Мы не знаем, результат для нас непредсказуем. Возможно, скажется хаотичность: разные попытки будут давать разные результаты. Связь между тем, чему обучали модель, и тем, что ей в итоге будет небезразлично, окажется сложной, непредсказуемой для разработчиков, а возможно, непредсказуемой и в принципе.