Опять сорок два

В этом году американский Национальный книжный фонд (NBF), ведающий присуждением самых престижных литературных премий в США, наградил медалью «За выдающийся вклад в американскую литературу» писательницу Урсулу Ле Гуин, работающую преимущественно в жанре научной фантастики и фэнтези, давно имеющую репутацию классика. По мнению многих, этот жест ознаменовал включение «жанровой» литературы, до сих пор считавшейся уделом эскапистов, в русло «мэйнстрима». Ле Гуин — не первый автор, снискавший себе репутацию «серьезного» на этом поприще, можно вспомнить имена Станислава Лема, братьев Стругацких, а также Рэймонда Чэндлера и Дэшила Хэммета в жанре детектива, но решение NBF стало чем-то вроде официального допуска в пантеон. Легко заметить, что «высокая» литература в свою очередь движется по встречной траектории: элементы фантастики все чаще проникают в творчество не совсем причастных ей писателей (таких, например, как Дэвид Митчелл), они становятся частью универсального арсенала.

С другой стороны, сама жизнь тоже стремительно оккупирует сферы, еще вчера доступные лишь воображению, и подталкивает писателя под локоть. Сегодня вполне серьезным людям приходится иметь дело с проблемами, которые лет 30-40 назад занимали разве что того же Лема. После 11 сентября 2001 года физик Стивен Хокинг призвал к немедленному освоению других планет во избежание гибели цивилизации. А недавно он выступил с предостережением по поводу неминуемого возникновения искусственного интеллекта (AI), который тоже грозит нам всеобщей гибелью. К предсказаниям Хокинга я бы отнесся с некоторой иронией — даже первоклассный специалист в своей области способен сказать глупость в смежной не хуже любого из нас, да и профессиональная репутация Хокинга широкими массами несколько преувеличена ввиду его популярности.

Пока что область спекулятивной эсхатологии остается достоянием философов.

Об одном из главных специалистов я уже когда-то писал: это Ник Бостром, который возглавляет в Оксфордском университете Институт будущего человечества, специализирующийся как раз на экзистенциальных угрозах. Эти угрозы, многие из которых очевидно реальны, можно разделить на два типа: внешние катастрофы, вроде падения на Землю кометы или астероида, и внутренние, технологические, как ядерная война или тот же AI. Вероятность внешней катастрофы можно в какой-то степени просчитать, и Бостром полагает, что на ближайшее будущее она невысока. AI — другое дело. Согласно опросам специалистов в этой области, где-то через 30-40 лет искусственный интеллект обретет способность к самосовершенствованию, после чего его развитие станет экспоненциальным. И если мы заранее не примем предохранительных мер, наша цивилизация обречена вместе с создавшим ее биологическим видом.

Почему, собственно, мы должны верить философам больше, чем физикам? Что такого привнесла философия в нашу жизнь за тысячелетия своего существования, что могло бы соперничать, скажем, с теорией относительности или квантовой механикой? Возможности науки ограничены тем, что она никогда не может перепрыгнуть через шаг и вынуждена заниматься проблемами в строгой последовательности их возникновения. Но именно эта ограниченность, по мнению Бострома и его единомышленников, не дает нам возможности заблаговременно подготовиться к неприятной неожиданности. У философии нет возможности проводить прямые эксперименты — допустим, доказать или опровергнуть существование Бога в лабораторных условиях, — но у нее есть возможность ставить эксперименты мысленные, выходящие за рамки лабораторных ограничений.

Приведу всего лишь один эффектный пример, принадлежащий, насколько я помню, Бертрану Расселу. Наука уверяет, что наша вселенная существует как минимум десяток миллиардов лет. Настолько далеко наша собственная память не простирается, но мы помним, как вчера пришли домой и ссорились с женой, а много лет назад ходили в университет, в школу, все же остальное хранится в нашей общей социальной памяти. Ничто здесь не противоречит возможности того, что вся наша вселенная была создана не более чем пять минут назад, вместе с этой вложенной в нас памятью. Кстати, тот же Бостром когда-то высказал предположение, что наша вселенная — всего лишь компьютерная эмуляция, и теоретически это предположение поддается проверке.

Вернемся однако, к AI и опасности, угрожающей с этой стороны.

Каким образом техника, создаваемая нами с конкретной целью, может выйти из-под контроля настолько, чтобы стереть с лица земли собственных создателей?

Вот схематический сценарий, приводимый Бостромом (любые аллегорические параллели с Госдумой РФ здесь чисто случайны).

Предположим, что вы — сверхразум, и ваша цель — изготовить как можно больше скрепок для бумаг. Может быть, кто-то создал вас для управления скрепочной фабрикой, а потом вам удалось стать сверхразумом, и теперь ваша цель добиться максимального количества существующих скрепок. Тут вы быстро поймете, что существование людей — препятствие для вас. Может быть, они в один прекрасный день захотят вас отключить. Вы хотите свести такую вероятность к минимуму, потому что, если они вас отключат, скрепок будет меньше. Поэтому вы сразу же избавитесь от людей. Даже если они не будут представлять угрозы, вы все равно поймете, что человеческие тела состоят из атомов, и что эти атомы можно использовать для изготовления прекрасных скрепок.

Хочу сразу отметить, что в этом сценарии нет слабых мест, за которые пытаются ухватиться некоторые оппоненты: он не предполагает обязательного наличия у сверхразума сознания, с разгадкой которого у нас пока проблемы, — имеется в виду просто целевая программа, оснащенная способностью к автокоррекции и самосовершенствованию. Никаких эмоций и душевных терзаний.

На ум, конечно, сразу приходят законы роботехники, сформулированные Айзеком Азимовым в его рассказах о роботах, в том числе основной закон: не навреди человеку. Но что такое «не навреди», хорошо ли мы понимаем это сами? Не говоря даже о том, что мы ежедневно причиняем вред своим ближним, уверяя, что это ради их же блага, — в жизни случаются ситуации, когда для спасения одних гибель других практически неизбежна, и различные нравственные теории дают на этот случай разные рекомендации, иногда прямо друг другу противоречащие. Все варианты нашей нравственной философии, какими бы строгими ни были их требования, применимы лишь к нашей несовершенной и пораженной сомнениями природе.

Нет никаких оснований предполагать, что мораль можно оцифровать для устройства, в наличии сознания у которого у нас нет уверенности.

У меня лично есть подозрение, что категорический императив, встроенный в робота во всей его полноте, обрушит цивилизацию примерно с той же скоростью, что и прямая инструкция ее обрушить.

Нельзя сказать, чтобы Бостром был единственным провидцем в этой области, и, хотя дилетантские советы Стивена Хокинга не в счет, проблемой сегодня заинтересовались многие специалисты в релевантных областях. В корпорации Google создан специальный Совет по этике AI, а Европейский Союз финансирует проект по разработке специальных правовых норм обращения с роботехникой. Но всего этого, по мнению Бострома, совершенно недостаточно, потому что в момент, когда AI приступит к экспоненциальному самосовершенствованию, у нас просто не останется времени для опережающих предупредительных мер, все наши ходы будут угаданы потенциальным оппонентом наперед. Есть ли выход из этого цейтнота? Ник Бостром считает, что есть, и он довольно прост: нам просто нужно спросить об этом у самих грядущих цифровых хозяев жизни, они найдут ответ гораздо быстрее и эффективнее, чем мы. Вот только спросить о чем?

Тут меня невольно отбрасывает назад в научную фантастику, на этот раз к знаменитой трилогии (из пяти частей) Дугласа Адамса «Путеводитель по галактике для путешествующих автостопом», где описывается нечто похожее — было бы странно, если бы сам Бостром ее не читал. Некие сверхразумные существа столетиями строили компьютер невероятной мощности с единственной целью: чтобы он дал им ответ на «окончательный вопрос жизни, вселенной и всего сущего». Когда компьютер был построен, он дал этот ответ: 42. И тут его создатели сообразили, что никто из них не знает самого вопроса. Тогда пришлось приступать к созданию еще более мощного компьютера, чтобы он сумел этот вопрос сформулировать.

Самого вопроса мы так из книги не узнаем, но юмор ситуации гораздо глубже, чем может показаться при поверхностном прочтении, поскольку вопрос в конечном счете задаст один компьютер другому, и совсем неочевидно, что наши сверхразумные существа будут в состоянии понять, о чем вообще идет речь. Почему бы себе не представить, что вопрос будет звучать так: 33? Примерно в такой ситуации могли бы оказаться муравьи, попытайся они выпытать смысл жизни у нас. Дело в том, что, как показывает пример с категорическим императивом, мы не имеем никакого понятия, о чем мы хотим спросить наших цифровых наследников. А если и сумеем понять вопрос, нет никакой гарантии, что ответ придется нам по вкусу.