Original Material
Элиезер Юдковский. Серьезные истории
Самые интересные произведения литературы и искусства полны страданий, конфликтов и трагедий — без этих элементов истории не были бы столь захватывающими и «серьёзными». С другой стороны, если бы речь шла о том, какую жизнь мы хотим прожить, при прочих равных нас не привлекла бы перспектива жизни, полной страданий. Но если бы люди могли построить идеальный мир, решили бы они избавиться сразу ото всех видов страданий? Если нет, то почему?
В этом эссе Элиезер Юдковский размышляет об утопическом трансгуманизме, страданиях и удовольствиях, а также о возможных сходствах и различиях между хорошей жизнью и интересной историей.
Каждая из когда-либо созданных утопий, — в философии, литературе или религии — была, в той или иной степени, местом, где вы на самом деле не захотели бы жить. Я не одинок в этом важном наблюдении: Джордж Оруэлл говорил почти то же самое в эссе «Почему социалисты не верят в счастье», и, полагаю, многие другие говорили об этом ещё раньше.
Если читать книги из серии «Как писать книги» — а таких книг очень много, потому что, поразительно, но многие писатели считают, что они что-то знают о писательстве — то эти книги скажут вам, что в каждой истории должен быть «конфликт».
Точнее, «конфликт» — это если вы читаете более мягкую книгу такого рода. Некоторые авторы выражаются прямее:
«Истории — это про человеческую боль» — Орсон Скотт Кард.
«Каждая сцена должна заканчиваться катастрофой» — Джек Бикхэм.
В годы моей юношеской глупости я считал само собой разумеющимся, что авторы освобождены от задачи поиска настоящей Эвтопии1, потому что если бы вам удалось построить утопию без каких-либо изъянов… о чём бы вы тогда писали? «Жили-были, и жили счастливо до конца времён». Какой смысл писать научную фантастику про положительно сложившуюся сингулярность, если такая сингулярность принесла бы…
…конец всем историям?
Это казалось разумным подходом к рассмотрению литературной проблемы Утопии, но что-то в этом последнем выводе вызывало тихое, назойливое сомнение.
В то время я представлял себе ИИ в качестве чего-то вроде безопасного джинна, исполняющего желания людей. Так что вывод вроде бы имел смысл. Если появилась проблема — просто загадай, чтобы она исчезла, верно? Следовательно — никаких историй. Так что я проигнорировал это тихое, назойливое сомнение.
Гораздо позже, когда я пришёл к выводу, что даже «безопасный джинн» — не такая уж хорошая идея, в ретроспективе показалось, что «никаких историй» могло быть полезным индикатором. В этом конкретном случае «Я не могу придумать ни одной истории, которую хотел бы прочитать про такой сценарий» действительно могло указывать на причину, по которой «Я не захотел бы на самом деле жить в этом сценарии».
Поэтому я подавил в себе натренированное отвращение к луддизму и теодицее — и, по крайней мере, попытался всерьёз рассмотреть такой аргумент:
- Мир, в котором ничего никогда не идёт не так, где никто никогда не испытывает боли или печали —это мир, в котором нет историй, о которых стоило бы читать.
- Мир, о котором вы не хотели бы читать, — это мир, в котором вы не хотели бы жить.
- В каждой эвдемонической жизни должна быть хотя бы капля боли. ЧТД.
С одной стороны, очевидно, что мы не хотим жить жизнями, изображёнными в большинстве историй, которые когда-либо писали человеческие авторы. Вспомните по-настоящему великие истории — вершины своего жанра, ставшие легендарными: «Илиада», «Ромео и Джульетта», «Крёстный отец», «Хранители», «Planescape: Torment», второй сезон «Баффи — истребительницы вампиров», или ту самую концовку в «Tsukihime». Есть в этом списке хоть одна история, которая не была бы трагичной?
В обычной жизни мы предпочитаем удовольствие боли, радость — печали, жизнь — смерти. И всё же похоже, что мы предпочитаем сопереживать страдающим, грустным и мёртвым персонажам. Или, может быть, истории о более счастливых людях несерьёзны, недостаточно художественно велики, чтобы быть достойными похвалы — но тогда почему именно несчастливые истории удостаиваются похвалы? Есть ли в этом какая-то скрытая польза для нас? С какой стороны ни посмотри, это головоломка.
Когда я был ребёнком, я не мог писать художку, потому что делал так, что у персонажей всё шло хорошо — так же, как я хотел бы, чтобы всё шло в реальной жизни. И вот от этого меня излечил Орсон Скотт Кард. «Ах вот, — сказал я себе, — что я всё это время делал не так: мои персонажи не страдают». Даже тогда я ещё не осознавал, что микроструктура сюжета работает точно так же — пока Джек Бикхэм не сказал, что каждая сцена должна заканчиваться катастрофой. А я ведь всё пытался ставить проблемы и решать их… вместо того чтобы делать их ещё хуже.
Историю просто не оптимизировать так, как оптимизируется реальная жизнь. Самая лучшая история и самая лучшая жизнь порождаются совершенно разными критериями.
В реальном мире люди могут довольно долго жить, не сталкиваясь ни с какими ужасными бедами — и при этом у них всё будет вполне нормально. Когда вас в последний раз пытались убить ассасины? Давненько, верно? И что, жизнь ваша кажется из-за этого пустой?
Но с другой стороны…
По какой-то странной причине, когда авторы становятся слишком старыми или слишком успешными, они возвращаются к моему детству. В их историях всё начинает идти правильно. Они перестают делать ужасные вещи со своими персонажами — и, в результате, начинают делать ужасные вещи со своими читателями. Похоже, это стандартная стадия синдрома Стареющего Автора. Мерседес Лэки, Лорел Гамильтон, Роберт Хайнлайн, даже чёртов Орсон Скотт Кард — все они туда скатились. Они забыли, как причинять боль своим персонажам. Я не знаю почему.
А когда читаешь рассказ Стареющего Автора или абсолютного новичка — историю, в которой всё просто неуклонно идёт как по маслу — где главный герой побеждает суперзлодея по щелчку пальцев, или, ещё хуже, суперзлодей сдаётся и извиняется ещё до финальной битвы, и они снова друзья…
…это как будто кто-то скребёт ногтями по школьной доске у основания вашего позвоночника. Если вы ни разу не читали такую историю (или еще хуже — вы написали такую), считайте, вам повезло.
Этот «эффект скрежета» — мог бы он перейти из истории в реальную жизнь, если попытаться прожить жизнь так, чтобы в ней не было ни капли проблем?
Один из возможных ответов — что истории на самом деле нужны не «катастрофы», не «боль», и даже не «конфликты», а просто сложности. Что проблема историй про Мэри Сью в том, что в них недостаточно усилий, но при этом усилия вовсе не обязаны сопровождаться болью. Может быть это даже можно протестировать.
Другой ответ может быть таким: мы ведь обсуждаем здесь трансгуманистический вариант Теории Веселья, так что можно сказать «модифицируйте мозг, чтобы устранить это ощущение скрежета ногтями по доске», если только у нас нет веской причины его сохранять. Если это чувство — просто бессмысленный, случайный баг, препятствующий Утопии, его нужно удалить.
Может быть, и правда стоит. Может быть, все Великие Истории — трагедии просто потому что… ну…
Я как-то читал, что в БДСМ-сообществе фраза «интенсивные ощущения» — это эвфемизм для боли. Когда я прочёл это, мне пришло в голову: из-за того, как сейчас устроены люди, боль у них действительно проще вызвать, чем удовольствие. Хотя я здесь высказываюсь немного вне пределов собственного опыта, я предполагаю, что потребовалось бы несколько часов работы талантливого и опытного мастера секса, чтобы вызвать хорошее ощущение, сравнимое по интенсивности с болью от одного сильного удара в пах, который за пару секунд мог бы нанести новичок.
Изучая жизнь священника и проторационалиста Фридриха Шпее фон Лангенфельда, который исповедовал обвиняемых в колдовстве, я посмотрел, какие инструменты тогда использовались для получения признаний. Не существует обычных способов заставить человеческое существо почувствовать себя настолько хорошо, насколько сильно эти инструменты могут сделать ему плохо. Я не уверен, что даже наркотики на это способны, хотя у меня нет опыта ни с ними, ни с пытками.
В этом есть что-то несбалансированное.
Да, люди в своём планировании склонны к излишнему оптимизму. Если бы потери не воспринимались более мучительно, чем выигрыши, — то, учитывая, как сейчас устроен наш мозг, мы бы давно разорились. По экспериментально обнаруженным закономерностям, потеря желаемого (будь то 50 долларов, кружка кофе или что-то ещё) причиняет примерно в 2–2.5 раза более сильные страдания, чем приносит радости аналогичная по размеру выгода.
Но речь о более глубоком дисбалансе. Разница между сексом и пытками в плане соотношения «усилий на входе» и «интенсивности на выходе» — не просто двукратная.
Если человек отправляется на поиски острых ощущений — в этом мире, с нынешним устройством человека — неудивительно, что в итоге он приходит к тому, что для повышения интенсивности ощущений в удовольствие нужно подмешивать боль.
Если бы только люди были устроены иначе — так, чтобы удовольствие можно было вызывать с той же интенсивностью и разнообразием, как и боль! Если бы можно было, приложив столько же изобретательности и усилий, сколько прикладывает средневековый инквизитор в пытках, заставить кого-то почувствовать себя столь хорошо, сколь плохо себя чувствовали жертвы пыток…
Но тогда… какое удовольствие было бы аналогом по интенсивности? Жертва искусной пытки готова на всё, чтобы боль прекратилась, и на всё, чтобы она не повторялась. Будет ли эквивалентным удовольствием такое, которое перекрывает всё остальное стремлением только к одному: продолжать и повторять это удовольствие снова и снова? Если человек в состоянии сопротивляться ему — будет ли оно действительно достигать той интенсивности?
Есть ещё одно правило писательства: история должна кричать. Человеческий мозг очень далёк от напечатанных букв. Чтобы хоть как-то повлиять на читателя, каждое событие и каждое чувство должны описываться в десять раз громче. Не стоит пытаться сделать поведение или чувства своих персонажей реалистичными. Особенно если речь про вас: нельзя просто в точности воспроизводить собственный прошлый опыт. Потому что без преувеличений всё будет звучать слишком тихо, чтобы подняться со страницы.
Может быть, все Великие Истории — трагедии потому, что счастье не умеет кричать достаточно громко, чтобы читатель его услышал.
Может быть, именно это и нужно исправить.
А если исправить… будет ли вообще тогда нужна боль или печаль? И даже воспоминание о грусти — если всё уже настолько хорошо, насколько возможно, и каждая устранимая беда уже устранена?
Можно ли просто взять и удалить боль? Или, убрав старый минимум функции полезности, вы просто создаете другой минимум? Станет ли тогда любое удовольствие, менее интенсивное, чем на 10 000 000 гедонов, — новой невыносимой болью?
Похоже, у людей с их текущим устройством есть склонность к гедонистическому масштабированию. Тот, кто помнит, что значит голодать, больше оценит буханку хлеба, чем тот, кто всю жизнь ел только торты. В этом состояла гипотеза Джорджа Оруэлла, объясняющая, почему Утопия невозможна — ни в литературе, ни в реальности2:
По-видимому, человек не способен описать счастье — и, возможно, даже представить его — иначе, чем через контраст… Неспособность человечества вообразить счастье иначе чем в форме облегчения от сложностей или боли представляет собой серьёзную проблему для социалистов. Диккенс смог описать нищую семью, жующую жареного гуся, и сделать это так, чтобы они выглядели счастливыми. А вот у обитателей совершенных вселенных, похоже, нет спонтанной жизнерадостности; вдобавок, они обычно несколько отталкивают.
Для максимизатора ожидаемой полезности добавление триллиона ко всем значениям функции полезности — бессмысленно: математически получится буквально та же самая функция полезности. Функция полезности описывает относительные интервалы между исходами — именно этим она является в математическом смысле.
Но человеческий мозг устроен иначе: в нём есть отдельные нейронные контуры для положительной обратной связи, и отдельные для отрицательной, и разные виды как положительных, так и отрицательных реакций. Есть люди, которые «страдают» врождённой анальгезией — полной неспособностью чувствовать боль. И я никогда не слышал, чтобы недостаток удовольствия становился для них невыносимым.
У людей с врождённой анальгезией есть необходимость регулярно и внимательно проверять своё тело — не порезались ли они, не обожгли ли палец. Боль выполняет определённую функцию в конструкции человеческого ума…
Но это не доказывает, что не существует никакой альтернативы, способной выполнять ту же функцию. Можно ли удалить боль и заменить её таким побуждением избегать определённых действий, которое будет избавлено от невыносимого субъективного качества боли? Я не знаю всех Законов, что действуют в этой области, но я бы предположил, что да, можно: можно заменить эту сторону себя на что-то более похожее на максимизатора ожидаемой полезности.
Можно ли удалить человеческую склонность к гедонистическому масштабированию — удалить эффект привыкания, чтобы каждая новая порция жареного гуся радовала так же сильно, как и первая? Я предположил бы, что можно. Это опасно близко к удалению Скуки, а она стоит рядом с Сочувствием, которое абсолютно незаменимо… Но если старый способ получения удовольствия каждый раз срабатывает одинаково хорошо, это не значит, что у вас не будет стремления искать новые способы получше.
Можно ли сделать так, чтобы каждый жареный гусь был настолько же восхитителен, насколько он был бы в сравнении с голодом, но никогда не переживать самого голода?
А если буквально самое худшее, что вы когда-либо испытывали — это боль от попадания соринки в глаз, можно ли предотвратить её превращение в эквивалент пытки?
Такие вопросы начинают выходить за пределы моего понимания Законов, но я предположил бы, что ответ — да, это возможно. Мой опыт подсказывает, что, как только ты усваиваешь Законы, то обычно понимаешь, как можно делать что-то, что сейчас выглядит странным.
Насколько я знаю или могу догадываться, Дэвид Пирс (автор «Гедонистического императива») скорее всего прав насчёт реализуемости, когда говорит3:
Нанотехнологии и генная инженерия отменят страдания всех сентиентных существ. Этот аболиционистский проект чрезвычайно амбициозен, но технически осуществим. Он также инструментально рационален и морально неотложен. Метаболические пути боли и недомогания развились в процессе эволюции потому, что способствовали приспособленности генов наших предков в среде их обитания. Их заменит иной тип нейронной архитектуры — мотивационная система, основанная на наследуемых градиентах блаженства. Состояния возвышенного благополучия станут генетически запрограммированной нормой психического здоровья. Предсказывается, что последний неприятный опыт в мире будет точно датируемым событием.
Это то… чего мы действительно хотим?
Просто стереть последнюю слезу — и на этом всё?
Есть ли какая-нибудь веская причина не делать этого, если не считать предвзятости к статус-кво и горстки заезженных рационализаций?
Какова альтернатива, или альтернативы?
Оставить всё как есть? Конечно, нет. Никакой Бог не проектировал этот мир и у нас нет оснований думать, что он действительно оптимален хоть в каком-то отношении. Если количество боли в этом мире не чрезмерно, то оно было бы недостаточным — но второе выглядит маловероятным.
Но, может быть…
Можно удалить именно невыносимые части боли?
Избавиться от Инквизиции. Оставить ту боль, которая предупреждает: не суй палец в огонь. Или ту, что говорит: не следовало совать в огонь палец вашего друга. Или даже боль от расставания с любимым человеком.
Попробовать избавиться от той боли, которая перемалывает и разрушает разум. Или сделать сами умы более устойчивыми к урону.
Может быть, возможен мир, где есть сломанные ноги и даже разбитые сердца, но нет сломленных людей. Нет сексуального насилия над детьми, которое порождает новых насильников. Нет такого, что людей подавляет скука и изнуряет мелкий быт, — до такой степени, что они задумываются о самоубийстве. Нет бессмысленного нескончаемого горя, вроде умирания от голода, или СПИДа.
А если даже сломать ногу всё еще кажется слишком страшным…
Были бы мы меньше напуганы болью, если бы были сильнее, если бы повседневная жизнь не отнимала столько наших сил?
Такова и могла бы быть альтернатива миру Пирса. Если есть и другие, я пока не обдумывал их всерьёз.
Можно было бы назвать это путём мужества — идея в том, что если устранить разрушительные виды боли и укрепить людей, то то, что останется — не будет таким уж страшным.
Мир, в котором есть печаль, но нет масштабного, систематического, бессмысленного горя, — вроде того, что мы видим в вечерних новостях. Мир, где боль, если и не устранена полностью, по крайней мере не перевешивает удовольствие. О таком мире можно было бы писать истории, а его жители могли бы читать их.
Я вообще склонен быть консервативным, когда речь идёт об удалении больших частей человеческой природы. Не уверен, сколько значимых частей можно вырезать, пока эта сбалансированная, конфликтная, динамическая структура не сколлапсирует во что-то более простое — например, в максимизатора ожидаемого удовольствия.
И потому я признаю, что именно путь мужества мне ближе.
С другой стороны, я не проживал ни одного из этих путей.
Может, я просто боюсь мира, настолько чуждого, как Анальгезия — не правда ли, ироничная причина, чтобы избрать «путь мужества»?
Может, мне просто кажется, что путь мужества несёт менее радикальное изменение. Может, я просто не могу прочувствовать более значительный разрыв.
Но ведь «изменить мир» — это движущаяся мишень.
Если ребёнок вырастет в менее болезненном мире — если он никогда не жил среди СПИДа, рака, рабства, поэтому не знает их в качестве ужасов, которые были триумфально побеждены — если он не чувствует, что мы «уже закончили» или что мир «изменился уже достаточно»…
Сделает ли он следующий шаг, попытавшись устранить невыносимую боль разбитых из-за невзаимности сердец?
А что потом? Наступит ли момент, когда «Ромео и Джульетта» просто будет казаться всё менее и менее актуальной, всё больше и больше реликтом какого-то далёкого и забытого мира? Наступит ли такой момент в трансгуманистическом путешествии, когда вся работа системы негативного подкрепления будет восприниматься не иначе, чем бессмысленный отходняк, от которого пора пробудиться?
И если так, то есть ли смысл оттягивать этот последний шаг? Или стоит просто отбросить наши страхи и… отбросить всё, что нас пугает?
Я не знаю.
* * *
Оригинал: Eliezer Yudkowsky, Serious Stories (2009), CC BY-NC-SA 3.0. Перевод: К. Кирдан для проекта Reducing Suffering и LessWrong на русском. Иллюстрация сгенерирована ИИ.