«Машина может стать сильнее человека в этических вопросах»

Философ Дэвид Эдмондс — об этике роботов и тренировке морали

В Москве 24 мая пройдет публичная лекция британского ученого Дэвида Эдмондса, специалиста по моральной философии, на тему «Машины-убийцы: надо ли роботу читать Канта?» Лекцию организует просветительский проект InLiberty при поддержке «Медузы» и DI Telegraph в рамках проекта «Возвращение этики». Перед лекцией Дэвид Эдмондс рассказал научному журналисту Сергею Немалевичу, существуют ли правильные ответы на сложные этические вопросы, почему либералы ближе к объективной морали, чем консерваторы, и в чем этические проблемы самоуправляемых машин Google.

— В предисловии к вашей книге «Убили бы вы толстяка? Задача о вагонетке» вы пишете, что на ее страницах произойдет немало убийств — и действительно в мысленных экспериментах, которые вы приводите, погибают десятки людей. Но в название вынесено именно убийство толстяка под колесами поезда. Чем так уникален его случай?

— На самом деле есть два основных мысленных эксперимента такого рода — проблема вагонетки и проблема толстого человека. Проблема вагонетки, предложенная английским философом Филиппой Фут в 1967 году, состоит вот в чем: неуправляемая вагонетка или поезд катится по рельсам, к которым прикованы пять человек. Вы — случайный свидетель, но у вас есть возможность перевести стрелку и пустить поезд на запасной путь. Впрочем, и к нему привязан человек, правда всего один. Переведете стрелку — спасете пятерых, но, скорее всего, погубите одного. С толстым человеком похожая ситуация — поезд и пятеро на рельсах, только вы стоите над путями на мосту, а рядом с вами очень тучный человек. Если вы столкнете его на рельсы — его тело остановит поезд, пятеро спасутся, но толстяк умрет наверняка. Так вот, почти все считают, что перевести стрелку приемлемо и даже нужно, но почти никто не считает, что следует сбросить толстяка на рельсы. И задача моей книги — разобраться, что именно заставляет людей миндальничать с толстяком.

Есть такое любопытное обстоятельство: хотя почти никто не стал бы сталкивать толстого человека с моста, никто не может толком объяснить почему. Это выглядит так, будто в наш мозг каким-то образом встроена грамматика этики, грамматика морали. Мы следуем ее правилам, не зная, в чем именно они заключаются. Здесь вообще можно провести интересную параллель с языком: ведь мы часто не знаем правил родного языка, мы просто ставим подлежащее и сказуемое в правильном порядке, не задумываясь. Если задуматься, можно разобраться, каким правилам мы на самом деле следуем в языке. Ситуация с моралью в чем-то похожа: у нее есть свои объективные правила, но разобраться в них не так-то легко.

— То есть в случаях с проблемой вагонетки и проблемой толстяка, а также в других мысленных экспериментах есть объективно правильный выбор?

— Да, думаю, есть. И это как раз тот выбор, который делают большинство людей: нельзя сталкивать толстяка на рельсы. И в книге я объясняю, почему это так: в сущности, это связано с тем, что, сбрасывая толстяка на рельсы, вы используете его как средство для достижения цели. Вам нужна его смерть для спасения других. А в случае проблемы вагонетки вам не нужна смерть человека, прикованного на боковом пути. В этом — ключевая разница между двумя экспериментами. Я не отношусь к философам-релятивистам и думаю, что те, кто готов убить толстяка, просто не правы. Мораль — это то, в чем можно делать ошибки. И я пытаюсь разобраться в правилах, понять, что означает объективность морали. Но в том, что она объективна, я не сомневаюсь.

— По поводу объективности морали среди философов сложился консенсус?

— Философы согласны по этому поводу куда больше, чем обычные люди. Последние, как ни странно, очень любят говорить о том, что мораль — это вопрос точки зрения, что она у каждого своя. Но если ты спросишь: а может, Гитлер не так-то плох, может, это тоже вопрос точки зрения, они скажут — конечно, конечно, нет. Любопытно, что та же история, по-моему, происходит и с эстетикой. Все любят повторять, что о вкусах, мол, не спорят, но если спросить, правда ли, что условная группа ABBA лучше Бетховена или Шостаковича, — мало кто согласится. В общем, философы в основном согласны, что мораль объективна, споры идут скорее о том, что это значит — «объективна». Мораль не объективна, как объективен стул, который вы можете потрогать.

— Может, она объективна, как арифметика в математике, и тоже опирается на набор каких-то аксиом и правила логического вывода?

— Это возможно. И это интересный вопрос, связанный с тем, о чем я собираюсь говорить на лекции про мораль и роботов. Действительно, за моралью может скрываться какой-то своего рода математический алгоритм. И тогда вы можете запрограммировать машину — и она, может, станет сильнее человека в решении этических вопросов, как уже стала в игре в шахматы. С другой стороны, возможно, мораль слишком сложна для этого, в ней слишком много нюансов, исключений, исключений из исключений, так что современный компьютер будет разбираться с каждой проблемой слишком долго. И все же, вероятно, рано или поздно машины опередят нас и в морали.

— Для того чтобы программировать мораль у робота, нужно самому понимать, как она устроена. Насколько далеко мы в этом продвинулись?

— О том, что такое хорошо и что такое плохо, философы горячо спорят. Пожалуй, главный спор идет между консеквенциалистами и деонтологами. Первые верят, что главное в любом моральном выборе — добиваться наилучшего исхода, максимизировать общее счастье и общественное благо. Деонтологи же считают, что есть вещи, которые нельзя делать ни в коем случае, даже если это может привести к наилучшим для всех последствиям. Например, нельзя применять пытки, даже если это вопрос спасения многих жизней. Нельзя лгать даже во благо.

— Если мы сами не можем договориться, как можно учить морали машины?

— Главный вопрос здесь действительно не в возможностях инженеров программировать машины, а в том, что именно в них вкладывать. Сейчас полдюжины крупных компаний, в первую очередь Google, разрабатывают машины, управляемые автопилотом. Похоже, такие машины окажутся на улицах уже в следующем году. И эти автомобили наверняка столкнутся со сложными дилеммами вроде проблемы вагонетки — будут ситуации, когда машине придется самостоятельно решать, стоит ли пожертвовать одним ради спасения многих. Что вложить в машину — идеи деонтологов или идеи консеквенциалистов? И кто должен принимать это решение — инженеры, правительство или покупатели? Может, у покупателя должна быть возможность прийти в салон и сказать: «Я хочу машину с кожаным салоном и философией Канта»? Очевидно, это очень важные вопросы с точки зрения закона, потому что в случае дорожного происшествия кто-то должен будет за него отвечать. Так что, по-моему, машины с автопилотами отделяют от дорог общего пользования не технические вопросы, а моральные. И если сегодня мы говорим о самоуправляемых машинах, то через несколько лет это будут роботы-хирурги, которым ежедневно придется принимать решения, влияющие на жизнь.

— Можно ли логически построить этическую систему, которая будет абсолютно аморальной?

— Для того чтобы вывести мораль, одной логики мало. Как заметил философ Дэвид Юм, аморальность нельзя назвать логически несостоятельной, нет ничего нелогичного в том, чтобы предпочесть уничтожение всего мира царапине на твоем мизинце. И вообще, что объективно плохого в смерти — вашей или всего человечества? Так что логические рассуждения могут завести совсем не туда, одного разума в морали мало. Любопытно, что в случае дилеммы толстяка оказывается, что люди, которые скептически относятся к чувствам в моральной рефлексии, чаще готовы скинуть человека под поезд. Между готовностью столкнуть толстяка и психопатией есть корреляция.

— А можно ли мораль тренировать, как память или мышцы?

— Да. Эта идея восходит еще к Аристотелю: мораль — это не абстрактная логика, а практика, тренировка определенных действий, определенного поведения, пока оно не станет для вас естественным. Но, по всей видимости, большинство людей — при условии, что они растут в нормальной среде, имеют любящих родителей и так далее — развивают у себя определенную и общую структуру морали. Тогда как у многих социопатов и психопатов проблема в среде, где они росли, — в воспитании, в детском опыте были серьезные проблемы, и иногда это полностью лишает человека способности сопереживать другим. Так что я действительно думаю, что мораль — мышца, которая требует тренировки. И желательно, чтобы эта тренировка началась еще в юном возрасте.

— Вы сказали, что кому-то придется решать, какую моральную структуру вкладывать в алгоритм машины. Но ведь современные алгоритмы самообучаемы. Помните недавнюю историю самообучаемого бота Microsoft, который за несколько часов общения в твиттере с людьми стал проявлять расизм и сексизм?

— Да, это довольно пугающий и показательный пример. Чем больше развивается способность машин к самообучению, тем сложнее понять, кто несет ответственность за их поведение. Мы привыкли обвинять во всем инженера, построившего машину, программиста, но если машина учится сама, возлагать на них ответственность уже не имеет смысла. А ответственные нам нужны всегда, потому что без этого мы не можем принимать решения. Безопасен только тот автомобиль, который никуда не едет, если машина поедет, будут аварии и нужно будет на кого-то показывать пальцем, а это станет большой проблемой, ведь машина научилась сама.

— Получается, объективная мораль существует, но она не продукт чистой логики, это, наивно выражаясь, свойство души — и чтобы сделать машину моральной, кто-то должен вложить в нее эту душу?

— Не думаю, что мораль — частичка души. Хорошая аналогия — цвет. Например, красный — объективен он или нет? Он не существует отдельно от людей, без них не будет красного. Без существ, способных к восприятию цвета, не будет и цвета. Цвет требует сознания, способного понять концепцию цвета. Так что цвет объективен, но не как стол, про цвет нельзя сказать, что он просто есть, как это можно сказать про стол. И все же, если кто-то станет говорить, что снег — зеленого цвета, он не будет прав. С моралью что-то похожее: чтобы мораль стала объективной, нужны люди. В частности, мораль не может опираться исключительно на концепцию Бога. Известен парадокс, предложенный Платоном и затем повторенный Бертраном Расселом: пусть хорошо все то, что говорит Бог. Но что, если Бог скажет, что пытать собственных детей — хорошо? Вы думаете, что Бог никогда не скажет, что пытать своих детей — это хорошо, но значит, вы независимо от Бога оцениваете, что хорошо, а что плохо. Так что для морали мало наличия высшего существа, высшего судьи, для нее нужен человек.

— Можно ли сказать, в какой степени мораль предопределена биологией, эволюцией, а в какой является социальным конструктом?

— Мораль все же нельзя назвать социальным конструктом, и это то, что отличает ее от этикета. В некоторых обществах приветствуется хорошая отрыжка после еды, в некоторых — здороваются левой рукой, где-то целуются при встрече один раз, а где-то — два. Есть нормы, которые по-разному управляют поведением в разных обществах, и это нормы этикета, а есть универсальные нормы, и это — мораль. И мораль выше этикета: в каких-то частях мира женское обрезание — абсолютно естественное дело, но мы не говорим, что это правильно, потому что это особенность другой культуры, мы говорим, что это объективно плохо.

— Тогда, может быть, мораль — продукт эволюции?

— Ну, это еще один сложный вопрос. Мораль, очевидно, связана с эволюцией, но в то же время эволюция часто подталкивает к аморальному поведению. Например, похоже, что эволюционным преимуществом является умение беспокоиться только о том, что касается тебя и твоего ближайшего окружения. 5000 лет назад человек не очень волновался о том, что происходило на другой стороне холма, не говоря о том, чтобы волноваться о происходящем на другой стороне земного шара. Эволюция не развивает в нас способность заботиться о происходящем в далекой Сирии. Но с моральной точки зрения нам все равно, страдает кто-то в 20 километрах от нас или в 2000. Эволюция требует, чтобы мы не тратили лишние ресурсы и сосредоточились на том, что происходит в нашей деревне, но в действительности мы переживаем за людей, живущих на другом континенте. Так что эволюция, конечно, появляется везде, в том числе и в морали, но иногда нам нужно пользоваться чувствами и здравым смыслом и отвергать эволюционное наследие.

— Российское общество сейчас очень сильно разделено — на тех, кто за президента и против, за российский Крым и против, за традиционные ценности и гражданские свободы. Обе части общества при этом убеждены, что именно они на стороне морали, а их оппоненты — аморальны. Как можно договариваться в этой ситуации, когда у людей нет общей морали?

— Американский психолог Джонатан Хайт провел любопытное исследование клише американских либералов и консерваторов. Не знаю, насколько ваше общество разделено на те же группы, но они, в общем, универсальны для всех западных демократий. Оказалось, что для либералов самое важное — не причинять другим вреда, но в остальном все должно быть позволено. Для консерваторов очень важно сохранять общественный статус-кво, а также они серьезно относятся к групповой солидарности, к тому, чтобы быть частью некоей социальной группы.

Классическое противоречие между либералами и консерваторами — вопрос инцеста. Допустим, у родных брата и сестры начался роман, но они используют всевозможные способы контрацепции — и опасности рождения ребенка с отклонениями нет. Допустим, нет опасности и психологических проблем у обоих. Тогда что в этом плохого? Консерватор скажет, что это все равно недопустимо, просто неправильно, он это глубоко чувствует, но объяснить не может. То есть на базовом уровне мораль должна разрешать все, что не причиняет другим вреда, но у консерваторов к этому добавляются еще и другие компоненты. Раз уж я верю в объективность морали, я должен сказать, что права только одна из этих двух групп, и, знаете, я, пожалуй, скажу, что правы те, кто считает, что все, что не приносит другим вреда, морально приемлемо. Как, например, секс двух взрослых людей по взаимному согласию, даже если кому-то он кажется отвратительным. Но думаю, это тот случай, когда к согласию прийти просто невозможно, лучшее, что нам остается, — договориться остаться несогласными.

— Но все же объективная мораль, раз уж она объективна, должна быть на чьей-то стороне?

— Я либерал и поэтому считаю, что люди, которые склонны сакрализировать какие-то вещи, ошибаются. Вот смотрите, для нашего отвращения часто есть эволюционное объяснение. Нам кажется отвратительной идея поедания червей — скорее всего, это ограждало нас от каких-то болезней. Но как только вы понимаете, откуда идет это отвращение, его становится намного легче преодолеть. Вам не интересно, что происходит за пределами вашей деревни, но как только вы понимаете, что это эволюционное ограничение, вы можете преодолеть его.

— Считаете ли вы, что моральная философия может стать прикладной наукой, а таких людей, как вы, будет нанимать, например, Google для обучения своих машин?

— Люди, занимающиеся моральной философией, ничем не лучше в моральном отношении, чем все остальные, на этот счет даже проводились исследования. Изучение моральной философии не делает тебя лучше, но учит видеть некоторые вещи яснее. Так что, возможно, Google и другие крупные компании могли бы получить пользу, нанимая на работу специалистов по моральной философии, чтобы размышлять на релевантные для них темы.

— Появится ли когда-нибудь простое пособие по объективной морали, из серии «что такое хорошо и что такое плохо»?

— Думаю, да. Но некоторые правила, например, что нельзя толкать на рельсы толстяка, очевидны сейчас, а какие-то нам еще предстоит понять. Посмотрите, как изменилось отношение к женщинам за несколько десятков лет, к расовым вопросам, к рабству. Какие-то вещи, которые кажутся приемлемыми сегодня, не будут считаться позволительными через 50 лет. Многие моральные философы скажут вам, что через полвека полностью изменится отношение к животному, к индустриальному животноводству, которое, как кажется сегодня, дает нам столько благ.

— Что вас как ученого, занимающегося моральной философией, больше всего раздражает в современном мире?

— Боюсь прозвучать как старый зануда, но я вижу что-то удивительно нарциссичное в увлечении социальными сетями. В этом есть какая-то обсессия, что-то глубоко нездоровое. Человеку нужен личный контакт, нужно смотреть другому человеку в глаза. Конечно, новые технологии — это здорово, куда лучше общаться по скайпу, как мы с вами сейчас, чем говорить по телефону. Но в социальных сетях можно раствориться, не думаю, что они добавляют что-то нашему счастью и благополучию.

Сергей Немалевич

Москва