Мораль беспилотника

• По мере того как на улицах появляется все больше беспилотных автомобилей, а в небе все больше дронов, неизбежен рост числа происшествий с ними.
• Рано или поздно люди должны будут делегировать автономным системам полномочия по принятию моральных решений.
• Машине придется делать выбор: спасать водителя или пешеходов, в какую группу пешеходов въезжать и так далее.
• У машин возникают алгоритмы, неподвластные человеческой логике, и не исключено, что искусственный интеллект может выйти из-под контроля.
• Самая главная цель присутствия робомобиля на дороге – нулевая смертность.

Сергей Медведев: Будущее наступило в виде дронов, доставляющих нам пиццу, работающих на открытии Олимпиады в Пхенчхане, в виде автономного оружия, беспилотных автомобилей, пересекающих Америку от побережья до побережья или везущих пассажиров.

Корреспондент: Первоначально история создания роботизированной техники связана непосредственно с военными БПЛА, но в настоящее время находит применение и в гражданской жизни.
Компания Amazon рассматривает применение БПЛА для доставки товаров покупателям в виде посылок. Многочисленные сервисы такси во многих странах уже управляются беспилотными системами и организуют доставку человека в определенное место силами автомобиля без водителя.

В случае массовой катастрофы беспилотные аппараты могут оптимизировать по времени доставку в госпитали необходимых средств, особенно если госпиталь находится в полевых условиях. В Голландии, например, создан беспилотник, который способен в течение нескольких минут доставить на место несчастного случая необходимые средства помощи – быстрее, чем скорая. Совершенствование этих аппаратов идет сегодня по пути увеличения длительности работы в автономном режиме, расширения функционала, внедрения систем искусственного интеллекта.

Сергей Медведев: Разобраться с этими вопросами нам сегодня помогут Валерий Анашвили, философ, главный редактор журнала "Логос", и Леонид Голованов, заместитель главного редактора журнала "Авторевю".

Вездесущие британские ученые, в том числе Дэвид Эдмондс, специалист по моральной философии, написал книгу "Машины-убийцы. Надо ли роботу читать Канта?" Действительно, нужно ли привлекать специалистов по моральной философии для того, чтобы программировать беспилотные автомобили?

Валерий Анашвили: Безусловно, рано или поздно (скорее рано) мы должны будем делегировать автономным системам, использующим совершенно другую систему кодов и мысли, чем мы, полномочия по принятию моральных решений. В этом суть посыла автора, которого вы упомянули, книгу которого "Убили бы вы толстяка?" мы издавали: это один из основных источников рассуждений о моральных дилеммах. Представьте себе, что вы стоите около стрелки рядом с железнодорожным полотном, по которому несется неуправляемая вагонетка. Если вагонетка проедет прямо через эту стрелку, она неминуемо убьет пять человек, которые привязаны к рельсам и не могут двинуться. Только вы можете изменить направление движения вагонетки, нажав на рычаг на стрелке, тогда она уйдет на запасной путь. Но к этому запасному пути привязан один человек, толстый.

Здравый смысл, вшитый в нашу моральную программу, абстрактно говорит: пять смертей – это хуже, чем одна

Соответственно, перед вами выбор: вы ничего не сделаете, и вагонетка пройдет мимо вас и убьет пять человек, или вы все-таки что-то сделаете, и тогда вагонетка убьет не пять человек, а одного. Проводилось огромное количество исследований в разных странах мира, в разных возрастных и социальных группах, и выяснилось, что в основном человечество отвечает на этот вопрос так: скорее всего, я переведу стрелку, чтобы погибло меньше людей. Это такой кантианский ответ, который имеет в виду, что достижение максимального общего блага и правильных целей, в принципе, может быть оправдано какими-то жертвами на этом пути. Здравый смысл, так или иначе вшитый в нашу моральную программу, абстрактно говорит: пять смертей – это хуже, чем одна.

Сергей Медведев: Как я понимаю, нынешние автомобили, так или иначе, вынуждены решать эту проблему?

Валерий Анашвили: Пока нет. В том-то и дело, что как только начали появляться даже экспериментальные системы четвертого и пятого уровней робомобильности (это уже когда ты сидишь, читаешь книжку и смотришь смартфон, а автомобиль едет сам), сразу начались эти разговоры: а если робомобиль едет в беспилотном режиме, и вдруг что-то такое, кого он должен убить – бабушку на переходе или собачку? А тут еще стоят дети, и что он выберет – давить детей или бабушку? И когда-нибудь мы придем к решению этих дилемм. Может быть, нужно учить машины какому-то моральному выбору. Но пока мы даже еще не научили робомобили хотя бы отличать ребенка от бабушки.

Леонид Голованов: Ребенок научается понимать, что перед ним кошка, после того, как один раз показали кошку и сказали – это кошка. А чтобы искусственный интеллект научился опознавать кошку, ему нужны миллионы изображений.

Валерий Анашвили: В 80-е годы возник второй вариант этой дилеммы. Точно так же едет неуправляемая вагонетка, к рельсам привязаны пять человек, а между вагонеткой и людьми мост, на котором толстый человек. Вы точно знаете, что, если ничего не произойдет, поезд убьет пять человек, но если вы подойдете и легонько толкнете толстяка, который уже перевесился через перила и смотрит вниз, то он упадет на рельсы, вагонетка остановится, пятеро будут спасены, но толстяк погибнет. Вот в этом случае люди в большинстве своем отвечают, что не будут своими руками толкать человека с перил. Здесь возникает та самая важная дилемма уже для автопилотов, которые должны будут принимать моральный выбор. Мы не можем (это опять-таки вшито в наше моральное представление об устройстве мира) подходить к человеку как к средству, мы всегда должны подходить к нему как к цели. В данном случае эта концепция вступает в противоречие с рационализмом, ведь, если задуматься, наверное, лучше сохранить пять жизней, чем одну.

Сергей Медведев: Еще вопрос, что за пять жизней и что за одна. Здесь уже вступают различные виды морали: мораль не едина. Я читал, что было очень интересное исследование – тест MIT, и там очень четко выделили ответы – западные группы, восточные группы…

Валерий Анашвили

Валерий Анашвили: Этот тест выдает результат по очень многим позициям, ты начинаешь понимать свою позицию. Там есть два решения, ты выбираешь одно, и, в конце концов, он дает твой результат, кого ты предпочитаешь сохранять, а на кого наезжать. Но при этом он дает среднее показание по этим трем миллионам, как твое мнение отличается от среднего по миру. Уже есть три разных выбора, и никакой глобализации здесь не происходит.

Сергей Медведев: То есть если мы возьмем китайскую машину с китайским искусственным интеллектом, то она не будет считать, что ребенок более ценен, чем старик, а, наоборот, сохранит старика.

Леонид Голованов: А индийский, например, робомобиль не сможет задавить корову, потому что это священное животное.

Валерий Анашвили: Если его будут программировать индийские программисты, конечно, нет. А если ему автопроизводитель скажет: отложите в сторону свои религиозные убеждения, давайте общечеловеческие? Как это проследить? Ведь алгоритмы, заложенные внутри, довольно непрозрачны для обывателя, автопроизводителя и морального философа: что там на самом деле будет внутри у автопилота, будет ли он предпочитать корову или ребенка – этого мы не узнаем до тех пор, пока это не произойдет.

Сергей Медведев: Уже есть люди, убитые беспилотными автомобилями. Как с этим поступает правосудие?

Леонид Голованов: Был случай с бездомной, убитой в Аризоне. Компания "Убер" модифицировала автомобили "Вольво", установила на них собственную систему робомобилизации и отключила системы "Вольво". Дело было поздним вечером, за рулем сидел оператор-трансгендер, он пялился в телефон и не заметил тот момент, когда перед автомобилем возникла бездомная, которая вела велосипед, увешанный пакетами. Система ее вообще не распознала и не применила экстренное торможение.

Валерий Анашвили: Машина опознала опасность за шесть секунд, а дальше она две или три секунды пыталась понять, что это за объект. Велосипед, обвешенный сумками, был между женщиной и машиной. Через четыре секунды она решила, что это другой автомобиль, потому что были распознаны вращающиеся детали, а другой автомобиль на ее полосе движения, подумала машина, должен отъехать, это нелогично, что другой автомобиль в движении оказался у нее на пути. Она еще полторы секунды думала и ждала, а автомобиль при этом продолжал движение. За секунду до столкновения машина поняла, что это не автомобиль, а что-то другое, запаниковала и передала управление оператору: разбирайтесь, как хотите. Оператор отвлекся от смартфона и увидел, что сбита женщина.

Сергей Медведев: А какое было вынесено юридическое решение?

Леонид Голованов: Здесь тишина, никто не пишет про то, кто в итоге кому заплатил. Я думаю, все это решалось кулуарно, досудебно.

Валерий Анашвили: Судя по тому, что "Убер" приостановил проект беспилотных такси, видимо, он посчитал себя виноватым.

Сергей Медведев: Был еще второй случай – фанат "Теслы"…

Леонид Голованов: Это уже водитель. Дело в том, что в "Тесле" не автопилот. Здесь тесловцы подстелили себе соломки, ни одна "Тесла" не является робомобилем. Это просто ассистент, и от вас требуют постоянно сидеть и смотреть. Это система второго уровня, даже не третьего. "Ауди" объявлена третьим, но она не активировала ни одного автомобиля. Первый уровень – это радарный круиз-контроль, который позволяет вам держать дистанцию, но вы рулите. Система второго уровня – это когда вы все равно сидите за рулем и управляете, но система в каких-то условиях позволяет вам, например, на секунду отпустить руль. Сейчас рули этих машин оснащены датчиками, которые понимают, держите вы руль или нет, и если нет, то система начинает мигать.

Тесловцы в этом смысле хитрые, у них на самом деле до сих пор лучшая система, она позволяет, например, часами ездить по автобану, не держась за руль, но они все равно совершенно правильно позиционируют это как ассистент. Так что пока мы не можем относить эти смерти к жертвам робомобилей. Была еще одна смерть в Китае, когда "Тесла" не заметила уборочный грузовик, который полз вплотную к разделительной, а машина ехала в левом ряду: она просто не успела среагировать и влетела в него.

Автопилот пока не способен распознавать потенциально смертоносный объект

Сергей Медведев: Автопилот пока не способен распознавать потенциально смертоносный объект?

Леонид Голованов: Именно. То есть способность робомобилей детектировать объекты дорожной сцены и принимать решение пока не может сравниваться с таковой даже у ребенка, и в этом вся проблема.

Сергей Медведев: Дроны, беспилотные летательные аппараты тоже создают похожие проблемы. Пожалуй, можно сказать, что создается какое-то совершенно новое пространство прозрачности, некое вынесенное зрение человека, и оно существует вне границ, вне нашей обычной оптики. Мы видим, как хорошо это использует Навальный в своих разоблачениях. Но в целом разведывательные, трансграничные способности человека совершенно меняют идею пространства.

Валерий Анашвили: Философ Пол Вирильо, размышляющий о технике, как раз говорил о том, что, изобретая любое техническое новшество, мы вкладываем туда вопрос катастрофы, то есть то, что рано или поздно случится с этим изобретением. Понятно, что если мы изобретаем самолет, мы изобретаем и авиакатастрофу. Изобретая автомобиль, мы изобретаем и автомобильную катастрофу: до изобретения автомобиля автомобильных катастроф не было. Мы одновременно создаем и техническое достижение, и его столкновение с реальностью.

Леонид Голованов: Все катастрофы случаются именно в момент отказа. Нарушается связь автомобиль – человек – дорога.

Валерий Анашвили: Ежегодно в мире примерно один миллион человек погибает в автомобильных катастрофах, и 50 миллионов оказываются жертвами автокатастроф (травмы и так далее). 94% автокатастроф происходит по вине человека. То есть техника здесь при чем, конечно, но в том смысле, что она дает сбой, и катастрофа происходит в тот момент, когда она сталкивается с реальностью, не заложенной конструктивно в ее особенность, то есть с поведением людей, с тем фактором, который нельзя до конца учесть при том или ином изобретении.

Сергей Медведев: В машине заложена смерть и самой машины, и окружающих объектов.

Валерий Анашвили: Второй момент связан с дронами, например, в военном применении. Ясно, что они существуют в рамках некоторых поведенческих компьютерных стратегий, то есть в основании поведения военного дрона лежат алгоритмы, которые закладываются туда программистами. Задача этих алгоритмов – оберегать этот военный дрон от различного типа агрессии, как прямой, чтобы он уклонялся от выстрелов противника, так и от хакерских атак и так далее. Алгоритм, заложенный в военные дроны, изначально должен уклоняться от максимального количества опасностей, в том числе тех, которые неизвестны программисту. Алгоритм, который используется в военных дронах, иногда находится в принципе за пределами человеческого понимания, и в этом смысл дронов: если человек знает, как убить вражеский дрон, значит, об этом знает и противник.

Здесь начинает работать то, чего опасались фантасты и люди, находящиеся в реальности. Возникают алгоритмы, которые изначально неподвластны человеческой логике и мотивациям. Здесь, конечно, большая опасность. С этим сейчас работают люди, ответственные за поведение различных типов дронов и автопилотов, и они пытаются решить вопрос так: наверное, должна быть какая-то комиссия, состоящая из очень хороших специалистов, такой надзорный орган над алгоритмами. У нас хорошие алгоритмы, они абсолютно безобидны, но мы не можем увидеть то, что вшито внутри них.

Сергей Медведев: Кодируются ли алгоритмом такого рода моральные решения?

Леонид Голованов

Леонид Голованов: Это вопрос о том, как будет устроен искусственный интеллект. Этого мы еще не знаем, его пока нет. Как он себя поведет, воспримет ли он все те моральные парадигмы, которые мы в него заложим, или, может быть, когда мы нажмем кнопку "yes", наступит сингулярность, его действия уже не будут подчиняться нашей логике? Этого я, например, всерьез боюсь.

Мы сейчас говорим о дронах и робомобилях – это схожие задачи, но разного уровня сложности: в воздухе ориентироваться гораздо проще, чем на земле. Насколько я понимаю, разработчики робомобилей уже с этим столкнулись: с необходимостью наделить каждый робомобиль полноценным искусственным интеллектом, способным импровизировать. Что будет, когда мы запустим по всей планете сеть из таких супермозгов, связанных друг с другом?

Сергей Медведев: Это коллективный разум робомобилей, рой дронов. Военные аналитики предрекают, что будущие военные действия – это не один дрон. На открытии Олимпиады было несколько тысяч дронов, они делали все синхронно. А если им дать военную задачу?

Валерий Анашвили: Это сети. Вот, например, уберовское "Вольво" наехало на женщину с велосипедом. В идеальном мире, который еще, к счастью, не наступил, где мы все окружены робомобилями, этот несчастный "Вольво" тут же передал бы миллионам или миллиардам других робомобилей, что бывают такие сумасшедшие, которые в неположенном месте выезжают на дорогу с велосипедом: берегитесь. И они уже будут это знать и точно не повторят ошибку. Защитники робомобилей имеют в виду именно это: человек, как известно, не учится на своих ошибках, а робомобиль точно будет учиться, и это однозначно должно уменьшить количество смертей. Но эти смерти все равно всегда будут. Ясно, что проблемы будут, но они будут совершенно другого типа, непредсказуемые.

Сергей Медведев: Но статистически, может быть, менее значимые, чем если за рулем сидит несовершенный человек со своими ошибками.

Леонид Голованов: Да, пока робомобили не станут нас давить осознанно. Наделяя эту транспортную систему будущего сверхспособностями, в том числе и способностью моментально обучаться, мы можем допустить вариант, что она выйдет из-под контроля и обратится против нас.

Валерий Анашвили: Мы знаем, как устроены автоматические переводчики, алгоритмы Фейсбука, каких-то еще сетей, которые используют данные. Они собирают огромное количество информации. Условно говоря, искусственный интеллект, который сейчас копошится в интернете и собирает данные, в принципе, уже самообучающийся. Эти новые переводчики настроены на самообучение внутри своих алгоритмов, и программист, изначально их запустивший, уже может не принимать в этом участия. Например, в соцсетях появляется пост Леонида Голованова о том, что он опасается искусственного интеллекта, и надо что-то делать, чтобы пресечь это в будущем. Но это же видит и искусственный интеллект. Почему мы не задумываемся о том, что в конце концов в соцсетях такие вещи могут просто удаляться (как это сейчас делается с непристойным контентом, какими-то нехорошими словами)? Голованов вывесил пост, а его никто не видит… Зачем искусственному интеллекту самому для себя рыть могилу и позволять людям осуществлять высказывания или действия, которые потом приведут к его проблематизации?

Сергей Медведев: Предположим, дрон или автомобиль убили человека: кто будет отвечать – владелец, программист?

Леонид Голованов: Это пока не решено. Действительно, может отвечать программист, может отвечать компания, писавшая конкретно этот участок кода, который неправильно что-то распознал, и так далее. Может отвечать поставщик всего софта или поставщик датчика, который не распознал. Ответа на это пока нет ни у кого.

Валерий Анашвили: Или, например, все идеально работает и автомобиль не совершает аварии, но вдруг пошел снег, а снегоуборочные машины вовремя не вышли, залепило датчик, и машина совершила наезд. В этом случае, может быть, за что-то ответит мэр, будут виноваты метеорологи или уборщики.

Леонид Голованов: Мы говорим, что в соцсетях уже существует искусственный интеллект: на мой взгляд, это не совсем так, я бы назвал это искусственной смекалкой. Если ограничиться искусственной смекалкой… Я очень часто читаю о том, что производители софта для робомобилей пытаются изучать и каким-то образом моделировать человеческий мозг. На мой взгляд, решая транспортные проблемы, нужно изучать насекомых: стрекозу, например. Она не обладает интеллектом, а меж тем совершенно не ошибается. И, развивая искусственную смекалку, мы не позволим этой системе выйти на тот уровень, когда она уже будет принимать какие-то моральные решения. Может быть, она пару раз неправильно убьет бабушку вместо толстяка, но, во-первых, она самообучится, а во-вторых, у нас не будет самого страшного варианта развития событий.

Мы стремимся к ситуации, когда машина станет моральнее человека

Сергей Медведев: Может быть, вообще отказаться от передачи роботу этических решений? Невозможно закодировать этику.

Леонид Голованов: Я пока сторонник этого подхода – не усложнять.

Валерий Анашвили: Как не передать эти решения, если робомобиль будет вынужден принимать такие решения в экстремальной ситуации? Есть абстрактные этические дилеммы, а есть такие, которые в реальности осуществляет тот или иной субъект, будь это человек или робомобиль. Моральную задачу каждый человек решает определенным образом, сидя в кресле дома перед компьютером или в каких-то иных обстоятельствах, в которых он вынужден оказаться, но эти обстоятельства ему всегда понятны, это некая реальность. Однако эти решения всегда становятся другими, если человек делегирует это решение машине или другому живому существу (об этом есть довольно много социологических исследований). Говоря о том, как поступил бы другой человек, мы гораздо более толерантны и вариативны в отношении возможных решений. В этом смысле та дилемма, о которой мы сейчас много говорили, в общем, пока все равно не будет иметь решения, потому что еще нет той ситуации, когда робомобили заполонили улицы и действительно начинают принимать решения. Только тогда мы начнем понимать, как мы хотим, чтобы они себя вели.

Леонид Голованов: Самая главная цель присутствия робомобиля на дороге – это нулевая смертность. Мы так остро переживаем возможный моральный выбор робомобиля, потому что абсолютно спокойно относимся к тому, что сами убиваем примерно по миллиону человек в год. Мы почему-то обсуждаем единичную смерть бездомной как что-то из ряда вон выходящее, потому что нас убили не мы сами, а что-то, созданное нами. Сейчас все усилия направлены именно на то, чтобы никто, кроме нас самих, нас не убивал. Таким образом, если действительно на дороги выйдут робомобили высших уровней, смертей не должно быть вообще, и этого морального выбора быть не должно: может быть, раз в год во всем мире такая ситуация.

Валерий Анашвили: Тогда соберется ООН и решит, как быть в этой ситуации.

Леонид Голованов: Именно поэтому я говорю про развитие искусственной смекалки, технических возможностей. Пока человечеству нужно работать над этим, хотя, конечно же, Moral Machine – это важно.

Сергей Медведев: В итоге мы стремимся к ситуации, когда машина станет моральнее человека.

Леонид Голованов: Да. Человек – единственный, кто убивает себе подобных. Мне кажется, животные моральнее человека. Опять-таки, важно, с какой позиции мы смотрим на это дело. Западные позиции гуманизма – это одно, а в исламском мире все совершенно по-другому. Недавно я поездил на БМВ третьей серии. В ней есть встроенная система: когда ты пересекаешь линию разметки, даже прерывистую, не включая поворотника, система предупреждает тебя или вибрацией на руле, вибрацией сиденья или звуковым сигналом. Сейчас уже машины со встроенными зачатками робомобилизма предпринимают действия самостоятельно, то есть отруливают. Новая трешка БМВ отруливает настолько резко и активно, что это уже не помощь, а наказание. И это вдвойне обидно, потому что сама она еще ездить не умеет, а меня уже учит и, более того, наказывает.

Валерий Анашвили: У человека, как известно, нет единого понимания морали. Есть разные концепции относительно должного и недолжного поведения. У машин этого не будет, все робомобили будут едины во мнении, давить или не давить. Их будут миллионы или миллиарды, они не будут различаться, у них будет примерно одинаковый софт. Если они будут друг друга обучать относительно кризисных ситуаций, ясно, что они будут одинаково реагировать на них.

Сергей Медведев: В Китае свой интернет и свои автомобили будут запрограммированы на максимальное коллективное благо.

Валерий Анашвили: Значит, они будут не более моральны, чем человек, они так же будут дискутировать между собой в соответствии с этническими и религиозными признаками.

Сергей Медведев: Мы должны стремиться к такой ситуации, когда машина окажется в высшей точке эволюции человеческой морали. А вообще существует эволюция морали?

Валерий Анашвили: Нет. В разные эпохи существуют разные ее понимания.