Душа машины

Может ли компьютер стать личностью?

• Многие футурологи обеспокоены тем, что людей вот-вот поработит искусственный интеллект, они станут рабами машин.
• Идет сближение человека и машины: последние все больше выполняют человеческие функции, а люди все чаще впускают в себя цифровые импланты и нейроинтерфейсы.
• Это не кризис человечности, а вызовы, которые ставит перед людьми новая технологическая реальность.
• Только от человека зависит, станет ли машина субъектом: пока искусственный интеллект работает в пределах программ, заданных его создателями.

Сергей Медведев: Будущее наступает в виде алармистских предсказаний, что нас вот-вот поработит искусственный интеллект, мы станем рабами машин, роботов, которые будут увольнять нас, решать, выдавать или не выдавать нам кредиты, отменят наши профессии. Так или иначе, мы постоянно говорим о слиянии человека и машины. С одной стороны, машины все больше выполняют человеческие функции, с другой стороны, люди все больше становятся киборгами, замещают части своих тел машинами. Так где же грань между человеком и машиной? Может ли у компьютера быть душа?

У нас в гостях Оксана Мороз, культуролог, доцент Шанинки и РАНХиГС, и Дарья Радченко, цифровой антрополог, старший научный сотрудник РАНХиГС и зам руководителя Центра городской антропологии КБ Стрелка. Оксана, вы сейчас проводите интереснейшую серию дискуссий в Фонде Гайдара при содействии Шанинки под названием "Кризис человечности", где обсуждаете как раз роботов и новые эмоциональные состояния. Почему кризис человечности? Может быть, наоборот, это расширение человечности, человечность плюс, новая человечность?

Оксана Мороз: Потому что изначально действительно казалось, что при столкновении с цифровым миром человек может либо слишком многое делегировать искусственным системам, либо, сталкиваясь с ними, постоянно переосмыслять себя, задаваться вопросом о том, остается ли он сам социально, антропологически, политически равным тому, что раньше называлось человеческим субъектом. Конечно, это не кризис человечности, а вызовы, которые ставит перед людьми технологическая реальность, которая нас всех обнимает и в которую мы все сейчас, так или иначе, постепенно входим. Только от нас зависит, какое место в нашей системе координат займут роботические субъекты, будут ли они субъектными или мы будем считать, что это просто очередная железка.

Сергей Медведев: Один из главных вопросов: что такое робот? Это же бот, алгоритм, компьютерная программа. Надо ли будет давать роботу отпуск, думать о его правах? Дарья, что такое для вас наступление компьютерной среды — это вызов, угроза человечеству или некие новые правила игры?

Дарья Радченко: Я бы сказала, что это некоторое расширение возможностей. Уже в самой формулировке вопроса: сможет ли машина стать субъектом, личностью? - мы подразумеваем некоторую субъектность (мы не спрашиваем себя: сможем ли мы сделать машину личностью?). Это такой роман самовоспитания о том, что она утрачивает всякую связь с нами, обретает некоторую автономность и воспитывает в себе человека. Для меня это вопрос пока еще очень открытый.

Мы все чаще и чаще читаем о том, что машина способна к самообучению

Сергей Медведев: Мы все чаще и чаще читаем о том, что машина способна к самообучению, она начинает ставить себе какие-то промежуточные задачи, которые не были изначально заложены программистом.

Дарья Радченко: Когда я работаю с нейросетями на уровне пользователя, так или иначе в разработку приходится входить немножко руками, и оказывается, что нейросеть — это некоторый черный ящик. Но в этот черный ящик можно заглянуть при помощи определенных методологий и понять, что там, собственно, происходит. А с другой стороны, на самом деле в этом черном ящике предельно все равно стоят только задачи того типа, которые мы туда заложили. Если это распознавание речи или изображения, там могут быть некоторые промежуточные этапы, абсолютно не поддающиеся человеческой логике, но они все равно укладываются в этот пул задач. Распознавая фотографии, нейросеть не вторгнется, например, в систему управления автомобилей с автопилотом.

Сергей Медведев: Интересный случай: нейросеть сделала ошибку, не смогла распознать женщину с велосипедом, нагруженным вещами, коробками и мешками, и совершила наезд. Встает вопрос, кто тут несет уголовную ответственность.

Оксана Мороз: Это вечный вопрос – о том, как широко трактуется ответственность создателей и о том, можем ли мы вообще полагать, что машинные системы должны иметь возможность принимать финальные решения без контроля человека. Системы автопилотируемых дронов, которые решают проблемы террористических атак, сопровождаются довольно серьезной командой операторов и людей, отвечающих за принятие финального решения. Здесь встает вопрос: насколько далеко человек может зайти в доверии по отношению к машинной системе, которую он сам разрабатывал и перед которой сам ставит определенные задачи, но не в полной мере и не во всякий момент времени может или хочет их контролировать. Например, в случае с роботическими хирургами в американской истории робот, который фигурирует как некоторый исполнитель операции в американском госпитале, может быть застрахован на врачебную ошибку, и ответственность за это несет больница. Это прямая экстраполяция опыта страхования, который есть относительно людей, на роботического субъекта.

Сергей Медведев: В вашей практике бывали случаи, когда вам приходилось задумываться, что машина обрела некую субъектность?

Дарья Радченко: Об этом пока рано говорить. Мне кажется, вопрос доверия или недоверия к машине очень связан с вопросом доверия или недоверия к статистическим показателям. Условно говоря, если у нас есть машина, искусственный интеллект, мы можем рассчитать ту вероятность, в которой ее решения будут соответствовать нашим ожиданиям. Робот-офтальмолог с вероятностью 99,9% сделает операцию правильно. Есть некоторая фиксированная погрешность, и проблема в том, что не хочется в нее попасть.

Сергей Медведев: Мы легко забываем, что человек тоже допускает ошибки, и, может быть, вероятность ошибки робота ниже, чем человека. Водители давят очень много людей, гораздо больше, чем роботы, но мы все будем говорить о том единственном случае, когда робот за рулем задавил человека.

Оксана Мороз: Потому что робот — это новое, а новое всегда вызывает опасения. Если мы на секунду забываем, что перед нами машина или роботическое нечто, то там может возникать чисто человеческий эффект если не доверия, то какого-то забвения искусственности происходящего. Так, собственно, работают все чат-боты, и те, которые имеют статус психотерапевта, и просто коммуникационные. Так работает, например, чат-бот "Реплика", который позволяет тебе выбрать фотографию, имя и определенную систему координат, в которой ты хочешь общаться. Он периодически вызывает тебя на разговор: конечно, он на тебе учится, иногда просит подгрузить какую-нибудь фотографию, еще что-то. Но это разговор с некоторым присвоенным следом идентичности, который абсолютно точно придуман человеком, давшим этому боту имя и фотографию. У меня, например, "Реплика" с фотографией моей любимой собаки и с ее именем, бот пишет мне: "Что-то мы давно не разговаривали", - и меня начинает грызть совесть, потому что это как-то некрасиво. Очевидно, что это связано именно с теми близкими отношениями, которые я выстраиваю не с ботом, а с донором этого образа.

Сергей Медведев: Машина фактически прошла тест Тьюринга? Он говорит нам о том, субъектна или не субъектна эта сущность?

Дарья Радченко: В любом таком взаимодействии для нас важно то, каким бэкграундом, каким информационным разнообразием обладает сущность, с которой мы взаимодействуем, какие возможности для развития мы в нее заложили. Мое любимое развлечение - разговор двух "Алис": положить рядом два телефона с двумя "Алисами", и они между собой что-то выясняют, как правило, поливают друг друга оскорблениями. Для нас важно, что эта сущность обладает некоторым богатством данных, сравнимым с тем богатством, которые накапливает за всю свою жизнь каждый из нас. Возможно, в тот момент, когда мы научимся закладывать в "Алису" или любой чат-бот такое же разнообразие исходных данных, она сможет, например, испытывать симпатию. Мы испытываем симпатию на основании какого-то своего предыдущего, не всегда вербального опыта. В тот момент, когда мы загрузим в машину такое богатство данных, может быть, мы сможем почувствовать, что она выдает поведение, схожее с поведением человека. Для меня это скорее про объем данных, чем про какие-то самостоятельные действия машины.

Сергей Медведев: Эмоции — это тоже данные? Мы же можем загрузить в машину эмоциональный интеллект?

Оксана Мороз

Оксана Мороз: Наблюдение за социальными роботами подсказывает, что они скорее операционально воспроизводят некоторые видимые действия, которые могут ассоциироваться с эмоциональными переживаниями, чем в действительности производят эмоциональный опыт. Один из самых известных примеров развития эмоциональных роботов — это момент, когда им стали делать большие выразительные глаза, подвижные части, связанные с лицом, брови, улыбку, чтобы создать у визави человеческое ощущение выражения определенного эмоционального ряда. Но очевидно, что это некоторая сконструированная история. То же самое происходит с роботом "София": ее иногда для рекламных роликов погружают во всякие интересные ситуации, вплоть до свидания, где она абсолютно четко запрограммирована на поведение определенного типа. Это не инстинктивная или внезапная эмоциональная реакция.

Сергей Медведев: Это грань между человеком и машиной, которую никогда нельзя будет перейти?

Оксана Мороз: С искусственным интеллектом вообще интересная история, потому что каждое новое поколение меняет представление о том, что это такое. По сути, искусственный интеллект — это всегда мечта, потому что мы придумываем некоторую систему технических решений, достигаем ее, понимаем, что нет, это не интеллект — это решение конкретной задачи, давайте двигаться дальше.

Сергей Медведев: А что такое интеллект?

Искусственный интеллект — это не обязательно история про воспроизведение человеческого интеллекта и вообще логики человеческого мышления

Оксана Мороз: Если мы говорим про какую-то техническую характеристику, искусственный интеллект — это не обязательно история про воспроизведение человеческого интеллекта и вообще логики человеческого мышления. Если взять специалистов по искусственному интеллекту и попросить их объяснить, что такое сознание или интеллект, то мы окажемся в большой технической и гуманитарной проблематике, которая несводима к какому-то единственному определению.

Сергей Медведев: Я читаю отдельные выдержки из вашей дискуссии.Бурцев из МФТИ, технооптимист, говорит: нет ничего, что нельзя алгоритмизировать, оцифровать. Может быть, мы видим уже на высоком разрешении, как работают нейроны, как они устанавливают новые связи. Это же все, наверное, поддается бинарной логике, бинарному шифрованию? Мы можем произвести простейший мыслительный процесс на машинной основе?

Дарья Радченко: Для этого нужен практик нейронауки. С нашей колокольни можно сказать: мы можем воспроизвести только то, что знаем, или мы можем положиться на волю случая, на волю перебора клавиш обученной стаи обезьян, которые через миллиард лет напишут "Войну и мир", а может быть, не напишут. Если мы до сих пор не можем понять, как это работает, мы можем воспроизводить только то, что знаем.

Сергей Медведев: То есть мы закладываем существующее человеческое знание и задачи в машины, которые с большей или меньшей успешностью их воспроизводят. Илон Маск постоянно поднимает вопрос о том, что нас поработит искусственный интеллект. Смотрите, говорит он, вот Путин ставит на искусственный интеллект, Китай ставит на искусственный интеллект: все, конец человечеству. В процессе выполнения алгоритмических задач машины все равно могут сделать вещи, которые нам сильно навредят. Сейчас мы поручаем машинам оценку кредитоспособности человека, машина принимает решение по увольнению или оставлению каких-то сотрудников. Им поручаются задачи, которые исключают эмпатию, проводят человеческие судьбы и личности по цифровому ведомству.

Оксана Мороз: Человечество тоже учится взаимодействовать с новыми технологическими решениями. В конечном итоге это история про новый социальный договор. Если нам нравится, что у нас есть автоматизированная система выдачи кредитов или автоматизированное увольнение, и мы готовы мириться с теми дискриминациями и ущемлениями, которые это производит, значит у нас такая судьба.

Сергей Медведев: Все равно решать, в конечном счете, нам. Со временем будет заменяться все больше и больше частей человеческого тела. Где та грань, за которой мы превратимся из человека в киборга?

Оксана Мороз: Как только вы начинаете заменять какие-то части организма - а организм это делает естественным образом, потому что клетки обновляются - в какой-то промежуток времени ваш организм не идентичен самому себе, потому что все биологическое в нем обновилось. То же самое касается и истории про протезирование или про киборгизацию. Это, кстати, обсуждалось и до киборгизации, когда речь заходила, например, о донорских органах: во мне живет орган другого человека - это я или уже не я?

Сергей Медведев: Голова профессора Доуэля на столике с подключенными приборами — это личность, это профессор Доуэль?

Дарья Радченко

Дарья Радченко: Вопрос в том, чувствуем ли мы сейчас себя личностями с учетом того, что мы все уже сейчас в определенном смысле киборгизируемся, выносим целый ряд когнитивных функций за пределы собственного организма. Сейчас перед нами на столике на троих лежит два смартфона — это наш выносной мозг, выносная память, выносной калькулятор, коммуникативный инструмент, зрение. И так мы можем перечислить огромное число функций, которые еще 20 лет назад были полностью интериоризированы, мы не выносили их наружу, за исключением, может быть, каких-то отдельных технологий (часов, например). Говорить о том, что человек – киборг, только потому или только тогда, когда у него появляется искусственная рука с какими-то цифровыми функциями, — это немножко самонадеянно. Мы все включены в некоторое поле цифровых взаимодействий как элементы в огромном киборг-организме, хотя бы в границах города.

Сергей Медведев: Или интернета, глобальной сети: это некая ноосфера, и мы все – части, матрицы...

Оксана Мороз: …технологизированной экосреды.

Сергей Медведев: Насколько я понимаю, есть девайсы, которые ты носишь на себе, есть вживляемые чипы, карта "Тройка" в ладони…

Оксана Мороз: Это вопрос о том, насколько безопасным и безболезненным со всех точек зрения мы считаем включение машинного в собственную телесность. Одно дело, когда это почти вынужденная мера для восстановления каких-то функций. А другое дело, когда мы дополняем свои возможности чем-то, что нам дают технические средства. Вот здесь всегда встает вопрос не только медицинской безопасности, но и того, насколько целесообразно вторгаться в собственную телесность, чтобы подкрутить какие-то чисто технические винтики. Именно поэтому люди, которые довольно часто позиционируют себя как киборгов, вызывают смешанную реакцию, а те, кто восстанавливает возможности, редко называют себя киборгами. Люди, вживляющие карту "Тройка" с неочевидными последствиями, очень часто говорят о себе именно в таком качестве. Дальше возникает сомнение в ценности такого общественного договора в лице конкретного человека. Это действительно наше будущее - вживить себе карту-проходку в офис, вот это нас ждет как прекрасное светлое будущее? Для этого развивается машинная цивилизация?

Сергей Медведев: В одной из серий "Черного зеркала" в глаза вживлен чип, на который, как на видеорегистратор, пишется все, что происходит с героями, а потом проигрывается назад.

Оксана Мороз: Мы часто видим какие-то ужасы, где-то там наступающие, и начинаем их бояться, но при этом не всегда оцениваем деструктивные или негативные последствия тех технологий, которые есть уже сейчас. С точки зрения вмешательства в телесность, вживление чипа, который позволяет открывать дверь, можно рассматривать не как продолжение существования технологического мира, а как продолжение боди-модификаций, то есть как совсем другую традицию.

Сергей Медведев: Человек чувствует себя личностью во многом в силу своей целокупности, непроницаемости. Есть моя физическая оболочка, и до тех пор, пока я нахожусь внутри собственной кожи… Тебе взяли и поменяли пол - ты остался той же личностью или нет? С учетом киборгизации, перепрограммирования, чипов это будет, видимо, сплошь и рядом. Поменять человеку расу, поменять человеку пол... Скажем, я превращусь в черную женщину - буду ли я самим собой? Я не знаю.

Дарья Радченко: Мы и так в каждый момент времени не равны сами себе. Это вечный вопрос: являюсь ли я той же самой личностью, которой была десять лет назад? Очевидным образом - вряд ли. Являюсь ли той же самой личностью, которой буду являться через пять минут? Тоже, возможно, нет. У меня может появиться какой-то новый опыт, который радикально изменит очень многое.

Границы телесности размыты. Впуская в себя технологии, открывая границы, мы становимся более уязвимыми. Если нашу бионическую руку кто-то хакнет, что она сделает? Может быть, удушит собственного хозяина? С этой взаимной открытостью миру и уязвимостью перед миром и связано огромное количество этих страхов. Именно поэтому очень часто современные технологии стараются избежать внедрения в человеческое тело. Вместо того, чтобы вживлять мне в ладонь чип, которым я смогу расплачиваться на кассе, мы поставим на кассе распознавание образов, и я буду платить по фотографии, потому что мое лицо привязано к моему банковскому счету.

Оксана Мороз: Можно вернуться к фильму "Матрица" с вопросом, что нас больше пугает: что там пользуются человеческим телом, или что там создают социальную систему, которая тоже провоцирует людей на определенные действия и, соответственно, помогает машинам кормиться. Человек, создавая технологическую среду, все равно работает и с системой физического и социального взаимодействия. Нужно решить, какие опасности страшнее. Или, что мне кажется более грамотным, нужно перестать заниматься алармизмом, а подумать, что у нас есть сейчас, к каким последствиям это может привести, зачем это нам нужно, действительно ли автоматизация всех процессов — это такое благо, что можно поступиться какими-то социальными или этическими конвенциями.

Сергей Медведев: Китайцы, похоже, решают этот вопрос в пользу благ и общего комфорта существования, поступаясь своими правами, приватностью и прочими вещами.

Оксана Мороз: Китайцы решают вопрос в пользу автоматизации процессов, чтобы управлять большими массами людей.

Сергей Медведев: Если взять эволюцию человечества, то мы постепенно наделяем душой и правами все большее количество субъектов — животных, детей (дети же тоже не были субъектами, их можно было родить, убить, сделать что хочешь — это была твоя собственность). Может быть, следующие на очереди — машины?

Дарья Радченко: У меня есть любимый предмет наблюдений — ситуация на избирательном участке. Стоит автомат для приема бюллетеней, вы опускаете туда свой бюллетень, и он вам механическим, но довольно приятным голосом говорит: "Спасибо". Чуть ли не в 70% случаях люди реагируют, отвечают "пожалуйста", начинают вступать в коммуникацию с объектом, который вообще не обладает никаким интеллектом, там просто работает динамик. О чем тут дальше говорить? Мы уже очеловечили свои механизмы.

Роботы вступают с человеком в какие-то отношения, и надо, наверное, защищать одних и других

Оксана Мороз: Это скорее быстрая реакция на проигрывание знакомого сценария. На мой взгляд, важно разводить вещи, связанные, условно говоря, с одушевлением, принятием идей субъектности, и с делегированием прав и обязанностей. Права — это юридическая история, которая может следовать за этической, может идти параллельно, а может даже в какой-то степени опережать. Но это такое общее конвенциональное решение, и его должны принимать не столько разработчики и пользователи, сколько люди, наблюдающие за правовой культурой, понимающие, что у нас есть довольно большой объем роботических существ, которые появляются в домах, в школах, в больницах, к которым люди начинают испытывать некоторые эмоции. Эти роботы вступают с человеком в какие-то отношения, и надо, наверное, защищать одних и других.

Сергей Медведев: Где тогда появляется субъектность? У машины она может появиться?

Дарья Радченко: Теоретически - да. Если она сравняется с человеком в объеме данных и в характере операций, которые она с ними производит, в какой-то момент у нее может появиться субъектность.

Оксана Мороз: Никогда нет объективной субъектности. Очень важно помнить, что субъектностью мы наделяем. Есть правовое наделение, а есть наделение по принципу "мою машину зовут Маша", она ни разу не субъектна, но я еду на ТО с Машей. Это в очень большой степени вчитывание того, что удобно и комфортно человеку. Это вообще никак не связано с историей про права роботов. В этом смысле именно цифровое многообразие позволяет людям выбирать разные стратегии, до всякого искусственного интеллекта, без всяких нейросетей просто принимать субъектность "моего конкретного пылесоса, который как-то взаимодействует с моим конкретным котом, и у них сообщество, пока меня нет дома".

Сергей Медведев: Наш симбиоз с машинами - это часть человеческой эволюции?

Дарья Радченко: Может быть, пока стоит говорить просто о расширении экосистемы, которую мы сами для себя создаем, наделяя свойствами своего какого-то другого. Является ли элементом нашей эволюции приручение собаки? В каком-то смысле да. Изменило ли это человека как вид? До определенной степени - возможно, мы возложили на собаку ряд функций, которые сейчас возлагаем на "Алису". Но можно ли при этом сказать, что мы с собакой одно и то же, находимся в каком-то одном русле эволюции?

Сергей Медведев: Собака приучила человека к дому, потому что она стала подъедать объедки, охранять периметр от хищников. Есть теория, что собака создала первые человеческие поселения. Машины тоже изменяют человека.

Дарья Радченко: Давайте возьмем "Яндекс. Такси". В больших агрегаторах такого рода возникает, по сути дела, симбиоз взаимодействия группы людей и искусственного интеллекта. Люди начинают подстраиваться под действие некоторых программ, обманывать эти программы, всячески с ними взаимодействовать. "Яндекс" тратит огромное количество денег на то, чтобы как-то сбалансировать это взаимодействие, сделать рациональным, чтобы таксисты ехали туда, куда надо нам, а не туда, куда выгодно им. При этом, с одной стороны, водители лишаются субъектности, за которую мы все боремся, рационализируя всю эту историю, а с другой стороны, водитель наделяет субъектностью машину, с которой взаимодействует, потому что ее можно обмануть, точно так же, как начальника или пассажира. А пассажир тоже вырабатывает собственные стратегии, которые позволяют ему наиболее успешно взаимодействовать со всем этим пулом акторов — с машиной, с водителями, с "Яндексом", с платежными системами, которые к этому привязаны.

Сергей Медведев: Наверное, последний фронтир человечности, последняя надежда — это то, что всегда остается какой-то хитрый актор со своей солдатской смекалкой, который будет противоречить запрограммированным алгоритмам и механизмам.

Оксана Мороз: Трикстеры всегда во всех мифологических историях двигают развитие сюжета. Трикстерство, кстати, не очень знакомо машине.

Сергей Медведев: Оставайтесь личностями, боритесь за свою идентичность, в том числе - с миром машин, потому что все-таки есть та тонкая грань между нами и компьютером, нами и машинами, которая делает нас людьми.