Страхи киберпанка

Культуролог Оксана Мороз о том, поработят ли нас машины

Сергей Медведев: Сегодня мы поговорим о страхах современного общества перед технологией, перед машинами. Скоро будет 35 лет, как был опубликован рассказ Брюса Бетке под названием «Киберпанк», где речь шла о некоем хакере, который просто носил панковскую прическу. Тогда в рецензиях на этот рассказ редактор, критик Гарднер Дозуа и выдвинул термин «киперпанк», как он его сформулировал тогда по-английски, «высокая технология — плохая жизнь». С тех пор уже не первое десятилетие мы с ужасом ждем восстания машин, их пришествия, смотрим фильм «Матрица» во всех его инкарнациях, смотрим сериал «Черное зеркало» и думаем, что же случится с нашим обществом, которое будет порабощено машинами.

О том, реализовались ли эти страхи, мы позвали поговорить нашего давнего друга и коллегу Оксану Мороз, культуролога, доцента московской Высшей школы социально-экономических наук.

Последний год основные новости - о хакерах

Я хочу начать с новости последних дней — это вирус «Петя», который, видимо, когда-то был создан в России, но затем уже попал на открытый рынок, и вроде как сейчас его запустили из Украины. И вообще, последний год основные новости - о хакерах. Мы действительно вступили в эпоху хакерства, в эпоху тотального недоверия к сети?

Оксана Мороз: Я бы не сказала, что тотальное недоверие к сети и хакерство — это одно и то же. Но мы действительно вступили в такое время, в котором хакеры являются основными людьми, принимающими решения, или людьми, которые представляют чьи-то интересы. С одной стороны, недоверие в сети существовало всегда. Мы никогда не видели человека, с которым общаемся, относительно недавно появились практики, когда мы регистрируемся под своими настоящими именами. То есть там всегда была эта загадка, недосказанность, а соответственно, недоверие.

Хакинг как технология тоже имеет несколько сторон. Есть хакеры, которые создавали интернет как технологию, и их идеология легла в основу существования интернета как свободного коммуникативного пространства с открытыми кодами и так далее. А есть, конечно, групировки, которые занимаются хакингом и как раз представляют собой такие социальные группы без устойчивых границ, которые борются за какие-то решения или борются с какими-то организациями или институциями.

Все эти смыслы в очень большой степени совмещаются на уровне обыденного сознания в одну страшную фигуру хакера в маске Анонимуса, который бесконтролен, которого нельзя найти, который непонятно во что верит и какие преследует интересы. Ведь если посмотреть даже на то, что делают «анонимусы»: они борются с самыми разными проблемами, от экологических до политических, они могут бороться за спасение каких-то территорий вместе с Гринписом, а могут бороться против терроризма. И совершенно очевидно, что это такая группа, которую невозможно поймать за хвост и сказать: вы - «зеленые», или вы - консерваторы, или вы - либералы. Это, конечно, очень сильно пугает, ведь получается, что в интернете есть группировки или люди, которые чуть больше понимают про то, что такое интернет, которые могут организовать DDoS-атаку, вскрыть персональную информацию. При этом они активно себя ведут, контролировать их не получается практически ни у кого, о них очень много говорят, и, конечно, они создают ощущение угрозы и небезопасности.

Сергей Медведев: Мне кажется, мы тоже вступаем во времена, когда угроза государственного хакерства будет все более важной.

Государства сейчас активно включаются в контроль интернета

Оксана Мороз: Да, конечно. Государства сейчас вообще активно включаются в логику контроля интернета, придумывают разные законопроекты или разные структуры, которые позволяют так или иначе контролировать провайдеров или собирать информацию о пользователях. И в этом смысле всегда есть ощущение того, что государство, контролируя интернет, подглядывает за гражданами. Если раньше подглядывать за каждым человеческим решением в офлайн-среде было довольно сложно, то теперь все как на ладони: куда ты ходил, что покупал, какие картинки смотрел, что читал, с кем общался.

И тут включается такая история, что интернет, конечно, может контролироваться государством (в той или иной степени, не полностью), но есть еще корпоративные интересы, интересы компаний, которые обеспечивают существование этого информационного пространства. И вот на стыке корпоративных и государственных интересов рождаются настоящие механизмы контроля. Фейсбук, например, тоже прекрасным образом следит за своими пользователями, как и любая социальная сеть. Государство может устанавливать определенные ограничения, говорить: эту информацию не публикуйте, иначе будет такое-то уголовное преследование. Но и Фейсбук может говорить: такие изображения, такие высказывания запрещены, мы будем вас банить. А что такое бан в онлайн-реальности — это фактически запрет на существование, то есть это точно такое же стирание из условной нормальной жизни, как и уголовное преследование с последующим заключением.

Мы чувствуем себя более уязвимыми и более проницаемыми

Сергей Медведев: Виртуальная тюрьма человека, изоляция его от общества. Но в любом случае понятно, что создана какая-то критическая зависимость нас от этой сети. Хакеры или большие корпорации пользуются этой зависимостью, ставят нас в еще более зависимое положение. Мы чувствуем себя более уязвимыми и более проницаемыми.

Оксана Мороз: Мне кажется, это ощущение рождается у людей, которые это рефлексируют. Вообще-то пользование любыми информационными технологиями уже ставит человека в подчиненное положение. В конце концов, все, что мы делаем: печатаем, слушаем музыку, снимаем, заливаем видео, занимаемся дистрибуцией информации, - мы делаем в соответствии с теми алгоритмами, которые прописаны для нас, мы не можем это сделать каким-то новым, ранее не существовавшим способом. Это означает, что мы уже вписаны в существующие практики, мы не придумываем ничего нового, и мы их не контролируем. То есть, по сути, механизмы контроля стали более очевидными и заметными даже для тех людей, которые ранее не ставили вопрос о том, кто, как и зачем их контролирует.

Программист написал программу бота, полностью выполнявшую его работу, а сам ушел с работы

Сергей Медведев: Пару дней назад в «Медузе» писали про некоего программиста, который написал программу бота, полностью выполнявшую его работу, а сам ушел с работы. Для того, чтобы не заподозрили, что это работает робот, программа регулярно делала ошибки, его коллеги их находили, указывали, он якобы исправлял эти ошибки и дальше занимался своими делами. В течение долгих месяцев программа работала за него. Сейчас идет спор, этично ли поступал этот программист.

Оксана Мороз: Вообще, инфраструктура и индустрия позволяют такое сделать. Другой вопрос, что вообще эта история роботизации труда вносит очень большие изменения в трудовые отношения, в те нормы, которые работали раньше, то есть нормы типа «я сам что-то делаю», «я сам получаю за это зарплату» здесь не очень работают, если мы можем роботизировать часть своих действий. Тут тоже тонкая грань. Если я, например, роботизирую процессы коммуникации в сети, выстраиваю роботов, которые исправляют какие-то ошибки, то я сделал свою работу, ведь задача была в том, чтобы исправить ошибку. А если я полностью перекладываю и ответственность, и функционал на этого робота, достаточно ли я хорош, чтобы получать за это зарплату, или я все-таки должен выполнять какие-то систематические действия?

Тут мы оказываемся еще и в ситуации, когда онлайн-среда или цифровая среда порождает очень много вызовов для существующих социальных систем, систем труда, систем корпоративной и профессиональной этики. Все это возвращает нас к вопросу о том, что будет, когда роботов станет много. Понятно, что они не начнут захватывать наш рынок, но когда они станут почти полноправными субъектами трудовых отношений, не очень ясно, что с этим делать. Например, Билл Гейтс предлагает изменять налоговое обложение для тех индустрий и заводов, которые будут активно работать с робототехникой, повышая им налоги, для того чтобы казна или бюджет получали большие вливания, чтобы обезопасить людей, а людям ввести минимальные выплаты за то, что они - граждане. Но тоже неясно, как это будет работать.

Сергей Медведев: Государство должно ввести позитивную дискриминацию в отношении людей, потому что у робота есть конкурентное преимущество - он может работать 24 часа в сутки 7 дней в неделю, производить стоимость, соответственно, люди теряют работу, теряют гарантии дохода. Эту угрозу всеобщей безработицы тоже можно отнести к киберпанковской утопии?

Оксана Мороз: В общем, да, конечно, ведь эта история про высокие технологии и низкий уровень жизни как раз во всех случаях основывалась на том, что люди теряют рабочие места, так как роботы лучше выполняют необходимые операции. Это транслируют и литературные, и кинотексты. Другое дело, что во всех этих фантастических повествованиях это был статус кво, базовая точка, с которой начинается рассказ: в основном он про противостояние машин и людей. И основан этот рассказ чаще всего на презумпции разума, то есть у машин есть разум и воля, и у людей - тоже.

Цифровая среда порождает очень много вызовов для существующих систем труда, корпоративной и профессиональной этики

В реальной жизни, которую мы сейчас наблюдаем, несмотря на все разговоры про искусственный интеллект, он все-таки не достиг того уровня, когда мы можем говорить о том, что это как-то связано с разумом, с пониманием, вообще, с человечностью. А кроме того, поскольку роботы - формально несамостоятельные субъекты, для соблюдения какого-то диалога о правах и обязанностях им нужен законный представитель, которого человечество, конечно же, выделить не может, потому что неясно, может ли то ли у объекта, то ли у субъекта быть собственный законный представитель. Опять же, мы упираемся в то, что человек ведет некоторый технологический прогресс и получает некоторые объекты, которые, с одной стороны, должны облегчить ему существование, а с другой стороны, поднимают вопросы об ответственности самого человечества. На эти вопросы не знают ответа даже программисты, которые, собственно, работают с материалом.

Сергей Медведев: Здесь встает тяжелый вопрос о том, что должны быть соблюдены какие-то права роботов. Сложно представить, обладают ли роботы субъектностью, где та точка, с которой начинается субъектность.

Мы можем сконструировать машину, которая переиграет нас в шахматы, но обладает ли при этом машина разумом?

Оксана Мороз: Это бесконечный вопрос, над ним бьются люди, которые занимаются искусственным интеллектом и машинным обучением. Как ответить на вопрос, что такое интеллект человека? Это просто передача электрических сигналов, которые производит мозг, или это все-таки мозг плюс гуморальная система, или, например, ко всему этому плюсуется еще и опыт? На этот вопрос тоже нет ответа.

Оксана Мороз

Мы можем сконструировать машину, которая переиграет нас в шахматы или в го, но обладает ли при этом машина разумом, или она просто настолько быстра, что пересчитывает все возможные комбинации и принимает наиболее логически верное решение, — это большой вопрос. Сейчас ведутся довольно большие работы по эмуляции мозга, они активно спонсируются, но все равно в основании их не лежит утверждение о том, что мы поймем, как сделан мозг, как там происходит передача сигналов, полностью сможем это скопировать, и это даст нам ответ на вопрос, как думают существа, начиная с грызунов. Это все равно не дает ответа на вопрос, как мы принимаем решения, как ставим задачи, как с помощью определенных импульсов транслируем свои желания.

В этом смысле очень интересно смотреть, как устроен новый тип интерфейса — биологически активная связь, когда человеку фактически предлагается с помощью импульсов головного мозга принимать определенные решения, которые отражаются в виде картинки на экране или в виде передвижения реальных объектов. Это очень интересная вещь, потому что у людей, которые, например, обладают речью и всеми мышечными функциями, возникает очень большая пауза и даже затык: как подумать о том, чтобы что-то передвинуть, например, на экране или на столе, как материализовать свою мысль, которую мы обычно озвучиваем.

Встает тяжелый вопрос о том, что должны быть соблюдены какие-то права роботов

Сергей Медведев: Мы об этом говорили с одним из наших гостей, который занимается нейроинтерфейсами: вполне можно материализовать буквы. Человек может представить некие буквы, некое слово - они это используют для людей с параличом мышц типа Стивена Хокинга: вполне можно воображать слова, и текст будет появляться на экране. Надо ли бояться точки сингулярности, что произойдет, когда она наступит?

Оксана Мороз: Мне вообще в очень большой степени кажется, что эта концепция в полной мере не реализуема. Это тоже идеальная модель, при которой мы можем, опираясь на прошлый опыт научно-технического прогресса, логически просчитать, что когда-нибудь случится такой момент, когда продукт этого прогресса перестанет быть полностью контролируем человеком. Но это во многом техноцентристская модель. Вот у нас есть прогресс, вот у нас есть изобретение, в какой-то момент мы теряем над ними контроль, и начинается апокалипсис, о котором рассказывают писатели или режиссеры.

Мне кажется, проблема не в том, что будет много вещей, объектов и устройств, которые мы не сможем контролировать, а в том, что мы уже сейчас не замечаем, как какие-то наши привычки, поведенческие стратегии, методы принятия решений меняются в связи с тем, что у нас есть онлайн-окружение. Из-за того, что мы не замечаем этого сейчас, когда нельзя сказать, что контроль за собственной онлайн-жизнью очень сложен, в дальнейшем при развитии всех этих типов коммуникаций и устройств мы будем контролировать это еще меньше. Проблема не в том, что будет много техник и технологий, которые отнимут у нас человечность или наше право быть принимающим решение существом, а мы сами его постепенно отдадим и отчуждим в пользу тех технологий, которые сейчас существуют для того, чтобы нам помогать. Вот это, мне кажется, самая большая штука, ее действительно имеет смысл если не бояться, то, по крайней мере, как-то с ней взаимодействовать. Можно просто произвести небольшие наблюдения за самим собой, чтобы понять, как поменялись практики разговора с другими людьми с того момента, как мы почти все стали пользоваться какими-то цифровыми или сетевыми технологиями.

Люди стали меньше физически общаться, все перешло на мессенджеры

Сергей Медведев: Люди стали меньше физически общаться, все перешло на мессенджеры? Даже телефонные разговоры ушли…

Оксана Мороз: Кстати, про телефонные разговоры — это интересно. Сейчас потихоньку появляются всякие гайды и рекомендации по цифровому этикету, где очень четко проговаривается: не звоните сразу человеку, а сначала напишите ему, потому что телефонный звонок — это уже вторжение в его персональное пространство.

Сергей Медведев: Когда мне поступает звонок от незнакомого человека, я возмущен: почему было прежде не написать мне в мессенджер, в Фейсбук, рассказать суть вопроса и затем уже спросить разрешения поговорить?

Оксана Мороз: Раньше, когда не было в таком количестве мессенджеров и социальных сетей, соцсети не так часто использовались для профессиональной коммуникации, была другая история: я могу написать электронное письмо, человек может прочитать его через час или два, даже через день, и не очень понятно, с какой скоростью он будет отвечать. У нас же часто не проработан корпоративный этикет: например, отвечать надо в течение суток, поэтому, если что-то срочное, то надо звонить. Сейчас мы скорее не будем звонить, ведь мы не знаем, где находится этот человек, в каком он состоянии и может ли он сейчас разговаривать, но мы напишем в мессенджер, предполагая при этом, что человек все время онлайн и видит сообщение, а это тоже может быть не совсем правдой, потому что не все люди, используют свои аккаунты в соцсетях как корпоративные и профессиональные и видят ценность в том, чтобы все время быть подключенными к сети.

С появлением телефонов практики общения очень сильно поменялись

Вот эти технологические изменения, конечно, очень сильно трансформируют то, как мы общаемся. То есть понятно, что с появлением телефонов практики тоже очень сильно поменялись. Но сейчас они меняются еще быстрее, потому что разные технологические возможности, онлайн-сервисы для связи друг с другом умножаются, предлагают бесконечное количество возможностей для взаимодействия с другим человеком, и это все очень технологизируется.

Сергей Медведев: Мы в этом смысле порабощены сетью? Мы пока еще не порабощены машинами, хотя они отнимают все больше и больше работы, постоянно маячат на горизонте, заполняют пространство вокруг нас… Может быть, мы порабощены самими собой, производством нашей социальной технологии под названием «социальная сесть», мы стали придатками этой социальной сети? Человек - фактически придаток, не смартфон - продолжение человеческой руки, а мы - человеческая функция смартфона?

Оксана Мороз: Тут надо смотреть на то, какая у человека в его реальной офлайн-жизни существует возможность для того, чтобы он был представлен. Условно говоря, если у человека есть возможность участия в существовании разнообразных институтов, если у него есть возможность публичного высказывания своего мнения, если это мнение слышат, то сеть или соцсеть не превращается в единственное поле, где можно высказываться, и тогда за социальной сетью остается ровно тот функционал, который ей приписан.

Если эта социальная сеть, например, для академических исследований, то там публикуются статьи, обсуждаются какие-то драфты статей, и больше там ничего не происходит. Если эта социальная сеть для того, чтобы назначить свидание, то там просто назначают свидание. Если это Фейсбук, то он, конечно, более сложен, но там тоже постепенно появляется все больше картиночек, мемов. А вот если мы имеем ситуацию, когда у человека фактически нет возможности высказаться нигде, кроме как в соцсетях, нет возможности нигде ни с кем поспорить, отстоять свою позицию, предъявить свое существование, тогда соцсеть превращаются в нечто большее, чем она есть, — это просто огромное коммуникативное пространство, где люди борются не за позицию, а за себя, и считают при этом, что они действительно выстраивают какое-то гражданское взаимодействие.

Происходит все большее разделение между миром офлайн и миром онлайн

В какой-то момент происходит довольно обидная вещь: это сообщество капсулируется и становится абсолютно уверенным в том, что именно там и существует жизнь, именно там принимаются важнейшие решения, именно те люди, которые рядом со мной в онлайн-среде, и представляют собой разумное общество. Происходит все большее разделение, диверсификация между миром офлайн и миром онлайн. В связи с этим, конечно, нужно говорить о том, что есть люди порабощенные, по крайней мере, живущие преимущественно там, в сети, а есть люди, живущие офлайн, у которых есть какие-то офлайн-истории.

Очень часто эти миры плохо между собой сочетаются. В этом тоже есть большая беда, потому что если эти миры не сочетаются, то они расходятся еще дальше, и возникает много проблем с тем, чтобы наладить диалог.

Сергей Медведев: Сеть в какой-то степени за счет деперсонализации, социальных контактов увеличила количество ненависти, количество неправильных коммуникативных актов. Общество сейчас в результате гораздо более разодрано, распаяно именно за счет того, что так много всего происходит в соцсетях, где люди не видят друг друга лицом к лицу.

Оксана Мороз: Даже инфоповоды проходят мимо. То, что может быть интересно какой-то группе, которая существует в сети, обсуждается, мусолится, становится прецедентом происходящих в обществе событий, а другой группе даже в той же соцсети это может быть совершенно неизвестно. А это означает, что мы бесконечно дробимся на какие-то практически атомарные структуры, действительно теряя при этом возможность коммуникации, несмотря на то, что технологически она сейчас поддержана больше, чем когда бы то ни было раньше.

Сергей Медведев: Пытаясь обрисовать какие-то тревожные сценарии для будущего, скорее, надо говорить не о механизмах, а именно о сетях как инструменте отчуждения?

Оксана Мороз: Это забавно, потому что “network” (сеть, англ.) — это про объединение.

Общество сейчас гораздо более разодрано именно за счет того, что так много всего происходит в соцсетях

Сергей Медведев: Изначально и Цукерберг так замышлял: помогать находить людей, одноклассников. Очень интересно, как это все получится. Если пытаться глядеть вперед на 20-30 лет, куда приведут нас соцсети, - не приведут ли они к тому, что мы будем совершенно изолированными человеческими монадами, уткнувшимися в экран смартфона? Вот как сейчас человек с утра просыпается, утыкается в этот экран, и дальше он идет по жизни, уткнувшись в смартфон, лишь иногда отвлекаясь на некие внешние раздражители (например, чтобы пересечь дорогу).

Оксана Мороз: Я думаю, что все будут утыкаться в смартфоны. Но сейчас очень многие производители соцсетей говорят о том, что нет, объединение в группы, которое существует в соцсетях, не нужно, нужны мессенджеры, где у вас в контактах есть все те люди, которые вам необходимы, и вы будете общаться с ними, либо спорадически объединяясь в группы, либо один на один. Безумные круги людей, которые разрастаются, превращаются в огромную коммуну, которую невозможно контролировать, — это, по мнению производителей контента, уйдет в прошлое, останутся только непосредственно необходимые связи, которые мы сами выстраиваем.

И здесь возникает вопрос о том, может ли человек, уже постепенно привыкающий к тому, что он живет в бесконечном шуме соцсетей, потом привыкнуть к этому атомарному общению и к принятию ответственности за то, с кем он непосредственно налаживает контакты. Сейчас мы пока наблюдаем гегемонию соцсетей, наложившуюся на предыдущую гегемонию блогов, которые тоже были построены на бесконечном объединении в сообщества. Это соотносится с желанием человека быть социальным. Не очень понятно, насколько сохранится эта социальность, если придет общение один на один в мессенджерах.

Это опять возвращает нас к разговору о том, что социальное разрушается, прежние социальные институты и отношения уже не работают, и нужно выстраивать что-то еще. Но поскольку мы все чаще боимся технологий и не видим практик, которые за ними стоят, то мы пытаемся решить вопрос именно технологически, даже не очень поясняя пользователям, в чем, собственно, проблемы этих технологий.

Сергей Медведев: Как технологически решить вопрос критической зависимости от сетей?

Прежние социальные институты и отношения уже не работают, и нужно выстраивать что-то еще

Оксана Мороз: По большому счету - никак. Детоксикация — это самый простой вариант. Но такое решение может принимать только сам человек: его нельзя принудительно выключать из сети, за исключением определенного количества случаев.

Но речь идет скорее о разнообразном включении образовательных технологий в процесс разговора о цифре, об интернете, о медиа. Мы имеем предметы, которые связаны с медийной грамотностью, они реализуются с 30-х, 40-х, 50-х годов, когда людям рассказывали именно про это, не пользуясь словом «фейк-ньюс». Посмотрим на то, как англоязычные пользователи разговаривают друг с другом, или какие существуют бесконечные рекомендации по тому, как отличить фейковую новость от не фейковой. Эти курсы повторяются в школе, в университете, независимо от того, имеет человек особую специализацию или нет.

Общение, обращение с информацией — базовая компетенция современного человека. То же касается и всяких цифровых инноваций. Мы бесконечно слушаем про то, что роботы поработят вселенную, искусственный интеллект лишит нас работы, с помощью нейроинтерфейсов будут осуществляться биохакинг, и люди впитывают эту информацию, хотя довольно плохо понимают, как устроен, например, алгоритм Фейсбука. Роботы сейчас еще не порабощают, но люди этого уже боятся, а алгоритмы Фейсбука влияют на коммуникацию уже сейчас, но люди почему-то не очень озабочены этим.

Сергей Медведев: В целом эти страшилки киберпанка так и не реализовались, человечество оказалось лучше, умнее?

Оксана Мороз: Человечество, как всегда, оказалось другим. Эти страшилки были во многом пророческими, но не потому, что их авторы были настолько способны предугадать будущее, а потому, что все эти страшилки читали люди, которые воспроизводят информационную среду сейчас. Совершенно очевидно, что некоторые если не технологические, то дизайнерские решения были восприняты через образы того же киперпанка.

Обращение с информацией — базовая компетенция современного человека

Но человечество не настолько примитивно, чтобы создавать Терминатора, вместо Терминатора мы сейчас имеем экзоскелеты, которые используются не только в военной индустрии, но и в медицине, мы имеем прекрасных роботов, которые не только выполняют какие-то боевые функции, но и являются носильщиками и так далее. И часто эта робототехника существует именно для того, чтобы, например, повторить какие-то решения, существующие в природе.

Это очень интересно работает с точки зрения знания о биологии. Конечно же, сейчас активно используются разнообразные разработки в области медицины. То есть не все так прямолинейно. Конечно, очень многое, собственно, и сам интернет вырастает из решений в области военной техники, киберпанк тоже в какой-то степени был об этом - про войну, противостояние, агрессию. Но оказывается, что человечество, придумывая один механизм, никогда не ограничивает себя в его применении. Поэтому рождаются разные универсальные, уникальные решения. В этом как раз плюс человека.

Сергей Медведев: Как мы видим, за последние 40 лет машины нас все-таки не поработили. Есть, конечно, шанс быть порабощенными соцсетями, тем же Фейсбуком, но на то и щука в море, чтобы карась не дремал. На то и дан человеку разум, чтобы он мог контролировать свое взаимодействие с социальной сетью.