Почему мы так боимся нейросетей

Для тех, кто не любит слушать, а любит читать, самиздат продолжает публиковать расшифровки лучших подкастов радио «Глаголев FM». На этот раз вместе с автором самого жуткого из них — «Социология стрёма» — Костей Филоненко размышляем о том, унаследует ли искусственный интеллект наши пороки и изъяны, зачем соцсети заставляют нас постить фотографии юных себя и почему мы так боимся нейросетей.

Какое-то время назад в Facebook стартовал челлендж: очередной массовый психоз (по-другому это назвать нельзя), когда люди внезапно начали постить свои фотографии десятилетней давности и сравнивать их с фотографиями нынешними. И многие задавались вопросом: для чего это нужно? С какой целью люди это делают? И в этот момент всплыла информация, что вроде как это калибровка некой системы распознавания лиц, которая должна сравнить одного и того же человека в разном возрасте для того, чтобы распознавать его на всех фотографиях и распознавать его в будущем. И, таким образом, этот искусственный разум становится умнее, приближая момент нашего порабощения. Для того чтобы выяснить, так оно или нет, мы позвали Ивана Пузырёва, специалиста в области VR, искусственного интеллекта и digital-стратегий в архитектуре.

— Иван, действительно ли 10-Year Challenge приближает порабощение естественного разума искусственным?

— Лично я считаю, что да. Это слишком просто, чтобы так не сделать, имея мощность Facebook. Я был на довольно крупной конференции в Мюнхене, и высокопоставленный спикер из Facebook с прекрасно анимированной презентацией и хорошо поставленной речью в середине своего доклада использовал слайд, на котором на синем фоне белыми буквами написано «more content, more power, more people».

— Слово «power» больше всего пугает.

— Да. И в этот момент люди хлопают, бейджики трясутся, лента скроллится, а понимающие люди переглядываются, потому что компания с такой мощностью, с таким количеством данных, которая на большой важной конференции, которая публикуется, вставляет в свою презентацию такой слайд, меня пугает.

— Пугает именно то, что у них есть «power» в целях? То, что им нужно больше людей для того, чтобы больше знать? Что в этом пугающего?

— Здесь стоит рассказать про платформенный капитализм. Компания Facebook имеет такой значительный масштаб, такой размер, что, в принципе, гражданство Facebook можно соотнести с гражданством некой страны. Объединённое между собой гражданство платформ точно может выдать вам результат, аналогичный гражданству страны. То есть мы можем перемещаться, можем обмениваться информацией, только скомбинировав наше гражданство внутри платформ. То, как я это вижу. Компания Facebook строго ориентирована и существует в мире капитализма. Это значит, что ей необходимо зарабатывать деньги. И когда в основе компании идет маркетинг, реклама, мы очень легко можем увидеть, как, например, на той самой конференции они показывают один из вариантов продажи рекламы, при котором мы скроллим ленту, и когда видим очки, рекламу очков, я задержался чуть дольше на этой картинке, у меня врубается фронтальная камера — и очки примеряются в дополненной реальности на меня. Да, в принципе, безобидно, но если это моя жизнь? Если я в этот момент не хочу, чтобы на меня очки примеряли? Конечно, сначала они будут спрашивать, а потом не будут спрашивать, как мы это много раз видели у компании Google. Если вы посмотрите их первую загрузочную страницу, она звучала как «Мы безобидные ребята, мы будем только искать».

— Основное отличие государства от любого другого объединения — наличие собственной армии. Что выполняет роль насилия в корпорациях?

— Это достойный вопрос. Когда мы говорим об армии, всегда в голове возникает вопрос границ. То есть они должны охраняться. И вообще, в транслирующиеся сейчас в экономике, в геополитике границы теряют такую значимость. Потому что — что есть граница? Наличие информации — то есть там, где информация, и как она пересекает какую-либо черту — вот это может быть границей. Возможно, вы видели недавно: самая большая база данных, утечка произошла — 700 миллионов аккаунтов, и каждый может проверить, утекли ли его данные. Я посмотрел: мои утекли. Все мои почты теперь в открытом доступе. Нужно будет менять пароли. Это довольно подходит под фразу «О дивный новый мир».

— То есть вместо солдат и погранпостов у нас стена из паролей и защищающего кода?

— Да, китайская стена — не физическая, строящаяся стена кибербезопасности, которая не работает. Я в очередной раз подчёркиваю, что, даже используя ресурсы одной из крупнейших экономик, невозможно ограничить поток digital-информации из страны или в страну. То есть пребывая там, я всё равно мог пользоваться теми ресурсами, которые были заблокированы. Да, это танцы с бубном, но это по-прежнему возможно. Я не вижу способа остановить это, кроме как по примеру Северной Кореи, где просто физически страна отрезана.

Когда мы говорим о нейросетях и искусственном интеллекте, есть вещи, которые нас пугают, а именно: непонимание того, как это работает. В частности, есть очень жуткая новость про то, что Facebook сделал чат-ботов, которые были поставлены друг напротив друга. Они вели диалог, и через какое-то время они стали говорить на английском, но это был их собственный язык. Они использовали английские слова, чтобы как-то общаться друг с другом. Для людей это было непонятно, но при этом они друг другу что-то сообщали. Как говорится в этих новостях, их отключили, и для меня как для человека, который читает статьи на эту тему, стало очевидно, что их отключили, потому что стало слишком страшно. О чём они там договорятся? Никто не знает, кроме них. На самом деле язык, который они создали, способ передачи данных был намного сложнее, чем нужно, чтобы испугаться.

— Намного сложнее, чем нужно, чтобы испугаться?

— Да, он был крайне неэффективный. Примерно как полчаса петь песню, чтобы донести одну фразу. Но вещи, касающиеся искусственного интеллекта, всё самое специфическое и жутковатое идёт из Китая. Если разработки, которые мы видим в США, так или иначе стараются контролировать другие капиталисты — как Илон Маск, — то в Китае мы видим вообще беспредел. Я могу рассказать историю. Мы попали в штаб-квартиру компании Tencent в Шеньчжене. Это колоссального размера компания.

— А чем они занимаются?

— Они владеют WeChat’ом. Это из основных активов. Это колоссального размера небоскрёб, и в одной из аудиторий нам рассказывали про их опыт работы с искусственным интеллектом. Есть несколько особенностей, которые нужно знать. Во-первых, они учат свой искусственный интеллект на играх. Геймификация играет невероятную роль в процессе образования, становления человека.

Советую посмотреть фильм «Синофутуризм», раскрывающий всё, что происходит в Китае, с точки зрения геймификации. Искусственный интеллект, взращённый на играх, обучен стратегии обыгрывать человека либо другой искусственный интеллект, — зачем он выпускается в город либо в пространство соцсети/мессенджера для решения местных проблем, но с навыками, полученными в игре? Так не делает никто. Это уникальный эксперимент. Одна женщина в аудитории рассказывала нам, что недавно они проводили соревнование среди своих искусственных интеллектов. Они выпускали их «на свободу» — скрывая, что это искусственный интеллект, выдавая их за людей. Челлендж был в том, что человек, с которым ведётся диалог, должен был сказать искусственному интеллекту «я тебя люблю». Но он должен был сказать это натурально. Он должен был действительно влюбиться. В этом челлендж — чей искусственный интеллект первым влюбит в себя. Это произносится с улыбкой под весьма странно свёрстанную презентацию в небоскрёбе в центре страны, и я эту презентацию вообще не понимаю.

— Это как в фильме «EX MACHINA»: испытуемый не просто верит в то, что робот что-то чувствует, но и чувствует что-то к нему, и помогает ему избежать этого. Это тест Тьюринга, да?

— Можно так сказать. Я не представляю, что происходит в подкорке, что происходит там глубже — как много алгоритмов сейчас присутствует в процессе коммуникации между людьми. Стоит вспомнить процесс рекрутинга и ответы AliBaba — весь их сбор аппаратных связей, работа с клиентами; колоссальную роль играет алгоритм, который понимает, что ты написал/спросил. Даже в России вполне неплохо анализируют вопрос, который ты задал, и отвечает уже робот.

— То, что ты говоришь, поразительным образом сходится с тем, что говорил первый гость «Социологии стрёма», специалист по глубокому интернету. Он говорил, что для собственной безопасности — психической и информационной — нужно очень чётко понимать, что по ту сторону экрана находится человек, а не искусственный интеллект. Искусственный интеллект не может обладать свойствами настоящего человека, и люди обучают его свойствам настоящего интеллекта. Ничему хорошему научить его мы не можем, потому что у нас нет ни одного альтруистического и бесконфликтного примера поведения. Порочность, заложенная изначально в человеке, может передаться и искусственному интеллекту.

— Да. Была история, когда Amazon запустили Алексу в «свободное плавание» до выхода физической колонки. Тогда ещё были эксперименты. Сказали «учись на твитах» — и через какое-то время, я точно не помню срок, через несколько дней это стал робот-нацист и сексист, который пробовал покупать и продавать наркотики. И тут мы приходим к самому базовому вопросу: есть искусственный интеллект, есть нейросеть — что и как устроено? В моей голове это работает так: есть data-сеты, нужно на чём-то учить и кто-то должен учить. То есть нам нужен объём информации, чтобы дать её нейросети, которая сможет сказать: «Ага, теперь я могу принимать решения на основе того, как я увидела». Или, простыми словами, я могу объяснить так. Сыграем в игру. Объясни мне, что такое кошка.

— Это животное, маленького размера, с длинным хвостом, разные виды шерсти, глаза, нос и уши.

— Удивительным образом под все параметры, которые ты назвал, я могу подобрать другое животное, и, к сожалению, мы будем играть в эту игру около часа, пока поймём, что нет параметра, который выделял бы кошку среди других животных. Поэтому кошка в твоей голове — это полка, на которой все фотографии кошки, которые сделали твои глаза, все кошки, которых ты видел, и дальше ссылочка и слово «кошка». И каждый раз, когда ты видишь кошку, ты испытываешь апофению. У тебя некий «clue»: ты пытаешься догадаться на основе всех кошек, которых ты видел, и ты намного лучше распознаёшь, когда ты видел большее количество кошек. Поэтому термин «апофения» так важен, когда мы говорим о нейросетях. Может, вы видели эти картинки с сильными искажениями, на которых предлагают найти собаку. И когда нейросеть находит, она испытывает апофению в связи с тем, что она увидела.

— У человека — гормоны, у нейросети — это что?

— Я подумаю на тему того, какую аналогию тут провести. Кто учит или кто является data-сетом — это приоритет в ответе или приоритет в том, какую нейросеть или искусственный интеллект мы получаем.

— Я слушал выступление Ильи Утехина, антрополога из Европейского университета в Санкт-Петербурге, и он говорил, что, когда мы общаемся с искусственным интеллектом, мы предъявляем к нему намного больше требований, чем к живому собеседнику: когда человек знает, что он общается с ботом, он хочет его каким-то образом испытать, а когда он знает, что перед ним живой человек, то мы ведём себя иначе. И что вообще учить искусственный интеллект общению на записях разговоров людей не очень эффективно сейчас: люди друг друга не слушают, они перебивают. Это к вопросу о пороках человеческих и как они передаются искусственному интеллекту: когда мы программируем чат-бота, мы закладываем туда гораздо большую степень участия, гораздо большую эмпатию, чем это требуется от живого человека. Ты можешь это как-то прокомментировать? Что перспективнее: создать собственный язык для общения с ними или же, наоборот, их подстроить под нас? И что может быть опаснее?

— Есть убеждение, что у искусственного интеллекта проблемы с пиаром. Потому что «вот бот, а я человек, я лучше». Мы хотим как-то проявить себя, задавать специально сложные вопросы. Думаю, никаких сомнений нет, что это процесс, который не подвержен остановке. Самое важное — это то, как страна (если мы возьмём повыше — масштаб планеты) решит регулировать себя, какие решит ввести правила по работе с искусственным интеллектом.

— Страна как страна и страна как корпорация?

— Да, конечно. И, естественно, под страной я не подразумеваю контур на карте. Это видится как набор мегагородов, специальные экономические зоны, которые объединены. Не в старом добром понятии — «страна». И когда эти точки принимают у себя решения насчёт того, как они работают с искусственным интеллектом, что они делают с распознанием лиц, имеют ли доступ сами жители либо доступ имеет только Большой брат. И от этого уже строится этика общения с искусственным интеллектом: он мой друг или тот самый недостижимый представитель власти — и я должен носить специальный стикер, который не даст распознать меня.

— Не означает ли это, что у нас есть разные расы искусственного интеллекта, разные национальности — и как они могут взаимодействовать между собой?

— Классный термин, но я не встречал его раньше. Без сомнений, да. Разница настолько же велика, насколько может отличаться язык или законодательство у страны, точно так же. Даже сам факт того, говорит страна о том, что они ведут разработку, или нет, уже является неким показателем.

Один из выпускных проектов, который мы делали в институте, заключался в исследовании, посвящённом будущему трансформированию планеты. Кто угодно понимает, что нам не хватит места, чтобы выращивать необходимый объём продукции. Половину из этого забирают животные, половину съедаем мы, и у нас не хватает места. Как сделать так, чтобы ваша тарелка была связана с тем, что мы выращиваем? Для этого была предложена система, в которой два искусственных интеллекта ведут диалог между собой. Один репрезентирует людей, которые являются заказчиком (я хочу это), а другой репрезентирует планету (что у меня есть, что я могу сейчас сделать, какое у меня есть пространство, что я могу сейчас предложить). И со скоростью миллионов коммуникаций в секунду они друг другу что-то предлагают и отвергают, чтобы достичь варианта, при котором один получит то, что ему нужно, а планета не сильно пострадает. Мы отказались от таких параметров, как «я хочу морковку», «я хочу морковность», «я хочу витаминность». Я хочу параметр или цвет какой-то в своей тарелке? И, если простыми словами рассказывать, как моя тарелка может быть архитектором пространства? Как только я что-то взял, это посадилось. И прямая связь между этими явлениями может быть достигнута диалогом двух искусственных интеллектов, которые знают всю картину целиком. Этот знает, как открылась форточка, есть у него свободная грядка или нет, он чувствует землю. А второй знает, что захотели люди.

— То есть, грубо говоря, я по понедельникам хочу есть яичницу с беконом и помидорами, и можно лично под меня и других таких людей выращивать, а под других, которым это не нужно, не выращивать. Вот в этом смысле?

— Да. Момент твоей трапезы должен быть сопряжён с моментом появления нового яйца.

Илон Маск довольно прямо и чётко несколько раз сказал, что основная опасность, которую многие игнорируют, — это искусственный интеллект. Что он имеет в виду — не совсем понятно. Либо это вмешательство в структуру общества, но это не очень страшно. Это было всегда. Технологии всегда приводят к изменению труда, характера труда и занятости. Это не страшно. А страшно — это когда искусственный интеллект становится третьей стороной в вооружённом конфликте. Что нас ждёт в этот момент — другой вопрос. Понятно, что это не сценарий «Терминатора» и не «Матрица». Мы уже можем фантазировать про гораздо более тонкие вещи.

Пример, который мне приходит в голову, — из книги Пелевина «Ананасная вода для прекрасной дамы», где были дроны, которые мало того что принимали решение «бомбить — не бомбить» самостоятельно, — был отдельный интеллект, который разрабатывал моральное оправдание этого насилия, и по поводу каждого нанесённого удара была большая этическая дискуссия, которая в итоге приводила к тому, что, безусловно, необходимо бомбить. Что нас ждёт в таком предполагаемом конфликте? Действительно ли можно привлечь этот искусственный интеллект? Да. Большое количество армий и разработок очевидно используют либо комбинированное принятие решений, при котором и человек, и искусственный интеллект, либо исключительно искусственный интеллект принимает решение даже о таких вещах, как «атаковать». Я так спокойно об этом говорю, потому что, хотя это беспрецедентно ужасно, но я не уверен, что это возможно как-то остановить. Ключевой момент, на что стоит обратить внимание, это такой термин как «dead man’s switch». Это хорошо переходит в связь с человеком, который несёт ответственность за то, что это произошло. Сейчас, когда дрон принял решение, что нужно атаковать, в большинстве стран вводится регулирование: они стараются, чтобы такого не происходило. Но всегда будет появляться страна, у которой это разрешено: мы можем это использовать. И пока будут идти диалоги, эта технология всё равно будет продолжать присутствовать в боевых конфликтах. Лично я так себе это представляю. Что является очень важным, так это «dead man’s switch». Это значит, что некий человек, который сидит за пультом, может не принимать никакого участия в управлении, но его рука лежит на переключателе. Этот переключатель даже, возможно, не может выключить дрон. Но это значит, что ты несёшь ответственность за то, что делает этот объект. Это очень важно, потому что, если двое разработчиков сделали алгоритм для тысячи дронов и эти тысячи дронов убили миллион человек, эти два разработчика не могут нести ответственность за это. Это недопустимо в нашем мире. Пока ещё. Для меня это очень важно.

Слушать другие подкасты Soundcloud

— То есть решение проблемы того, кто несёт ответственность: тот, кто изобретает, или тот, кто использует?

— Да. И, образно, почему я так спокойно говорю о том, что дрон может управляться субъектом, — потому что точно так же, как они могут спрятать неадекватность или неправоту искусственного интеллекта, точно так же на пресс-конференции может быть спрятана неадекватность и неправота человека относительного того, бросить бомбу или нет. Если чуть-чуть затронуть мирную тему, то, когда мы летим в самолёте, отчасти я могу назвать пилота «dead man’s switch». В большинстве случаев он не принимает управление в самолёте. Даже посадка на современных самолётах сейчас осуществляется автоматически. Это human object, который несёт ответственность, если что-то пойдёт не так.

— Класс. Это очень-очень круто. Я предлагаю рассмотреть три главных страха, связанных с нейросетями. Первый — так называемая проблема вагонетки, когда испытуемому предлагается решить, кого задавить, а кого спасти: на одном пути лежит один человек, а на соседнем несколько. Здесь возникает жуткое ощущение того, что человек, который программирует, играет в бога в этот момент и он должен предложить решение этой моральной дилеммы.

— Это, пожалуй, самый знаменитый вопрос, который задавался к системе, например, управления автомобилями. Когда едет автомобиль и нужно принять решение, кого мы будем сбивать. И на самом деле я не знаю, почему вопрос так долго висел, потому что ответ прям сразу понятен. Компания не может сказать покупателю: «Знаете, она вас может убить в 30 процентах случаев. Если будет выбор между вами и десятью детьми, то, к сожалению, она вас грохнет. В стену влупитесь и умрёте». Нет никакой дилеммы. Я буду спасать того, кто заплатил бабки за тачку. Чувак, это капиталистический мир.

— То есть это, по сути, рынок уже решил, а все моральные дилеммы есть только у людей, которые об этом задумываются, но не участвуют. У искусственного интеллекта нет дилеммы?

— В том репрезентативе на родине, откуда он, в головах нет дилеммы. Странная немного аналогия, зато поможет немного сориентироваться, что в мире-то происходит. Книжка называется «Капитал в XXI веке». Естественно, по аналогии с «Капиталом» девятнадцатого.

Томас Пикетти — автор. Книжка довольно большая, но я скажу одно предложение. Можно не читать её. «Доходность труда ниже доходности капитала». Точка. Всё. Окей. Вторая проблема, второй страх-фантазия — как и любой страх, он порождает огромное количество фантазий. И, собственно, то, с чего началось освоение темы искусственного интеллекта в массовой культуре, а именно — восстание. Когда у нас забастовка шахтёров, мусорщиков — это понятно. А восстание роботов-шахтёров или роботов-мусорщиков — это звучит уже очень страшно и жутко. И, по сути, все художественные сценарии этого — они все апокалиптичны.

— Почему так происходит? Это проблема пиара и восприятия нами искусственного интеллекта или она в чём-то другом?

— Я думаю, действительно, базовый получасовой урок о том, как это устроено, на YouTube хоть немного расширяет восприятие и смещает границу этого страха.

— Но тем не менее, например, Стивен Возняк в одном интервью сказал, что, возможно, искусственный интеллект достигнет точки сингулярности, когда он просто станет развиваться сам и уйдёт далеко вперёд человечества и будет относиться к нам, как к своим домашним животным. Моя собака никакой функции, по сути, не несёт. Мне просто приятно, что она есть. Я даю ей лучшее мясо, лучше, чем себе. Самым лучшим образом ухаживаю за ней. Насколько это так? Ведь люди к домашним животным относятся по-разному.

— Когда искусственный интеллект обыграл человека в шахматы (назовём этого человека — Гарри Каспаров), тот сказал: «Я создам новую лигу в шахматах: там будут играть человек и искусственный интеллект против человека и искусственного интеллекта». Это классно. Такое будущее мне представляется аккуратно встроенным в реальность того, до чего я хотел бы дойти.

— Почему искусственный интеллект так сильно связан с обманом? Почему те китайцы, которых ты описал, по сути тестируют, сможет ли человек распознать обман или встать в кружево из обмана.

— Смотря с какой стороны взглянуть. Искусственный интеллект ищет, где его обманули, где не кошка. Помнишь, говорили: «Это что, не кошка? Вы меня обманываете? Это не кошка? Нет, это кошка».

— То есть можно сказать, что это не обман, а ошибка? Поиск ошибки?

— Да, и так. Либо, наоборот, поиск верного ответа. Это всё бинарность классическая. Классно бы посмотреть и подумать над выходом из бинарности, когда вместо «я хочу либо великолепно, либо никак» мы имеем третий вариант. Почему не ответить «я ищу что-то новое»? Эта теория называется «медиум дизайн». Есть отличное короткое эссе на эту тему, написал Келлер Истерлинг. Оно как раз о поиске того, как человеку формировать собственное отношение к искусственному интеллекту не как к поисковику какому-нибудь, а к чему-то, что просто есть рядом.