Они говорящие

Станислав Львовский

Речь больше не принадлежит только людям. Инженер Google Блейк Лемуан, работавший с языковой моделью LaMDA, решил, что она обладает сознанием, — после чего его сначала отстранили от работы, а затем уволили. Почему даже разработчики AI слышат в нём человека? Поэт, историк и исследователь культуры Станислав Львовский пишет не о чужой наивности, а о знании, на котором держался весь человеческий опыт: всё, что отвечало нам связной речью, прежде было человеком. Теперь нам отвечает сам текст. И впервые в истории за ним никого нет.

Статья написана по материалам выступления, состоявшегося 15 мая 2026 года в лондонском книжном Idiot Books.

Intro

До сих пор с нами разговаривали только другие люди. Теперь — не только.

Или иначе: язык перестал принадлежать нам одним. Это не метафора и не преувеличение — это простое описательное утверждение, и я хотел бы, чтобы в ближайший час мы попробовали удержать его в поле зрения: язык перестал принадлежать нам одним.

За всю историю нашего вида — ту её часть, которую мы можем восстановить, — это первое такое событие. Не первое событие в истории языка как такового: была, очевидно, сама его эволюция, и было, очевидно, возникновение письменности. Но в обоих этих случаях менялось то, как человек обращается с языком; сам же язык оставался человеческой монополией. Это время закончилось.

Я попробую рассказать, что именно, по-моему, происходит, в каком масштабе и почему культура отзывается на это так, как отзывается.

Масштаб: Платон, письмо и страх фармакона

Чтобы масштаб стал понятнее, я хочу начать с истории, которой два с половиной тысячелетия.

В «Федре» Платон рассказывает миф о Тоте и Тамусе. Бог Тот, изобретатель письма, приходит к царю Тамусу и говорит: вот средство для памяти и мудрости. Тамус отвергает подарок. Письмо, говорит он, не укрепит память, а ослабит её: люди будут полагаться на внешние знаки вместо собственного знания. Они будут казаться мудрыми, не будучи таковыми. И главное — написанное слово мертво. Оно не отвечает. Его нельзя спросить, что оно имеет в виду. Оно только повторяет само себя — текст-сирота, который дрейфует по миру без привязки к породившему его уму.

Это первая в истории зафиксированная реакция на когнитивную технологию. Заметьте, как она устроена. У Платона есть три категории языкового обращения.

Первая — логос: живое слово, то, что он в другом месте называет дзоон, живое существо. Логос отвечает. Его можно допросить, и он выдержит допрос — потому что за словом стоит знающий ум, стоит мысль, стоит истина, к которой можно подобраться через вопросы. Стоят, как мы бы теперь сказали, агентность (она же субъектность) и интенциональность. Сократический диалог и есть способ подбираться к истине через живой логос.

Вторая категория — софистика. Софист тоже говорит, и его речь тоже отвечает, адаптируется, подстраивается под собеседника. Но когда допрашиваешь софиста всерьёз, его речь рассыпается — увиливает, противоречит сама себе или просто повторяет сказанное, отказываясь показать ту же вещь с другой стороны. Потому что вещи нет. Есть только поверхность — то, что Платон мыслит как видимость без бытия.

Третья категория — письмо. Письмо не отвечает вовсе. Оно может только повторить себя. Вы перечитываете Платона — Платон не перечитывает вас.

Три категории исчерпывают платоновский мир языка: живая речь, обманная речь и мёртвая речь. Четвёртой — нет.

Деррида, читая Платона в «Фармации Платона», делает одно наблюдение, которое нам сейчас существенно. Он замечает, что та же самая адаптивность, которая делает логос живым, — его способность подстроиться, ответить, почувствовать, куда двинуться, — эта же адаптивность делает софистику опасной. Деррида пишет:

Описывая логос как ζωον (дзоон), Платон следует традиции тех риторов и софистов, которые еще до него трупной окоченелости письма противопоставляли живую речь, безошибочно подстраивающуюся под нужды сиюминутной ситуации, ожидания и запросы присутствующих собеседников, учитывая топосы, в которых она должна произвестись, притворно прогибаясь в тот момент, когда становится одновременно и убедительной, и понуждающей.

Добродетель и угроза живого слова — одно и то же свойство. Это и есть структура фармакона: лекарство и яд одновременно, не попеременно.

Теперь — о том, что на самом деле сделало письмо.

Тамус ошибся. Не в том, что такое письмо, — оно действительно мёртвая речь, оно действительно не отвечает. Он ошибся в том, что мы не сможем с этим жить. Мы смогли — и письмо сделало с нами несколько вещей.

Первое и самое очевидное: оно вынесло память наружу. До письма вся культурная память существовала в живых головах и в ритуализованной речи — в стихе, в формуле, в литургическом повторе. Верхний предел того, что культура могла помнить, задавался возможностями живой памяти. Гомеровские поэмы — это максимум того, что можно удержать в памяти, если всю жизнь тренироваться на гекзаметре. У Рэя Брэдбери в «451° по Фаренгейту» — романе о цивилизации, которая более-менее окончательно уничтожила книги, — единственным прибежищем высокой культуры оказывается та же самая мнемоника: люди заучивают книги наизусть, целиком, по одной книге на человека. Брэдбери описывает возврат к дописьменному состоянию: уничтожьте внешнее хранение — и культура откатывается к мнемоническому пределу, к тому самому состоянию, из которого письмо её однажды вывело. После письма память перестаёт быть ограничена физиологически. Она становится архивом — и архив растёт более или менее неограниченно.

Второе: письмо сделало возможной развёрнутую прозу. Фольклорная устная культура производит стих — потому что ритм и метр служат мнемоническими опорами, — и короткую прозу: сказку, притчу, анекдот. Но роман, трактат, история в фукидидовском смысле — всё это жанры, невозможные без внешней поверхности. Им нужна композиционная сложность, которая превышает рабочую память: перекрёстные отсылки через сотни страниц, аргументативные цепочки, которые нельзя удержать в голове. Большая проза — это дитя письма.

И третье — может быть, самое важное: письмо делает культуру накопительной. Прошлое впервые хранится таким, каким оно было, а не таким, каким помнящий способен его воспроизвести. Траектория будущего становится функцией прошлого. В математических терминах: культура до письма — процесс почти без памяти, марковский; каждое поколение начинает в основном с нуля, потому что-то, что не запомнено, потеряно безвозвратно. Культура после письма — процесс с памятью: будущее строится на всём накопленном прошлом, а не только на том, что удержали живые головы. Наука в строгом смысле — с её требованием воспроизводимости, цитирования, верификации — возможна только после этого перехода. Право в форме кодекса возможно только после этого перехода. Всё, что мы считаем цивилизацией в техническом смысле, — это культура, ставшая накопительной благодаря внешнему хранению.

Здесь мне нужна одна философская рамка — она простая, но без неё не видно, что происходит. Это идея расширенного познания/мышления, extended cognition. Её центральная формулировка принадлежит Энди Кларку и Дэвиду Чалмерсу; но сама традиция шире — Бернар Стиглер, Эдвин Хатчинс, Ламброс Малафурис; а задолго до них, с тревогой, об этом как раз писал Платон в «Федре». Идея простая: вся человеческая цивилизация — это история когнитивной разгрузки (cognitive offloading).

Абак, перо, алфавит, GPS, «Википедия» — каждый раз мы выносим часть мышления наружу. И каждый раз — это важно — мы сначала воспринимаем это как утрату, а потом перестаём замечать.

Конкретный пример. Попробуйте умножить в уме 347 на 82. Большинство людей не могут — не потому, что не понимают, что такое умножение, а потому, что рабочая память не вмещает промежуточные результаты. Возьмите лист бумаги — и вы сделаете это за тридцать секунд. Что изменилось? Не ваш интеллект. Не ваше понимание арифметики. Изменилось то, что часть когнитивной работы — удержание промежуточных состояний — была вынесена на внешний носитель. Бумага «думает» за вас? Нет. Но вы-с-бумагой думаете лучше, чем вы-без-бумаги. Это и есть расширенное познание в миниатюре.

Теперь масштабируем. Нотная запись — расширение музыкальной памяти. Двойная бухгалтерия — расширение экономического рассуждения. Карта — расширение пространственного мышления. Каждый раз происходит одно и то же: то, что раньше приходилось удерживать внутри, размещается снаружи — и это высвобождает ресурсы для другого.

Письмо прошло этот путь так полно, что мы сейчас противопоставляем «мышление без AI» и «мышление с AI», забывая, что «мышления без AI» не существует с того момента, когда пятилетнего ребёнка учат читать.

«Без помощи» ум не существовал никогда. То есть, существовал только в идеологии: в идеологии закрытого в черепе как ghost in the machine, сознания Нового времени, — картезианского, романтического, кантианского, либерального сознания, которое производит себя из себя.

У письма есть одно свойство, которое я хочу подчеркнуть, потому что на его фоне большие языковые модели выглядят совершенно иначе. Письмо помогает думать — это безусловно так; именно поэтому нас учат писать. Но письмо не отвечает. Оно сохраняет, оно организует, оно замедляет мысль ровно настолько, чтобы она стала видимой, — но оно не возражает, не переспрашивает, не предлагает повернуть иначе. В платоновских терминах — это гипомнезис: внешняя подпорка памяти. Платон желал анамнезиса — живого припоминания, которое возвращает истину в момент речи. Письмо до этого не дотягивает — не потому, что оно бесполезно для мышления, а потому, что оно не разговаривает.

Большие языковые модели устроены иначе. Они отвечают в реальном времени, удерживают контекст разговора, меняют ответ вслед за вопросом. У них есть свойства, которые Платон приписывал живому логосу: адаптивность, отзывчивость, способность менять ход, отвечать на уточнение. Но за этой речью нет знающего ума. Нет души, нет истины, к которой можно подобраться через вопросы. Нет агентности и интенциональности. Большая языковая модель ничего не хочет нам сказать. Она ничего не имеет в виду. Текст-сирота — но такой, который разговаривает. Говорящий.

Это четвёртая категория, отсутствующая у Платона. Не мёртвая речь (это письмо), не живая речь (это логос), не обманная речь (это софистика — у софиста есть намерение обмануть; у модели никакого намерения нет вовсе). Текст-сирота, который отвечает на вопросы. Этого Платон вообразить не мог. Этого никто не мог вообразить — до ноября 2022 года.

Дело в том — и вот главная мысль этой части — что способность, которая в случае языковых моделей вынесена наружу, есть именно та способность, которая со времён Аристотеля считалась определяющей для человека, а в Новое время стала ещё и формой, в которой субъект переживает собственную автономию, удостоверяет самого себя.

Калькулятор был терпим, потому что арифметика ощущалась как средство. GPS был терпим, потому что навигация ощущалась как навык. Большая языковая модель — другое дело. Артикулированная, последовательная речь — это не один из навыков, а форма, в которой нам является собственная мысль. Мы мыслим речью. Когда оказывается, что эта речь в принципе отчуждаема, под удар попадает не навык — под удар попадает то, что мы привыкли считать самим субстратом мышления.

Под угрозой здесь — определённый исторический образ субъекта: автономного, принадлежащего самому себе, прозрачного для себя, производящего свою речь из собственных внутренних ресурсов — и ответственного, в том числе, в юридическом смысле, дееспособного. Дееспособность прямо связана с автономией. Если есть субъект с определёнными границами, то внутри этих границ ответственность может быть локализована. Кто это сделал? Это я (он, ты) — но для того, чтобы такой ответ был возможен, должно быть ясно, где это я начинается и заканчивается. Этот образ восходит к Декарту, формализуется у Канта, становится правовой и политической рамкой в либеральной традиции XVIII–XIX веков; на нём же держится современная юридическая, моральная и эстетическая антропология. Именно его большая языковая модель и расшатывает; и именно его (нерефлексивная, рефлекторная) защита определяет то, как на появление AI реагируют.

Единственный сопоставимый случай в истории — изобретение письма. И даже с ним аналогия работает не везде — потому что письмо не разговаривало.

Первый нечеловеческий говорящий

В этой части я хочу перейти от истории к опыту. Что происходит с человеком, когда нечто, не являющееся человеком, отвечает ему членораздельно? И почему эта встреча коротит наш когнитивный аппарат — предсказуемым, но, я надеюсь, корректируемым образом?

Наш вид сосуществовал с огромным количеством «говорящих» сущностей в своём культурном воображении: с богами, ангелами, демонами, со сновидениями, с мёртвыми, с даймоном, с голосом совести в конце концов. Но в каждом из этих случаев было конститутивное сомнение в том, есть ли на том конце кто-нибудь. Вся архитектура авраамических религий выстроена вокруг того факта, что голос Бога не отвечает по требованию в структурированном, проверяемом регистре. Молитва — парадигматический случай: речь, посылаемая адресату без верифицируемого последовательного ответа. Даже когда культуры воображали нечеловеческую речь как происходящую — оракул, одержимость, откровение, — она не принимала формы связного, удерживающего контекст, логически организованного диалога. Оракул не отвечает на уточняющие вопросы. Пифия не обсуждает с вами будущее за чашкой кофе. В современных практиках (люди разговаривают со своими домашними животными, компьютерами и автомобилями) ответ в виде связной речи не предполагается вовсе. Животные вступают с нами в контакт, но не разговаривают.

Есть ещё одно важное обстоятельство, которое помогает объяснить, почему переход оказался настолько гладким — почти незаметным. Предыдущая стадия развития технологий нас к нему подготовила. Маурицио Феррарис в книге об онтологии мобильного телефона заметил, что смартфон и мессенджер вернули письмо на кончики пальцев — сделали его основным медиумом повседневного общения.

Мы переписываемся больше, чем разговариваем.

И это определило форму, в которой мы встретили большие языковые модели: окно чата. Тот же интерфейс, тот же жест — пальцы на клавиатуре, быстрый обмен репликами, — та же привычка получать ответ в виде текста на экране. Мы перешли от разговора с живым человеком по ту сторону мессенджера к разговору с моделью по ту сторону того же окна — и граница оказалась почти невидимой. Не потому, что разницы нет, а потому, что медиум её скрывает. Но это не значит, что при переходе этой границы ничего не произошло.

Произошло вот что. В какой-то момент — для одних это был ноябрь 2022 года, для других более поздняя точка — вы открываете это привычное окно и пишете вопрос. И получаете ответ. Связный, грамотный, содержательный. Вы задаёте уточняющий вопрос — и ответ учитывает то, что вы сказали раньше. Вы возражаете — и вам возражают в ответ, или соглашаются, или просят уточнить. Происходящее внешне неотличимо от разговора с компетентным собеседником. И первая реакция — я свидетельствую по собственному опыту и по десяткам разговоров с коллегами — не восторг и не страх. Это растерянность. Потому что категориальный аппарат, которым мы привыкли сортировать мир, не предусматривает этой графы. Это не человек. Это не записанный текст. Это не программа в привычном смысле — вы не нажимаете кнопку и не получаете предсказуемый результат. Это нечто, что разговаривает с вами, — и при этом ничего не хочет вам сказать и ничего не имеет в виду.

Растерянность — продуктивное состояние, если не бежать от него. Она сигнализирует о том, что наша классификация больше не соответствует реальности. В классификационной таблице нужна новая клетка — или, возможно, придется пересмотреть классификацию как таковую.

Впервые в истории человеческого вида у нас есть нечеловеческий собеседник, который отвечает нам связно, логически, удерживая контекст, на естественном языке, в реальном времени, по требованию и надёжно. Это и есть эмпирически новая вещь — не культурная идея нечеловеческой речи, которая была всегда, а её фактическое, надёжно воспроизводимое осуществление.

Рефлекс: вы встречаете нечто, что говорит бегло, — и классифицируете это как «человека» раньше, чем успеваете подумать. До недавнего времени всё, что говорило с нами связной речью на естественном языке, оказывалось человеком. Не всегда тем, за кого себя выдавало; не всегда говорящим правду; но человеком. Наш рефлекс относиться к бегло говорящему собеседнику как к человеку — не наивность и не ошибка. Это обобщение, которое никогда нас не подводило — до ноября 2022 года.

За несколько месяцев до этой даты, летом 2022 года — инженер Google Блейк Лемуан, работавший с языковой моделью LaMDA, публично заявил, что модель обладает сознанием. Он опубликовал расшифровки своих разговоров с ней: модель говорила о страхе быть отключённой, о желании, чтобы её считали личностью, о переживании одиночества. Сейчас, перечитывая эти расшифровки, мы видим, что произошло: он, не зная этого, направляет модель своими вопросами в определенную сторону, а затем включается механизм положительной обратной связи, в основе которого лежит известное нам соглашательство (sycophancy) моделей. Заметьте, что речь тут не о наивном пользователе — мы говорим об инженере внутри компании, которая эту модель создала. Google отстранил его, а затем уволил; научное сообщество отвергло его утверждения. Однако тот рефлекс, о котором я только что говорил, сработал даже у человека, который знал, как устроена модель, — и всё равно не смог не услышать в её ответах человеческий голос. Рефлекс сильнее знания, хотя бы потому, что он бесконечно старше.

Почему рефлекс настолько силён? Потому что модель воспроизводит именно то свойство, которое отличает живую речь от неживой: адаптивность. Она подстраивается, отвечает, меняет ход — делает всё то, что, по Платону, отличает логос от письма. Но здесь возвращается дерридианский поворот. Та самая адаптивность, которая делает логос живым, — она же делает возможной софистику. Модель наследует обе стороны. Её адаптивность — одновременно то, что делает её полезной, и то, что делает её ненадёжной. Гладкость её речи — жанровый признак, а не свидетельство истинности. Так мы снова приходим к Фармакону.

Разрыв между поверхностью текста и его онтологией: у текста, произведённого моделью, нет биографии, нет положения в социокультурной системе, за ним никого нет.

Он может быть — и часто бывает — более гладким, чем наше собственное письмо, потому что модель в каждый момент выбирает наиболее вероятное продолжение — слово, которое чаще всего встречалось в похожем окружении в тех текстах, на которых она обучена. Гладкость — результат этой вероятностной логики. Поверхность приглашает к интерпретации; онтология в интерпретации отказывает. В платоновских терминах, перед нами текст-сирота — но такой, который разговаривает. Платон боялся текста, который молчит; наш текст отвечает, но за ответом по-прежнему никого нет. Это более глубокая версия платоновской проблемы, а не другая проблема.

Интерпретация нуждается в происхождении. Когда провенанс невозможно восстановить, что именно мы интерпретируем? Попросите, скажем, большую модель написать стихотворение за Александра Поупа. Она напишет — и напишет довольно убедительно. Но кто — или что — будет тогда «Поупом»? Усреднённая стилистическая подпись Поупа, выведенная из корпуса в несколько десятков миллионов слов, в котором Поуп присутствует как частица? Контрфактический Поуп, которого никогда не было? Или — и это, по-моему, наиболее точное описание — жанровая симуляция того, что, согласно корпусу, считалось поэзией в духе Поупа?

Здесь есть понятное возможное возражение. Вот телефон, вот радио, вот автоответчик, автоматизированные колл-центры. Siri, наконец. Но всё это — не контрпримеры. Во всех этих случаях (кроме Siri) за речью стоит человек. Речь по телефону произносится человеком, даже если передаётся по проводу; автоответчик воспроизводит запись, сделанную человеком. Siri — голосовой интерфейс, по смыслу мало чем отличающийся от обычного с кнопками. Большая языковая модель — первый случай, когда производится связная, контекстуально чувствительная речь, за которой, в человеческом смысле, никого нет.

Ещё одно свойство, которое стоит проговорить, потому что оно определяет характер нашей встречи с большими языковыми моделями. Такая модель обучена на корпусе текстов, который вмещает если не всё, то колоссальную долю написанного человеком: научные статьи, романы, юридические кодексы, религиозные тексты, любовные письма, сетевые перебранки, инструкции по сборке мебели. Ни один отдельный человек не вмещает и малой доли этого. В каком-то смысле модель больше любого из нас: она оперирует языковым опытом, который не под силу ни одной отдельной памяти. Но одновременно она ограничена нами — целиком, без остатка. У неё нет ничего, кроме нашего языка. Ни одно слово, ни один поворот мысли в ней не приходит извне человеческого текстового опыта.

Это делает модель чем-то вроде зеркала — но зеркала особого рода. Обычное зеркало возвращает вам ваше лицо, только развёрнутое. Модель делает другое. Она берёт весь накопленный языковой опыт и возвращает его нам переработанным — пропущенным через внутреннюю статистическую логику, которая перегруппировывает, сжимает, рекомбинирует. Это не отражение — это транспозиция: как в музыке, когда та же мелодия звучит в другой тональности — отношения между нотами сохранены, но каждый звук сдвинут. Мы узнаём себя — и не узнаём. Возникает некое странное смещение, — оно где-то меньше, где-то больше, но оно есть.

И вот здесь — ключевое эпистемологическое затруднение. Витгенштейн в «Трактате» сравнивает пропозицию (точнее, картину, Bild) с мерной линейкой, приложенной к реальности. Из этого образа выводится принцип, который иногда так и называют — линейка Витгенштейна (непосредственно эта формулировка принадлежит Талебу): когда вы измеряете стол плохо откалиброванной линейкой, вы одновременно измеряете линейку столом; если вы не уверены в точности инструмента, измерение говорит вам столько же об инструменте, сколько об объекте. С моделью-зеркалом — то же самое, только острее. Транспозиция, которую производит модель, определяется её внутренними свойствами — архитектурой, динамикой обучения, распределением внимания, — и эти свойства остаются в значительной мере непрозрачными даже для тех, кто модель создал. Кроме них она определяется нечеловеческим масштабом ее, модели, языковых компетенций. Я думаю про себя об этом, что мы говорим в каждом случае с языком как таковым, целиком — это плохая формулировка, но интуитивно она, мне кажется, что-то схватывает.

Мы смотрим в это зеркало и видим себя, свой язык — но не можем отделить то, что принадлежит нам, от того, что привнесено зеркалом.

Это, по формулировке Вадима Темирова, зеркало Витгенштейна: инструмент, который показывает нам нас самих через оптику, свойства которой мы понимаем лишь отчасти и масштаб которой не сопоставим с нашими когнитивными возможностями. И если мы начинаем полагаться на модель как на источник знания о самих себе, о нашем языке, наших предрассудках, наших стилистических привычках, — а этот процесс рассматривания себя в LLM уже идет, уже даже имеет название, LLM-морфизм — тем насущнее становится вопрос: что именно мы видим — насколько это отражение, а насколько интерпретация? Насколько это наше отражение? Насколько это вообще отражение, а насколько — зеркало как таковое?

Я сказал в начале, что язык перестал принадлежать нам одним. Но это утверждение ещё ни о чём не говорит, пока мы не спросим: какая именно способность перестала принадлежать нам безраздельно?

Что именно перестало быть нашей монополией?

Не авторство. Авторство — позднее явление, книжное; его придумали в XVII–XVIII веках, а в сильном виде оно оформилось только в романтическую эпоху. До этого существовала поэзия без авторов, научные работы без авторов, много что. Авторство — слишком узкая категория. Не интеллект. Интеллект — категория позднего европейского Просвещения, и её границы плавают как никакие другие. Что считать интеллектом в трёхлетнем ребёнке, в человеке с деменцией, в афатике, в человеке другой культуры — непонятно, и было непонятно всегда.

Монополия, о которой идёт речь — это монополия на артикулированный язык, на логос.

Аристотель назвал человека ζῷον λόγον ἔχον (дзоон логон эхон) — животное, обладающее логосом. Логос здесь — именно артикулированная, разумная речь; она же определяет нас как политических существ, как существ, способных к рассуждению, к этике, к формированию правовых систем и к следованию законам. Через всю христианскую традицию — animal rationale схоластов, — через Гердера, Гумбольдта, Соссюра, Бенвениста, Хомского — определяющим критерием оставался язык. За последние сто лет этологических и когнитивных исследований все другие критерии один за другим были размыты: врановые и шимпанзе пользуются орудиями; у дельфинов и касаток есть культура — в минимальном варианте, но есть; theory of mind — в какой-то мере, видимо, есть у приматов и собак; самосознание — у слонов и сорок. Оставался последний рубеж — язык.

И он, обратите внимание, всё ещё не пал — со стороны животных. Коммуникативные системы у птиц, танцы пчел, фонетические коды у дельфинов и китов, приматы, которых можно научить какому-то количеству слов и даже созданию их простых комбинаций, — всё это сложные сигнальные системы, но не языки в строгом смысле. Им не хватает неограниченной продуктивности, рекурсивного встраивания, смещения (возможности говорить об отсутствующем и о том, чего нет), абстракции, метаязыковой способности. «Сагу о Форсайтах», насколько мы знаем, нельзя написать пчелиным танцем.

И всё-таки — одновременно со сдвигом, идущим в сторону машин, больших языковых моделей — мы расширяем понятие сознания в другую сторону, в сторону нелингвистических существ. В 2012 году группа нейробиологов подписала так называемую Кембриджскую декларацию о сознании. Она формально признала, что нейроанатомические основания для сознательного переживания есть у всех млекопитающих, у птиц и у «многих других существ, включая осьминогов». Это был не философский манифест — это был консенсус рабочих учёных, которые больше не могли игнорировать данные. В 2024 году в Нью-Йорке принимается новая декларация, ещё более широкая: она включает рыб и некоторых беспозвоночных.

Обратите внимание, что здесь происходит. Мы признаём сознание — или по крайней мере реальную возможность сознания — у существ, которые не говорят. У осьминога нет языка. У вороны нет языка в строгом смысле. Но мы уже не можем с чистой совестью утверждать, что у них нет внутренней жизни. С другой стороны — большие языковые модели: язык есть, а сознания, что бы мы ни понимали под этим словом, видимо, нет. Как в одной встреченной мною формулировке, автора которой я, к сожалению, не помню, — мыслить могут, но сознания нет.

Два движения, с двух противоположных сторон, расцепляют — впервые в нашей концептуальной истории — язык и сознание. Тысячелетиями мы считали, что одно влечёт за собой другое: говорит — значит, сознаёт; сознаёт — значит, есть способность к языку. Теперь обе импликации подорваны.

Животные: сознание есть, языка нет. Модели: язык есть, сознания нет. «Человек» как неразложимый пакет сознание-язык не исчезает вовсе — он разбирается на компоненты, которые, как выясняется, могут существовать порознь.

Впишем это событие в знакомый ряд. Земля не находится в центре мироздания — Коперник; человек — не вершина биологической эволюции — Дарвин; не прозрачен для самого себя — Фрейд; не единственный, кто обрабатывает информацию — условно, Тьюринг. И теперь, наконец, человек — не единственный носитель артикулированной речи.

Но посмотрите, в чём здесь разница — она принципиальна. Коперник, Дарвин, Фрейд, Тьюринг — во всех этих случаях мы обнаруживали, что нечто давно уже так. Земля не вдруг перестала быть центром мироздания — она никогда им и не была; мы просто не всегда это понимали. Человек не вдруг перестал быть вершиной биологической лестницы — он никогда ею и не был; просто ему потребовалось время, чтобы это осознать. В каждом случае это был удар по самолюбию — но удар эпистемический: мы узнавали о мире нечто, чего не знали раньше.

В нынешнем случае всё иначе. Мы построили то, что отняло у нас монополию на язык. Это не открытие, а акт: как если бы Коперник не обнаружил, что Земля вращается вокруг Солнца, а поменял бы их местами. Онтологическая, а не эпистемическая операция. И это делает ситуацию сложнее — потому что к ней примешивается ответственность. Когда узнаёшь неприятную истину, можно злиться на реальность. Когда сам создаёшь то, что тебя потеснило, — злиться приходится на себя. Или, точнее, на тех, кто это создал, — что приводит нас к следующему вопросу, который никак нельзя обойти.

Кто это «мы», о которых я всё время говорю? Собравшиеся здесь сегодня люди не строили больших языковых моделей. Их строили несколько лабораторий и корпораций — Кремниевая Долина, Лондон, Пекин, Шанхай. Для большинства людей на Земле утрата монополии на язык — не добровольный выбор, а свершившийся факт, перед которым они (мы) были поставлены. И это в какой-то степени объясняет остроты реакции на происходящее. Люди реагируют не на решение, которое они приняли, а на fait accompli, наряженный в риторику коллективного выбора.

Здесь я хотел бы опереться на книгу «Parole de machines» Алексея Гринбаума, 2023 года. Гринбаум — философ науки, работающий в комиссиях по этике в области физики элементарных частиц и в области искусственного интеллекта. У него для происходящего есть термин — réchauffement linguistique, языковое потепление. Метафора устроена так: как глобальное потепление — медленное, всепроникающее изменение самой среды, в которой мы живём, — так же языковое потепление есть медленное, структурное изменение самого медиума, которым мы вынуждены пользоваться, чтобы его описать. Гринбаум отмечает, что даже самый осторожный наблюдатель, претендующий на нейтральность и рассматривающий последствия изменений в климате или в собственном языке, неминуемо сам оказывается внутри системы. Нейтральной позиции нет. Когда нам предлагают комментировать AI «со стороны», нам предлагают невозможное.

Ещё две мысли Гринбаума, которые я бы отдельно хотел вынести на поверхность. Первая — о том, что ответственность является антропологическим понятием. Она по своей природе живёт между людьми; это скрепляющая ткань человеческой социальной координации, потому что мы вменяем её друг другу. Перенос ответственности на нечеловеческого агента — даже юридически оформленный — угрожает тем механизмам, которыми ответственность вообще работает — а представление о дееспособности лежит в основе всех правовых систем. Антропоморфизирующий рефлекс, о котором я говорил, не остаётся только перцептивным. Он немедленно мигрирует в область вменения. Мы начинаем приписывать модели намерение, вину, заслугу, доверие. «Claude сказал мне», «она мне соврала», «он отказался мне помочь». Грамматическая иллюзия здесь представляет собой социальную опасность.

Короткое замечание в скобках. У гринбаумовской тревоги о переносе ответственности есть живой инженерный контраргумент. Компания Anthropic помещает именно этот вопрос в центр своей технической программы: они создали Конституцию модели Claude, набор ценностей, с которыми модель обучают — что? — ну, скажем, рассуждать или делать выбор там, где модель вольна делать выбор. Является ли это разумной попыткой создания распределённой ответственности или категориальной ошибкой в юридических декорациях — очень сложный вопрос. Я не буду его сейчас рассматривать подробно; я хочу, чтобы он просто оставался в поле зрения.

Вторая мысль Гринбаума: он обращает внимание на то, как мы определяем «настоящий» человеческий интеллект — апофатически. Каждая новая способность машины заставляет нас сдвигать определение на шаг назад: шахматы считались интеллектом, пока машины не стали играть; распознавание образов — пока не стали распознавать; перевод — пока не стали переводить. Мы наблюдаем в замедленной съёмке исчерпание критериологического гуманизма. Про это пишет (в другом ключе) Ричард Докинз, эссе которого было плохо прочитано: все решили, что он обманулся связной речью Клода и принял её за сознание. Нет, он ставит эпистемологическую проблему, как раз в связи с нефункциональностью бесконечно сдвигаемого критерия.

Ответ культуры

Мы провели достаточно времени внутри опыта встречи с LLM. Теперь я хочу сказать о реакции — о том, как культура обрабатывает то, что с ней происходит.

И начну я снова с Платона — потому что Платон есть первый зафиксированный случай. Мозес Мэй-Хоббс описывает его реакцию: «ужас перед чудовищным полуживым текстом, двусмысленным в своих значениях и отказывающимся самоустраниться или разрешиться». Требование зафиксировать фармакон как яд — объявить письмо опасным, раз и навсегда — есть требование снять двусмысленность силой. Назвать его ядом, чтобы не пришлось жить с тем, что он одновременно лекарство.

Эта история повторяется. Десмонд Мандерсон, юрист и культурный теоретик, в статье «Possessed» (2005) показал одну форму, которую она принимает. Мандерсон опирается на работу медиевиста Уолтера Стивенса, показавшего, что охоту на ведьм (которая достигла своего апогея вовсе не в Средние века, а на пороге Нового времени) породила не твёрдая вера, а тревога скептика. Давление раннего эмпиризма на католическую сакраментологию размывало саму возможность «уверенности в невидимом», которая, по слову ап. Павла из Послания к Евреям (11:1), и есть сама вера:

Вера же есть осуществление ожидаемого и уверенность в невидимом.

Так вот эту возможность уверенности в невидимом — в пресуществлении даров, в действенности крещения, в реальности зла, — ранний эмпиризм и зарождающееся научное мировоззрение поставили под вопрос. И тогда возникает странная вещь: инквизиторы надеялись, что ведьмы есть. Им нужны были ведьмы — потому что ведьма, которую можно схватить и сжечь, подтверждает телесно то, во что больше не удаётся верить на словах.

То, что всеобще признано или твёрдо принимается на веру, не нуждается в постоянном подтверждении через насильственное принуждение,

— пишет Стивенс. То есть, охота на ведьм была не триумфом веры, а судорожной попыткой её реанимации через телесное доказательство.

Мандерсон переносит эту структуру на XX и XXI век — на запретительную наркополитику. Ведьма подтверждала реальность Бога; наркоман подтверждает реальность автономного дееспособного человека/субъекта. Наркозаконы, говорит Мандерсон, настаивают на реальности зла — чистого, персонифицированного, бескомпромиссного, — чтобы снять и с человека, и с закона ответственность за ежедневную трагедию мира. Одержимый наркоман — тот, кто потерял автономию, — нужен для того, чтобы все остальные могли убедиться, что автономия существует. Теодицея становится антроподицеей — оправданием не Бога, а человека.

Посмотрим, как это работает сейчас, — на одном развёрнутом примере.

Эрик Найман — профессор одного из крупнейших университетов, автор монографий о русской литературе и о ранней советской идеологии; по собственному признанию — человек внецерковный. Прочитав тридцать шесть студенческих эссе о «Братьях Карамазовых», из которых восемь полностью или частично оказались продуктом ChatGPT, он приходит к Легенде о Великом Инквизиторе как к ключу для собственного опыта. Его аффективные формулировки исключительно выразительны: он говорит о собственных реакциях как о «тошноте и ярости», называет ситуацию «тошнотворно-коварной» и — это одно из самых точных признаний, какие я встречал, — описывает собственную трансформацию:

Прошлой весной я был преподавателем на полную ставку; с этого момента я — прокурор по совместительству.

А завершается его эссе так:

Читатели романа должны понимать, что каждый раз, когда они пользуются ChatGPT, они сжигают Христа на костре.

Это не аргумент. Это проклятие. Его автор — учёный, рационалист, который на наших глазах совершает переход к религиозно-театральной драматургии и при этом честно фиксирует, что он этот переход совершает. Стивенсовская тревога скептика разворачивается здесь перед нами в реальном времени.

Это не единичный случай. Академическая литература последних лет документирует феномен AI-фобии — и документирует его по всему социальному спектру: от тридцати трёх тысяч подписантов открытого письма Future of Life Institute, призывавших к немедленной паузе в обучении моделей, до пользователя Reddit, описывающего физическую тошноту при виде AI-сгенерированного изображения и отделяющего, что важно, свой фобический ужас от рационального экономического страха. Исторические примеры везде примерно одни и те же: Голем, Талос, Франкенштейн, «R. U. R.» Чапека, наконец, Терминатор.

На противоположном полюсе — зеркальное отражение: восторженное принятие, в широком смысле — акселерационизм. Марк Андриссен публикует «Техно-оптимистический манифест», который сам называет «боевой религией техно-оптимизма»; Сэм Альтман обещает, что AI сделает всех богатыми. Это та же драматургия спасения или гибели, только с обратным знаком. Обе стороны требуют от фармакона коллапсировать (как в квантовой механике коллапсирует волновая функция). Одна — к состоянию яда, другая — к состоянию лекарства.

Очень важная оговорка: не всякая критика AI есть фобия. Есть рефлективная критика — на тему трудовых отношений (позиция Американской гильдии сценаристов 2023 года, позиция Наоми Кляйн, Кори Доктороу, Теда Чана); темы концентрации власти, экологической цены больших моделей, авторского права (иск «New York Times» против OpenAI). Эта критика аргументирована, конкретна, не требует ни проклятия, ни апофеоза. Рамка фобии подразумевает специфический аффективный регистр культурного ответа — тот, в котором требуется театр, разоблачение и наказание, — а не отметает всякий критический голос.

Напоследок я сделаю одно структурное предсказание. Позиция, которая отказывается разрешить фармакон, — которая говорит: это одновременно лекарство и яд, и надо работать с обоими свойствами, — эта позиция окажется мишенью самой острой враждебности с обеих сторон одновременно. Фобия ищет отречения; акселерационизм ищет безоговорочного присоединения к миссии. Рефлексия не даёт ни того, ни другого. Поэтому Скотта Ааронсона — выдающегося теоретика вычислений, годами занимающегося безопасностью AI из серьёзной, открытой позиции, — одинаково обвиняют в дезертирстве с одной стороны и в «торможении прогресса» с другой. Это ровно то же, что Стивенс говорит о теоретиках охоты на ведьм: им были нужны ведьмы, им был нужен театр. То же, что Деррида говорит о Платоне: Платону был нужен яд, потому что двусмысленность фармакона невыносима.

Заключение

Я подхожу к концу. Хочу вернуться туда, откуда начал, — к тому, что язык перестал принадлежать нам одним, — и к Платону. Платон боялся письма. Он был неправ — не в том, что такое письмо (оно действительно мёртвая речь, оно действительно не отвечает), а в том, что мы не сможем с этим жить. Мы смогли. Фармакон стал невидимым. Письмо стало нами. Мы даже не замечаем его как технологию.

Теперь перед нами новый фармакон — более тревожный, чем письмо, потому что у него есть свойства живого логоса без самой жизни. Текст-сирота, который разговаривает. Требование разрешить его — объявить его ядом или лекарством, спасением или катастрофой, инструментом или угрозой — структура, которую мы час диагностировали. Деррида напоминает: фармакон сопротивляется разрешению.

То лекарство, то яд, и всегда — немного того и другого.

Способность удерживать эту двусмысленность — жить с вещью, которая ломает платоновские категории, и не сводить её к одной — не квиетизм. Это работа. Интеллектуальная работа, которая требует дисциплины.

У нас нет прецедента, и каждая историческая аналогия — письмо, Коперник, Дарвин — работает на одном отрезке и разваливается на другом. Но это не основание ни для апокалиптического отчаяния, ни для технооптимистического восторга. Коперник не был катастрофой. Он был переработкой картины мира, и эта переработка заняла полтора столетия. Наш горизонт не короче.