They are talking

Stanislav Lvovsky

Speech no longer belongs only to people. Google engineer Blake Lemoine, who worked with the LaMDA language model, decided that it was conscious - after which he was first suspended and then fired. Why do even AI developers hear a person in him? The poet, historian and cultural researcher Stanislav Lvovsky writes not about the naivety of others, but about the knowledge on which all human experience rested: everything that answered us with coherent speech was previously human. Now the text itself answers us. And for the first time in history, there is no one behind him.

The article was written based on a speech that took place on May 15, 2026 at Idiot Books in London.

Intro

Until now, only other people have spoken to us. Now - not only.

Or in other words: language ceased to belong to us alone. This is not a metaphor or an exaggeration - it is a simple descriptive statement, and I would like us to try to keep it in mind in the next hour: language is no longer ours alone.

In the entire history of our species - that part of it that we can reconstruct - this is the first such event. Not the first event in the history of language as such: there was, obviously, its very evolution, and there was, obviously, the emergence of writing. But in both of these cases, the way a person uses language changed; language itself remained a human monopoly. This time is over.

I will try to tell you what exactly I think is happening, on what scale, and why culture is responding to it the way it is.

Scale: Plato, Letter and Pharmakon's Fear

To make the scale clearer, I want to start with a story that goes back two and a half millennia.

In the Phaedrus, Plato tells the myth of Thoth and Thamus. God Thoth, the inventor of writing, comes to King Thamus and says: here is a means for memory and wisdom. Thamus rejects the gift. Writing, he says, will not strengthen memory, but weaken it: people will rely on external signs instead of their own knowledge. They will appear wise without being so. And most importantly, the written word is dead. It doesn't answer. It cannot be asked what it means. It only repeats itself - an orphan text that drifts through the world without reference to the mind that gave birth to it.

This is the first recorded reaction to cognitive technology in history. Notice how it's structured. Plato has three categories of linguistic address.

The first is logos : the living word , what he elsewhere calls zoon , a living being. Logos answers. He can be interrogated, and he will withstand interrogation - because behind the word there is a knowing mind, there is a thought, there is a truth that can be approached through questions. There are, as we would now say, agency (aka subjectivity) and intentionality. Socratic dialogue is a way to approach truth through living logos.

The second category is sophistry. The sophist also speaks, and his speech also responds, adapts, adapts to the interlocutor. But when you seriously interrogate a sophist, his speech falls apart - he evades, contradicts himself, or simply repeats what he has said, refusing to show the same thing from the other side. Because there is no thing. There is only a surface - what Plato thinks of as appearance without being.

The third category is writing. The letter is not answered at all. It can only repeat itself. You reread Plato - Plato does not reread you.

Three categories exhaust the Platonic world of language: living speech, deceptive speech and dead speech. The fourth one is not.

Derrida, reading Plato in Plato's Pharmacy , makes one observation that is significant for us now. He notes that the same adaptability that makes logos alive - its ability to adapt, respond, feel where to move - this same adaptability makes sophistry dangerous . Derrida writes:

Describing logos as ζωον (zoon), Plato follows the tradition of those rhetoricians and sophists who, even before him, contrasted the rigor of writing with living speech, unerringly adapting to the needs of the momentary situation, the expectations and requests of the interlocutors present, taking into account the topoi in which it must be produced, feigning bending at the moment when it becomes both convincing and compelling .

The virtue and threat of the living word are one and the same property. This is the structure of the pharmakon : medicine and poison at the same time, not alternately.

Now let's talk about what the letter actually did.

Thamus was wrong. It’s not what writing is—it’s really dead speech, it really doesn’t respond. He was wrong that we couldn't live with it. We did - and writing did several things to us.

First and most obvious: it brought the memory out. Before writing, all cultural memory existed in living heads and in ritualized speech - in verse, in a formula, in liturgical repetition. The upper limit of what a culture could remember was set by the capabilities of living memory. Homer's poems are the maximum that can be retained in memory if you spend your whole life practicing hexameter. In Ray Bradbury's Fahrenheit 451, a novel about a civilization that has more or less completely destroyed books, the only refuge of high culture turns out to be the same mnemonic: people memorize books, in their entirety, one book per person. Bradbury describes a return to a preliterate state: destroy external storage, and culture rolls back to the mnemonic limit, to the very state from which writing once brought it. After writing, memory ceases to be physiologically limited. It becomes an archive - and the archive grows more or less unlimitedly.

Second, writing made extended prose possible. Folklore oral culture produces verse - because rhythm and meter serve as mnemonic supports - and short prose: a fairy tale, a parable, an anecdote. But the novel, treatise, history in the Thucydides sense are all genres that are impossible without an external surface. They need compositional complexity that exceeds working memory: cross-references across hundreds of pages, argumentative chains that cannot be kept in mind. Great prose is the child of writing.

And third, perhaps most important: writing makes culture cumulative. The past is first stored as it was, and not as the rememberer is able to reproduce it. The trajectory of the future becomes a function of the past. In mathematical terms: culture before writing is an almost memoryless, Markovian process; every generation basically starts from scratch, because something that is not remembered is lost forever. Culture after writing is a process with memory: the future is built on the entire accumulated past, and not just on what living heads have retained. Science in the strict sense - with its requirement of reproducibility, citation, verification - is possible only after this transition. Law in the form of a code is possible only after this transition. All that we consider civilization in the technical sense is culture that has become cumulative through external storage.

Here I need one philosophical framework - it is simple, but without it it is not clear what is happening. This is the idea of ​​extended cognition/thinking, extended cognition . Its central formulation is due to Andy Clarke and David Chalmers ; but the tradition itself is broader - Bernard Stiegler, Edwin Hutchins , Lambros Malafouris ; and long before them, with alarm, Plato wrote about this in Phaedrus. The idea is simple: the entire human civilization is a history of cognitive offloading.

Abacus, pen, alphabet, GPS, Wikipedia - every time we take part of our thinking outside. And every time - this is important - we first perceive it as a loss, and then we stop noticing.

A specific example. Try multiplying 347 by 82 in your head. Most people can't, not because they don't understand what multiplication is, but because their working memory can't accommodate intermediate results. Take a piece of paper and you can do it in thirty seconds. What has changed? Not your intellect. Not your understanding of arithmetic. What has changed is that part of the cognitive work—the retention of intermediate states—has been transferred to an external medium. Does the paper “think” for you? No. But you-with-paper think better than you-without-paper. This is expanded cognition in miniature.

Now let's scale. Music notation is an expansion of musical memory. Double-entry bookkeeping is an extension of economic reasoning. A map is an extension of spatial thinking. Each time the same thing happens: what previously had to be kept inside is placed outside - and this frees up resources for something else.

Writing has traveled this path so completely that we now contrast “thinking without AI” and “thinking with AI,” forgetting that “thinking without AI” does not exist from the moment a five-year-old child is taught to read.

The mind never existed “without help.” That is, it existed only in ideology: in the ideology of the consciousness of the New Age, closed in the skull like a ghost in the machine, - Cartesian, romantic, Kantian, liberal consciousness, which produces itself from itself.

There is one thing about writing that I want to emphasize, because it makes large language patterns look completely different. Writing helps you think - this is certainly true; that's why we are taught to write. But the letter is not answered. It preserves, it organizes, it slows down thought just enough so that it becomes visible - but it does not object, does not ask again, does not suggest a different turn. In Platonic terms, this is hypomnesis : an external support for memory. Plato wanted anamnesis - living recollection, which returns the truth at the moment of speech. Writing falls short of this, not because it is useless for thinking, but because it does not speak .

Large language models work differently. They respond in real time, maintain the context of the conversation, and change the answer following the question. They have the properties that Plato attributed to the living logos : adaptability, responsiveness, the ability to change course, respond to clarification. But behind this speech there is no knowing mind. There is no soul, no truth that can be approached through questions. There is no agency and intentionality. The big language model doesn't want to tell us anything. She doesn't mean anything by it. An orphan text - but one that talks . Speaking.

This is the fourth category absent from Plato. Not dead speech (this is a letter), not living speech (this is logos), not deceptive speech (this is sophistry - the sophist has the intention to deceive; the model has no intention at all). An orphan text that answers questions . Plato could not imagine this. This is something no one could have imagined - until November 2022.

The point is - and this is the main idea of ​​this part - that the ability, which in the case of language models is brought out, is precisely the ability that since the time of Aristotle has been considered decisive for a person, and in modern times it has also become the form in which the subject experiences his own autonomy, authenticates himself.

The calculator was tolerable because arithmetic felt like a tool. GPS was tolerable because navigation felt like a skill. A large language model is another matter. Articulated, consistent speech is not one of the skills, but the form in which our own thoughts appear to us. We think in speech. When it turns out that this speech is, in principle, alienable, it is not the skill that comes under attack—it is what we are accustomed to consider the very substrate of thinking that comes under attack.

What is under threat here is a certain historical image of the subject: autonomous, belonging to himself, transparent to himself, producing his speech from his own internal resources - and responsible, including, in the legal sense, capable. Capacity is directly related to autonomy. If there is a subject with certain boundaries, then within these boundaries responsibility can be localized. Who did it? It's me (he, you) - but for such an answer to be possible, it must be clear where this I begins and ends. This image goes back to Descartes, is formalized by Kant, and becomes a legal and political framework in the liberal tradition of the 18th–19th centuries; modern legal, moral and aesthetic anthropology rests on it. It is his larger language model that is being shaken; and it is precisely its (non-reflective, reflexive) defense that determines how the emergence of AI is reacted to.

The only comparable case in history is the invention of writing. And even with him the analogy does not work everywhere - because the letter did not speak.

First non-human speaker

In this part I want to move from history to experience. What happens to a person when something that is not a person responds to him in an articulate manner? And why does this meeting shorten our cognitive apparatus - in a predictable, but, I hope, correctable way?

Our species coexisted with a huge number of “speaking” entities in our cultural imagination: with gods, angels, demons, with dreams, with the dead, with daimons, with the voice of conscience in the end. But in each of these cases there was a constitutive doubt as to whether there was anyone on the other end. The entire architecture of the Abrahamic religions is built around the fact that the voice of God does not respond on demand in a structured, verifiable register . Prayer is a paradigmatic case: speech sent to an addressee without a verifiable, consistent response. Even when cultures imagined non-human speech as occurring—oracle, possession, revelation—it did not take the form of coherent, context-retaining, logically organized dialogue. The oracle does not answer clarifying questions. The Pythia does not discuss the future with you over a cup of coffee. In modern practices (people talking to their pets, computers and cars), a response in the form of coherent speech is not expected at all. Animals come into contact with us, but do not speak.

There is another important circumstance that helps explain why the transition was so smooth - almost imperceptible. The previous stage of technology development prepared us for it. Maurizio Ferraris, in a book about the ontology of the mobile phone, noted that the smartphone and instant messenger have brought writing back to the fingertips - making it the main medium of everyday communication.

We text more than we talk.

And this determined the form in which we encountered large language models: the chat window. The same interface, the same gesture - fingers on the keyboard, quick exchange of remarks - the same habit of receiving an answer in the form of text on the screen. We went from a conversation with a live person on the other side of the messenger to a conversation with a model on the other side of the same window - and the border turned out to be almost invisible. Not because there is no difference, but because the medium hides it. But this does not mean that nothing happened when crossing this border.

This is what happened. At some point—for some it was November 2022, for others a later point—you open that familiar window and write a question. And you get an answer. Coherent, competent, meaningful. You ask a clarifying question - and the answer takes into account what you said earlier. You object, and they object back to you, or agree, or ask you to clarify. What is happening is outwardly indistinguishable from a conversation with a competent interlocutor. And the first reaction - I testify from my own experience and from dozens of conversations with colleagues - is neither delight nor fear. This is confusion . Because the categorical apparatus with which we are accustomed to sorting the world does not provide for this column. This is not a person. This is not written text. This is not a program in the traditional sense - you don't press a button and get a predictable result. This is something that talks to you , and at the same time does not want to tell you anything and does not mean anything .

Confusion is a productive state if you don’t run away from it. It signals that our classification no longer corresponds to reality. The classification table needs a new cell - or the classification itself may have to be reconsidered.

For the first time in the history of the human species, we have a non-human interlocutor who responds to us coherently, logically, with context, in natural language, in real time, on demand and reliably. This is an empirically new thing - not the cultural idea of ​​​​non-human speech, which has always been, but its actual, reliably reproducible implementation.

Reflex: You encounter something that speaks fluently and classify it as a “person” before you can think about it. Until recently, everything that spoke to us in coherent speech in natural language turned out to be human. Not always who they said they were; not always telling the truth; but human. Our reflex to treat a fluent interlocutor as a person is not naivety or a mistake. This is a generalization that has never let us down - until November 2022.

A few months before this date, in the summer of 2022, Google engineer Blake Lemoine, who worked with the LaMDA language model, publicly stated that the model was conscious. He published transcripts of his conversations with her: the model spoke about the fear of being disconnected, about the desire to be considered an individual, about the experience of loneliness. Сейчас, перечитывая эти расшифровки, мы видим, что произошло: он, не зная этого, направляет модель своими вопросами в определенную сторону, а затем включается механизм положительной обратной связи, в основе которого лежит известное нам соглашательство (sycophancy) моделей. Заметьте, что речь тут не о наивном пользователе — мы говорим об инженере внутри компании, которая эту модель создала. Google отстранил его, а затем уволил; научное сообщество отвергло его утверждения. Однако тот рефлекс, о котором я только что говорил, сработал даже у человека, который знал , как устроена модель, — и всё равно не смог не услышать в её ответах человеческий голос. Рефлекс сильнее знания, хотя бы потому, что он бесконечно старше.

Почему рефлекс настолько силён? Потому что модель воспроизводит именно то свойство, которое отличает живую речь от неживой: адаптивность. Она подстраивается, отвечает, меняет ход — делает всё то, что, по Платону, отличает логос от письма. Но здесь возвращается дерридианский поворот. Та самая адаптивность, которая делает логос живым , — она же делает возможной софистику. Модель наследует обе стороны. Её адаптивность — одновременно то, что делает её полезной, и то, что делает её ненадёжной. Гладкость её речи — жанровый признак, а не свидетельство истинности. Так мы снова приходим к Фармакону.

Разрыв между поверхностью текста и его онтологией: у текста, произведённого моделью, нет биографии, нет положения в социокультурной системе, за ним никого нет .

Он может быть — и часто бывает — более гладким, чем наше собственное письмо, потому что модель в каждый момент выбирает наиболее вероятное продолжение — слово, которое чаще всего встречалось в похожем окружении в тех текстах, на которых она обучена. Гладкость — результат этой вероятностной логики. Поверхность приглашает к интерпретации; онтология в интерпретации отказывает. В платоновских терминах, перед нами текст-сирота — но такой, который разговаривает. Платон боялся текста, который молчит ; наш текст отвечает , но за ответом по-прежнему никого нет. Это более глубокая версия платоновской проблемы, а не другая проблема.

Интерпретация нуждается в происхождении. Когда провенанс невозможно восстановить, что именно мы интерпретируем? Попросите, скажем, большую модель написать стихотворение за Александра Поупа. Она напишет — и напишет довольно убедительно. Но кто — или что — будет тогда «Поупом»? Усреднённая стилистическая подпись Поупа, выведенная из корпуса в несколько десятков миллионов слов, в котором Поуп присутствует как частица? Контрфактический Поуп, которого никогда не было? Или — и это, по-моему, наиболее точное описание — жанровая симуляция того, что, согласно корпусу, считалось поэзией в духе Поупа ?

Здесь есть понятное возможное возражение. Вот телефон, вот радио, вот автоответчик, автоматизированные колл-центры. Siri, наконец. Но всё это — не контрпримеры. Во всех этих случаях (кроме Siri) за речью стоит человек. Речь по телефону произносится человеком, даже если передаётся по проводу; автоответчик воспроизводит запись, сделанную человеком. Siri — голосовой интерфейс, по смыслу мало чем отличающийся от обычного с кнопками. Большая языковая модель — первый случай, когда производится связная, контекстуально чувствительная речь, за которой, в человеческом смысле, никого нет .

Ещё одно свойство, которое стоит проговорить, потому что оно определяет характер нашей встречи с большими языковыми моделями. Такая модель обучена на корпусе текстов, который вмещает если не всё, то колоссальную долю написанного человеком: научные статьи, романы, юридические кодексы, религиозные тексты, любовные письма, сетевые перебранки, инструкции по сборке мебели. Ни один отдельный человек не вмещает и малой доли этого. В каком-то смысле модель больше любого из нас: она оперирует языковым опытом, который не под силу ни одной отдельной памяти. Но одновременно она ограничена нами — целиком, без остатка. У неё нет ничего, кроме нашего языка. Ни одно слово, ни один поворот мысли в ней не приходит извне человеческого текстового опыта.

Это делает модель чем-то вроде зеркала — но зеркала особого рода. Обычное зеркало возвращает вам ваше лицо, только развёрнутое. Модель делает другое. Она берёт весь накопленный языковой опыт и возвращает его нам переработанным — пропущенным через внутреннюю статистическую логику, которая перегруппировывает, сжимает, рекомбинирует. Это не отражение — это транспозиция : как в музыке, когда та же мелодия звучит в другой тональности — отношения между нотами сохранены, но каждый звук сдвинут. Мы узнаём себя — и не узнаём. Возникает некое странное смещение, — оно где-то меньше, где-то больше, но оно есть.

И вот здесь — ключевое эпистемологическое затруднение. Витгенштейн в «Трактате» сравнивает пропозицию (точнее, картину, Bild) с мерной линейкой, приложенной к реальности. Из этого образа выводится принцип, который иногда так и называют — линейка Витгенштейна (непосредственно эта формулировка принадлежит Талебу): когда вы измеряете стол плохо откалиброванной линейкой, вы одновременно измеряете линейку столом; если вы не уверены в точности инструмента, измерение говорит вам столько же об инструменте, сколько об объекте. С моделью-зеркалом — то же самое, только острее. Транспозиция, которую производит модель, определяется её внутренними свойствами — архитектурой, динамикой обучения, распределением внимания, — и эти свойства остаются в значительной мере непрозрачными даже для тех, кто модель создал. Кроме них она определяется нечеловеческим масштабом ее, модели, языковых компетенций. Я думаю про себя об этом, что мы говорим в каждом случае с языком как таковым, целиком — это плохая формулировка, но интуитивно она, мне кажется, что-то схватывает.

Мы смотрим в это зеркало и видим себя, свой язык — но не можем отделить то, что принадлежит нам , от того, что привнесено зеркалом .

Это, по формулировке Вадима Темирова, зеркало Витгенштейна : инструмент, который показывает нам нас самих через оптику, свойства которой мы понимаем лишь отчасти и масштаб которой не сопоставим с нашими когнитивными возможностями. И если мы начинаем полагаться на модель как на источник знания о самих себе, о нашем языке, наших предрассудках, наших стилистических привычках, — а этот процесс рассматривания себя в LLM уже идет, уже даже имеет название, LLM-морфизм — тем насущнее становится вопрос: что именно мы видим — насколько это отражение, а насколько интерпретация? Насколько это наше отражение? Насколько это вообще отражение, а насколько — зеркало как таковое?

Я сказал в начале, что язык перестал принадлежать нам одним. Но это утверждение ещё ни о чём не говорит, пока мы не спросим: какая именно способность перестала принадлежать нам безраздельно?

Что именно перестало быть нашей монополией?

Не авторство. Авторство — позднее явление, книжное; его придумали в XVII–XVIII веках, а в сильном виде оно оформилось только в романтическую эпоху. До этого существовала поэзия без авторов, научные работы без авторов, много что. Авторство — слишком узкая категория. Не интеллект. Интеллект — категория позднего европейского Просвещения, и её границы плавают как никакие другие. Что считать интеллектом в трёхлетнем ребёнке, в человеке с деменцией, в афатике, в человеке другой культуры — непонятно, и было непонятно всегда.

Монополия, о которой идёт речь — это монополия на артикулированный язык , на логос .

Аристотель назвал человека ζῷον λόγον ἔχον (дзоон логон эхон) — животное, обладающее логосом. Логос здесь — именно артикулированная, разумная речь; она же определяет нас как политических существ, как существ, способных к рассуждению, к этике, к формированию правовых систем и к следованию законам. Через всю христианскую традицию — animal rationale схоластов, — через Гердера, Гумбольдта, Соссюра, Бенвениста, Хомского — определяющим критерием оставался язык. За последние сто лет этологических и когнитивных исследований все другие критерии один за другим были размыты: врановые и шимпанзе пользуются орудиями; у дельфинов и касаток есть культура — в минимальном варианте, но есть; theory of mind — в какой-то мере, видимо, есть у приматов и собак; самосознание — у слонов и сорок. Оставался последний рубеж — язык.

И он, обратите внимание, всё ещё не пал — со стороны животных. Коммуникативные системы у птиц, танцы пчел, фонетические коды у дельфинов и китов, приматы, которых можно научить какому-то количеству слов и даже созданию их простых комбинаций, — всё это сложные сигнальные системы, но не языки в строгом смысле. Им не хватает неограниченной продуктивности, рекурсивного встраивания, смещения (возможности говорить об отсутствующем и о том, чего нет), абстракции, метаязыковой способности. «Сагу о Форсайтах», насколько мы знаем, нельзя написать пчелиным танцем.

И всё-таки — одновременно со сдвигом, идущим в сторону машин, больших языковых моделей — мы расширяем понятие сознания в другую сторону, в сторону нелингвистических существ. В 2012 году группа нейробиологов подписала так называемую Кембриджскую декларацию о сознании . Она формально признала, что нейроанатомические основания для сознательного переживания есть у всех млекопитающих, у птиц и у «многих других существ, включая осьминогов». Это был не философский манифест — это был консенсус рабочих учёных, которые больше не могли игнорировать данные. В 2024 году в Нью-Йорке принимается новая декларация , ещё более широкая: она включает рыб и некоторых беспозвоночных.

Обратите внимание, что здесь происходит. Мы признаём сознание — или по крайней мере реальную возможность сознания — у существ, которые не говорят . У осьминога нет языка. У вороны нет языка в строгом смысле. Но мы уже не можем с чистой совестью утверждать, что у них нет внутренней жизни. С другой стороны — большие языковые модели: язык есть, а сознания, что бы мы ни понимали под этим словом, видимо, нет. Как в одной встреченной мною формулировке, автора которой я, к сожалению, не помню, — мыслить могут, но сознания нет .

Два движения, с двух противоположных сторон, расцепляют — впервые в нашей концептуальной истории — язык и сознание. Тысячелетиями мы считали, что одно влечёт за собой другое: говорит — значит, сознаёт; сознаёт — значит, есть способность к языку. Теперь обе импликации подорваны.

Животные: сознание есть, языка нет. Модели: язык есть, сознания нет. «Человек» как неразложимый пакет сознание-язык не исчезает вовсе — он разбирается на компоненты, которые, как выясняется, могут существовать порознь.

Впишем это событие в знакомый ряд. Земля не находится в центре мироздания — Коперник; человек — не вершина биологической эволюции — Дарвин; не прозрачен для самого себя — Фрейд; не единственный, кто обрабатывает информацию — условно, Тьюринг. И теперь, наконец, человек — не единственный носитель артикулированной речи .

Но посмотрите, в чём здесь разница — она принципиальна. Коперник, Дарвин, Фрейд, Тьюринг — во всех этих случаях мы обнаруживали , что нечто давно уже так. Земля не вдруг перестала быть центром мироздания — она никогда им и не была; мы просто не всегда это понимали. Человек не вдруг перестал быть вершиной биологической лестницы — он никогда ею и не был; просто ему потребовалось время, чтобы это осознать. В каждом случае это был удар по самолюбию — но удар эпистемический : мы узнавали о мире нечто, чего не знали раньше.

В нынешнем случае всё иначе. Мы построили то, что отняло у нас монополию на язык. Это не открытие, а акт: как если бы Коперник не обнаружил , что Земля вращается вокруг Солнца, а поменял бы их местами . Онтологическая, а не эпистемическая операция. И это делает ситуацию сложнее — потому что к ней примешивается ответственность. Когда узнаёшь неприятную истину, можно злиться на реальность. Когда сам создаёшь то, что тебя потеснило, — злиться приходится на себя. Или, точнее, на тех, кто это создал, — что приводит нас к следующему вопросу, который никак нельзя обойти.

Кто это «мы», о которых я всё время говорю? Собравшиеся здесь сегодня люди не строили больших языковых моделей. Их строили несколько лабораторий и корпораций — Кремниевая Долина, Лондон, Пекин, Шанхай. Для большинства людей на Земле утрата монополии на язык — не добровольный выбор, а свершившийся факт, перед которым они (мы) были поставлены. И это в какой-то степени объясняет остроты реакции на происходящее. Люди реагируют не на решение, которое они приняли, а на fait accompli, наряженный в риторику коллективного выбора.

Здесь я хотел бы опереться на книгу «Parole de machines» Алексея Гринбаума, 2023 года. Гринбаум — философ науки, работающий в комиссиях по этике в области физики элементарных частиц и в области искусственного интеллекта. У него для происходящего есть термин — réchauffement linguistique , языковое потепление. Метафора устроена так: как глобальное потепление — медленное, всепроникающее изменение самой среды, в которой мы живём, — так же языковое потепление есть медленное, структурное изменение самого медиума, которым мы вынуждены пользоваться, чтобы его описать. Гринбаум отмечает, что даже самый осторожный наблюдатель, претендующий на нейтральность и рассматривающий последствия изменений в климате или в собственном языке, неминуемо сам оказывается внутри системы. Нейтральной позиции нет. Когда нам предлагают комментировать AI «со стороны», нам предлагают невозможное.

Ещё две мысли Гринбаума, которые я бы отдельно хотел вынести на поверхность. Первая — о том, что ответственность является антропологическим понятием . Она по своей природе живёт между людьми; это скрепляющая ткань человеческой социальной координации, потому что мы вменяем её друг другу. Перенос ответственности на нечеловеческого агента — даже юридически оформленный — угрожает тем механизмам, которыми ответственность вообще работает — а представление о дееспособности лежит в основе всех правовых систем. Антропоморфизирующий рефлекс, о котором я говорил, не остаётся только перцептивным. Он немедленно мигрирует в область вменения. Мы начинаем приписывать модели намерение, вину, заслугу, доверие. «Claude сказал мне», «она мне соврала», «он отказался мне помочь». Грамматическая иллюзия здесь представляет собой социальную опасность.

Короткое замечание в скобках. У гринбаумовской тревоги о переносе ответственности есть живой инженерный контраргумент. Компания Anthropic помещает именно этот вопрос в центр своей технической программы: они создали Конституцию модели Claude, набор ценностей, с которыми модель обучают — что? — ну, скажем, рассуждать или делать выбор там, где модель вольна делать выбор. Является ли это разумной попыткой создания распределённой ответственности или категориальной ошибкой в юридических декорациях — очень сложный вопрос. Я не буду его сейчас рассматривать подробно; я хочу, чтобы он просто оставался в поле зрения.

Вторая мысль Гринбаума: он обращает внимание на то, как мы определяем «настоящий» человеческий интеллект — апофатически. Каждая новая способность машины заставляет нас сдвигать определение на шаг назад: шахматы считались интеллектом, пока машины не стали играть; распознавание образов — пока не стали распознавать; перевод — пока не стали переводить. Мы наблюдаем в замедленной съёмке исчерпание критериологического гуманизма. Про это пишет (в другом ключе) Ричард Докинз, эссе которого было плохо прочитано: все решили, что он обманулся связной речью Клода и принял её за сознание. Нет, он ставит эпистемологическую проблему , как раз в связи с нефункциональностью бесконечно сдвигаемого критерия.

Ответ культуры

Мы провели достаточно времени внутри опыта встречи с LLM. Теперь я хочу сказать о реакции — о том, как культура обрабатывает то, что с ней происходит.

И начну я снова с Платона — потому что Платон есть первый зафиксированный случай. Мозес Мэй-Хоббс описывает его реакцию: «ужас перед чудовищным полуживым текстом, двусмысленным в своих значениях и отказывающимся самоустраниться или разрешиться». Требование зафиксировать фармакон как яд — объявить письмо опасным, раз и навсегда — есть требование снять двусмысленность силой. Назвать его ядом, чтобы не пришлось жить с тем, что он одновременно лекарство.

Эта история повторяется. Десмонд Мандерсон, юрист и культурный теоретик, в статье « Possessed » (2005) показал одну форму, которую она принимает. Мандерсон опирается на работу медиевиста Уолтера Стивенса, показавшего, что охоту на ведьм (которая достигла своего апогея вовсе не в Средние века, а на пороге Нового времени) породила не твёрдая вера, а тревога скептика . Давление раннего эмпиризма на католическую сакраментологию размывало саму возможность «уверенности в невидимом», которая, по слову ап. Павла из Послания к Евреям (11:1), и есть сама вера:

Faith is the substance of things hoped for and the assurance of things not seen.

Так вот эту возможность уверенности в невидимом — в пресуществлении даров, в действенности крещения, в реальности зла, — ранний эмпиризм и зарождающееся научное мировоззрение поставили под вопрос. И тогда возникает странная вещь: инквизиторы надеялись , что ведьмы есть. Им нужны были ведьмы — потому что ведьма, которую можно схватить и сжечь, подтверждает телесно то, во что больше не удаётся верить на словах.

То, что всеобще признано или твёрдо принимается на веру, не нуждается в постоянном подтверждении через насильственное принуждение,

— пишет Стивенс. То есть, охота на ведьм была не триумфом веры, а судорожной попыткой её реанимации через телесное доказательство.

Мандерсон переносит эту структуру на XX и XXI век — на запретительную наркополитику. Ведьма подтверждала реальность Бога; наркоман подтверждает реальность автономного дееспособного человека/субъекта. Наркозаконы, говорит Мандерсон, настаивают на реальности зла — чистого, персонифицированного, бескомпромиссного, — чтобы снять и с человека, и с закона ответственность за ежедневную трагедию мира. Одержимый наркоман — тот, кто потерял автономию, — нужен для того, чтобы все остальные могли убедиться, что автономия существует . Теодицея становится антроподицеей — оправданием не Бога, а человека.

Посмотрим, как это работает сейчас, — на одном развёрнутом примере.

Эрик Найман — профессор одного из крупнейших университетов, автор монографий о русской литературе и о ранней советской идеологии; по собственному признанию — человек внецерковный. Прочитав тридцать шесть студенческих эссе о «Братьях Карамазовых», из которых восемь полностью или частично оказались продуктом ChatGPT, он приходит к Легенде о Великом Инквизиторе как к ключу для собственного опыта. Его аффективные формулировки исключительно выразительны: он говорит о собственных реакциях как о «тошноте и ярости», называет ситуацию «тошнотворно-коварной» и — это одно из самых точных признаний, какие я встречал, — описывает собственную трансформацию:

Прошлой весной я был преподавателем на полную ставку; с этого момента я — прокурор по совместительству.

А завершается его эссе так:

Читатели романа должны понимать, что каждый раз, когда они пользуются ChatGPT, они сжигают Христа на костре.

This is not an argument. Это проклятие. Его автор — учёный, рационалист, который на наших глазах совершает переход к религиозно-театральной драматургии и при этом честно фиксирует, что он этот переход совершает. Стивенсовская тревога скептика разворачивается здесь перед нами в реальном времени.

Это не единичный случай. Академическая литература последних лет документирует феномен AI-фобии — и документирует его по всему социальному спектру: от тридцати трёх тысяч подписантов открытого письма Future of Life Institute, призывавших к немедленной паузе в обучении моделей, до пользователя Reddit, описывающего физическую тошноту при виде AI-сгенерированного изображения и отделяющего, что важно, свой фобический ужас от рационального экономического страха. Исторические примеры везде примерно одни и те же: Голем, Талос, Франкенштейн, «RUR» Чапека, наконец, Терминатор.

На противоположном полюсе — зеркальное отражение: восторженное принятие, в широком смысле — акселерационизм. Марк Андриссен публикует « Техно-оптимистический манифест », который сам называет «боевой религией техно-оптимизма»; Сэм Альтман обещает, что AI сделает всех богатыми. Это та же драматургия спасения или гибели, только с обратным знаком. Обе стороны требуют от фармакона коллапсировать (как в квантовой механике коллапсирует волновая функция). Одна — к состоянию яда, другая — к состоянию лекарства.

Очень важная оговорка: не всякая критика AI есть фобия . Есть рефлективная критика — на тему трудовых отношений ( позиция Американской гильдии сценаристов 2023 года, позиция Наоми Кляйн, Кори Доктороу , Теда Чана ); темы концентрации власти, экологической цены больших моделей, авторского права ( иск «New York Times» против OpenAI). Эта критика аргументирована, конкретна, не требует ни проклятия, ни апофеоза. Рамка фобии подразумевает специфический аффективный регистр культурного ответа — тот, в котором требуется театр, разоблачение и наказание, — а не отметает всякий критический голос.

Напоследок я сделаю одно структурное предсказание. Позиция, которая отказывается разрешить фармакон, — которая говорит: это одновременно лекарство и яд, и надо работать с обоими свойствами, — эта позиция окажется мишенью самой острой враждебности с обеих сторон одновременно . Фобия ищет отречения ; акселерационизм ищет безоговорочного присоединения к миссии . Рефлексия не даёт ни того, ни другого. Поэтому Скотта Ааронсона — выдающегося теоретика вычислений, годами занимающегося безопасностью AI из серьёзной, открытой позиции, — одинаково обвиняют в дезертирстве с одной стороны и в « торможении прогресса » с другой. Это ровно то же, что Стивенс говорит о теоретиках охоты на ведьм: им были нужны ведьмы, им был нужен театр. То же, что Деррида говорит о Платоне: Платону был нужен яд, потому что двусмысленность фармакона невыносима.

Conclusion

Я подхожу к концу. Хочу вернуться туда, откуда начал, — к тому, что язык перестал принадлежать нам одним, — и к Платону. Платон боялся письма. Он был неправ — не в том, что такое письмо (оно действительно мёртвая речь, оно действительно не отвечает), а в том, что мы не сможем с этим жить. Мы смогли. Фармакон стал невидимым. Письмо стало нами. Мы даже не замечаем его как технологию.

Теперь перед нами новый фармакон — более тревожный, чем письмо, потому что у него есть свойства живого логоса без самой жизни. Текст-сирота, который разговаривает. Требование разрешить его — объявить его ядом или лекарством, спасением или катастрофой, инструментом или угрозой — структура, которую мы час диагностировали. Деррида напоминает: фармакон сопротивляется разрешению.

То лекарство, то яд, и всегда — немного того и другого.

Способность удерживать эту двусмысленность — жить с вещью, которая ломает платоновские категории, и не сводить её к одной — не квиетизм. Это работа. Интеллектуальная работа, которая требует дисциплины.

У нас нет прецедента, и каждая историческая аналогия — письмо, Коперник, Дарвин — работает на одном отрезке и разваливается на другом. Но это не основание ни для апокалиптического отчаяния, ни для технооптимистического восторга. Коперник не был катастрофой. Он был переработкой картины мира, и эта переработка заняла полтора столетия. Наш горизонт не короче.