Конечный автомат на предохранителе: почему мы все еще не во власти искусственного интеллекта

Проверено временем: о книге Роджера Пенроуза «Новый ум короля»

Нобелевский лауреат Роджер Пенроуз опубликовал свою книгу об искусственном интеллекте, квантовых компьютерах, нейроинтерфейсах и прочих подобных вещах еще в 1989 году, но она и сейчас более чем актуальна: Пенроуз, в частности, приводит математические доказательства того, что опасность порабощения человечества искусственным сверхразумом сильно преувеличена. Это хорошая новость. А плохая в том, что книгу нелегко воспринимать из-за обилия формул. Но это понимает и сам автор, который советует при необходимости игнорировать строки с формулами и переводить взгляд на текст. Именно этот милосердный по отношению к читателю способ выбрал Дмитрий Борисов, рассказывая о книге Пенроуза в рамках совместного проекта «Горького» и премии «Просветитель».

Роджер Пенроуз. Новый ум короля. О компьютерах, мышлении и законах физики. М.: Издательство УРСС, 2003. Перевод с английского Виктории Малышенко. Содержание

Чего не могут машины

Еще в лохматые восьмидесятые физик Роджер Пенроуз писал: до времени, когда машина сможет пройти тест Тьюринга (то есть сумеет настолько убедительно притвориться человеком, что люди ей поверят), «ждать осталось недолго, — скажем, до 2010 года».

Это предсказание сбылось с такой высокой точностью, что Ванге следовало бы покурить в сторонке. Критиканы, конечно, со скепсисом отнеслись к истории о 13-летнем одессите Жене Густмане, чью виртуальную «личность» в 2014 году примерила на себя бездушная программа (чат-бот), пройдя-таки тест Тьюринга. Мы же порадуемся за его разработчиков (Владимира Веселова и Евгения Демченко) и в очередной раз восхитимся проницательностью Роджера Пенроуза. Победа виртуального одессита, разумеется, не означает, что «алхимики» Веселов и Демченко произвели на свет «голема» — искусственный интеллект. Равно как и кажущееся осмысленным поведение сидящего внутри «китайской комнаты Серла» на деле совсем не таково.

Хотя и Пенроузу приписывают ложное высказывание о том, что мозг якобы представляет собой квантовый компьютер, автор «Нового ума...» в этом совершенно не виноват, потому как ничего подобного не говорил. А имел в виду ровно противоположное. Вот цитата из другой книги Роджера Пенроуза — «Тени разума»:

«Мозгу недостаточно быть квантовым компьютером, чтобы реализовывать невычислимую активность. <...> Биологическая система, называемая человеческим мозгом, каким-то образом ухитрилась воспользоваться в своих интересах физическими феноменами, человеческой же физике неизвестными! Эти феномены когда-нибудь опишет несуществующая пока теория <...>, которая свяжет вместе классический и квантовый уровень».

«Новый ум короля» — не первая работа подобного рода. В 1972 году философ Хьюберт Дрейфус написал книгу «Чего не могут вычислительные машины. Критика искусственного разума» (она о том, что машина обрабатывает информацию, а человек работает со смыслами; мысль — не вычисление, поэтому не факт, что ее можно закодировать).

Название книги «Новый ум короля» отсылает к поучительному сочинению Ханса Кристиана Андерсена «Новое платье короля». Сама эта отсылка указывает на скепсис Пенроуза по поводу возможности появления рукотворного искусственного сознания.

Годен только автомат

Доктор физико-математических наук Александр Панов рассказывает о так называемой «No-go теореме Пенроуза об ИИ» (формулировка Панова), описанием которой мы сейчас займемся (опираясь не только на тезисы Александра Дмитриевича).

Подобно другим фундаментальным запретам в науке (первое и второе начало термодинамики запрещает создание вечных двигателей первого и второго рода соответственно), теорема Пенроуза запрещает создание сильного ИИ на базе архитектуры конечного автомата.

Конечный автомат — это система, работа которой определяется конечным набором правил (программ, алгоритмов). Компьютер — конечный автомат, как и любая сколь угодно обширная компьютерная сеть. Какой бы мощностью ни обладало устройство, имеющее архитектуру конечного автомата, человеческое мышление обладает рядом возможностей, которые недоступны такому устройству.

Архитектуру современных компьютеров придумал Джон фон Нейман — они работают детерминировано, четко выполняя инструкции и предписанные им команды. Система сделала шаг — получила состояние. Программы однозначно выполняются на всех компьютерах (если одна и та же программа на разных компьютерах ведет себя по-разному, это либо баг, либо у кого-то не оттуда произрастают руки).

Аналогия с юриспруденцией: было время, когда законотворцы тешили себя надеждой, что рано или поздно, после многочисленных уточнений и дописываний, удастся создать совершеннейший кодекс, работающий исключительно по законам добра и справедливости и на благо всех живых существ.

Такого никогда, конечно же, не будет (благодаря этому осознанию был учрежден суд присяжных), что в 1930-е математически доказал австриец Курт Гедель. Согласно Первой теореме Геделя о неполноте, для любой аксиоматической системы (непротиворечивой и содержащей в себе формальную арифметику) можно сформулировать осмысленное утверждение, которое нельзя ни доказать, ни опровергнуть средствами этой системы (хотя в математике есть системы, для которых теорема Геделя неверна). Доказательство этой теоремы конструктивно, то есть оно строится в явном виде — на конкретном примере (и является истинным по построению).

Иными словами, любая достаточно сложная система будет либо неполна, либо противоречива.

Есть другая теорема — Геделя-Тьюринга, — которая говорит о том, что для любого конечного автомата, реализующего обоснованные процедуры (и достаточно сильного, чтобы реализовывать алгоритмы, анализирующие другие алгоритмы на предмет их остановки), можно сформулировать осмысленное утверждение, истинность которого не может быть вычислена этим автоматом («обоснованные процедуры» означают, что машина не может лгать; она либо не отвечает ничего, либо ее ответ истинен (А=А, Б=Б, но никогда не С и т. д.). Это доказательство также конструктивно и является истинным по построению.

Включим нездоровую фантазию и представим, что некий компьютер, имеющий архитектуру конечного автомата, приобрел исчерпывающие интеллектуальные способности всего человечества. Тогда любой математик, используя свои математические способности, на основе теоремы Геделя-Тьюринга может построить истинное утверждение, истинность которого не может быть проверена этим компьютером, но которая ясна для математика. Следовательно, предполагая, что компьютер обладает всеми способностями людей, мы немедленно указываем на способность человека, которой этот компьютер не обладает.

Теперь сравним две эти удивительные вещи: вместивший все человеческое знание компьютер и мозг математика. Для того, чтобы сформулировать геделевское утверждение для конечного автомата, мы должны знать его структуру. Это важнейшее звено в доказательстве теоремы. Конечный автомат по определению есть классическое устройство — то есть такое, над состоянием которого могут быть проведены классические измерения с любой заданной точностью. Конечный автомат сам является информационной записью собственных алгоритмов, поэтому алгоритмы конечного автомата в принципе всегда познаваемы.

Предположим, что мозг математика, способного понять теорему Геделя-Тьюринга, является конечным автоматом. Тогда его алгоритмы могут быть конечным образом изучены: как и алгоритмы всякого конечного автомата. По этим алгоритмам математик, пользуясь построением Геделя-Тьюринга, может построить геделевское утверждение, которое является истинным по построению, но истинность которого математик не сможет установить, будучи именно тем конечным автоматом, для которого он сам это геделевское утверждение и строит. То есть истинность этого геделевского утверждения математик одновременно знает и не может установить. Противоречие доказывает, что мозг математика — не конечный автомат.

Пенроузу возражали в том духе, что речь идет об «идеальных» конечных автоматах, а не о реальных вычислительных машинах. Но разве не-идеальная машина может быть сильнее идеальной?

Еще одно возражение заключалось в том, что теорема Пенроуза математическая, а человечество в целом и составляющие его человеки в частности все-таки немножко не математические объекты. Но ведь высказывание «все люди смертны, а Сократ — человек, следовательно, он смертен» — тоже пример простейшей теоремы математической логики.

Эта физика не подходит, несите новую

Роджер Пенроуз делает вывод: мозг реализует невычислимую активность (в математике есть алгоритмически разрешимые проблемы (вычислимые) и алгоритмически неразрешимые (невычислимые).

А затем он пытается понять, в чем причина этой невычислимости. Пенроуз ищет и предсказуемо не находит ее в разных типах программирования: нисходящем (когда одна процедура вызывает другую) и восходящем (когда работают, например, нейронные сети; но и они невычислимости породить не могут, так как во всякой системе такого типа есть жесткое ядро, которое сделано нисходящим образом, как самая обыкновенная программа; а все обучение, которое на это ядро «наматывается», — это просто данные, с которыми она работает).

Затем автор окидывает взглядом всю известную физику (книга Пенроуза представляет собой обширный путеводитель по ней). И чисто логическим путем приходит к выводу о том, что мозг должен реализовывать квантовые процессы, — просто потому, что не остается ничего другого.

Но Пенроуз идет дальше: как мы уже сказали, мозгу недостаточно быть квантовым компьютером, чтобы реализовать невычислимую активность. Поэтому остается только «еще не открытая, новая „невычислимая физика”». Роджер Пенроуз намечает «третий путь» к этой «новой физике»: не через микрофизику (это когда строят адронный коллайдер, чтобы протиснуться к планковским размерам), не через космологию ранней Вселенной (для этого городят сети гигантских радиотелескопов, таких как Event Horizon Telescope), а через науку о сознании.

Нейронное кружевоплетение

Рассказывая о книге Роджера Пенроуза, автор работы «Мозг напрокат...» Алексей Редозубов напоминает, что, согласно паттерно-волновой модели мозга, нейроны реагируют на определенные волны, приносящие, грубо говоря, информацию на кору: срабатывают детекторы, настроенные на определенные сигналы. Далее происходит любопытная вещь: детекторы образуют «узор» (нейронный ансамбль или паттерн) и он уже сам запускает новую информационную волну.

Если на коре возникает какой-то паттерн активности, то он начинает распространять вокруг себя расходящуюся волну спонтанных спайков (спайки бывают вызванными — когда они идут подряд, и единичными — спонтанными). Когда эта волна проходит через определенное место коры, она создает «узор». Другой паттерн создает другой «узор». И эти два «узора» настолько различны, что перепутать их невозможно. Но они повторяемы — то есть если определенный паттерн опять запустится, то пройдет ровно такая же волна. За счет такого фокуса кора может обмениваться информацией с любыми участками.

Интересно, что волны спонтанных спайков ведут себя как дуалистичные частицы. «Затормозили» процесс — увидели частицу. Окинули взором всю историю целиком — получили распространяющуюся волну.

Далее. Вспомним спор Эйнштейна и Бора о состоянии квантовой системы. Эйнштейн утверждал, что квантовая система имеет состояние до момента измерения, просто мы его не знаем. Бор утверждал обратное: никакого состояния у квантовой системы буквально нет вообще — оно возникает только в момент измерения.

Так вот, выясняется, что о таких чудесах можно говорить относительно не только квантовых систем, но и информационных процессов в мозге. Грубо говоря, когда мы оперируем какой-то информацией, мы не можем сказать: вот этому и тому-то соответствует строго определенный смысл. Мы оперируем понятиями со спектром значений. И так же, как квантовая система определяет свое состояние при измерении, мы определяем тот смысл, который несет информация, в момент, когда происходит некий коллапс этого смысла.

В общем, в этой истории вопросов пока больше, чем ответов — недаром мозг называют самой сложной из известных нам систем.

«Сознание представляется мне таким важным явлением, что я просто не могу поверить в возможность его „случайного” возникновения в результате сколь угодно сложных вычислений», — пишет Роджер Пенроуз.

Это представляется справедливым — особенно если учесть, что законы Вселенной как будто специально заточены под возможность появления какой-либо жизни в принципе. В основе жизни лежит углерод — длинные белковые молекулы. РНК и ДНК возможны только на основе углерода, ничто другое не может их создавать — иначе мы были бы свидетелями какой-нибудь небелковой жизни. Но достаточно хотя бы немного изменить физические законы, и даже углерод не сможет образовывать длинные белковые молекулы.

Хотя, говорят, что высказываться так — значит расписываться в «углеродном шовинизме».