Нобелевскую премию по физике присудили за исследование нейросетей. Один вопрос: а при чем здесь физика?

Пробуем разобраться (и ищем влияние лауреатов на ChatGPT и Midjourney)

Нобелевскую премию по физике в 2024 году присудили американским специалистам в области компьютерных наук Джону Хопфилду и Джеффри Хинтону — с формулировкой «за фундаментальные исследования и изобретения, которые сделали возможным машинное обучение с помощью нейросетей». Объяснять в очередной раз, что такое нейросеть и как она работает, в 2024 году кажется уже совсем бессмысленным занятием. Однако к выбору Нобелевскому комитета все равно остается много вопросов. Кажется, главный из них — имеют ли нейросети хоть какое-то отношение к физике? Или эта номинация — лишь способ обойти историческое ограничение на награждение чисто математических работ? Попробуем на него ответить. Но сначала разберемся с тем, за что, собственно, дали премию.

Чего не сделали нобелевские лауреаты?

Этот странный вопрос на самом деле важен для понимания природы решения Нобелевского комитета, потому что ответ на него звучит так: Джон Хопфилд и Джеффри Хинтон не изобрели нейросети. Несмотря на то, что само это слово — и машинное обучение в целом — стали общим местом в последние пять-десять лет, концепция искусственных неросетей родилась гораздо раньше. Она относится к эпохе до распространения полноценных компьютеров на транзисторах.

Корни современных нейросетей уходят не в физику, а в биологию. В 1943 году физиолог Уоррен МакКалох и математик Уолтер Питтс предложили простейшую схему того, как теоретически могут работать нейроны мозга: по их задумке, нейроны суммируют сигналы, поступающие от других нейронов, и при этом учитывают значение каждого из сигналов с определенным весом. В 1949-м Дональд Хебб предложил концепцию нейропластичности, согласно которой, когда нейроны взаимодействуют, связи между ними, обеспечиваемые синапсами, усиливаются.

В 1957 году американский психолог Фрэнк Розенблатт предложил схему, как все это может работать совместно, и назвал ее перцептроном. Это была первая искусственная нейросеть, которая умела распознавать изображения — далеко не все, но некоторые. Интересно, что перцептрон Розенблатта был не просто математической моделью, эмулируемой внутри компьютера (как все современные нейросети), — а реальным физическим устройством, состоящим из проводов, резисторов, катушек и других электронных компонентов.

Если кто и может быть назван «отцом нейросетей», то именно Розенблатт. Очень жаль, что до современного бума технологии изобретатель не дожил. Он умер в 1971 году — в период, когда концепция использования искусственных нейронов для вычислений, казалось, была похоронена навсегда.

Дело в том, что двумя годами ранее, в 1969-м, Марвин Мински и Сеймур Паперт выпустили работу, в которой в пух и прах разнесли розенблаттовский перцептрон. Из их подробного и тщательного анализа изобретения можно было сделать вывод (не вполне корректный), что у концепции нет и не может быть будущего: определенные классы задач перцептронам оказывались просто не по плечу, а те, что могли быть решены, оказывалось легче и изящнее решать иными методами.

Возможно, именно из-за этой критики в начале 1980-х, когда к проблеме нейросетей вернулись уже нынешние лауреаты, все концептуальные связи новых нейросетей с перцептроном были максимально разорваны, а корни этих математических моделей были пересажены в поле совсем других задач. Задач, которые имели отношение уже не к биологии, а к физике.

То есть физика все-таки имеет отношение к нейросетям?

Да, безусловно, хотя и не самое глубокое. В начале 1990-х сначала Джон Хопфилд, а затем Джеффри Хинтон предложили две совершенно отличные от перцептрона модели нейросетей. Их структура и принципы работы в обоих случаях были связаны с физическими проблемами — вполне известными и разными для двух ученых.

В случае Хопфилда это была проблема спиновых стекол, которая существует в физике твердого тела. Спин — это магнитный маркер электрона, ядра или атома, который у одинаковых частиц может иметь одинаковую «силу», но разное направление. В магнитных сплавах спины соседних атомов стремятся приобрести одно направление — такое состояние более энергетически выгодно, чем когда соседние атомы имеют противоположные спины.

Какое именно направление примет спин конкретного атома, зависит от его окружения, поэтому в некотором смысле все атомы в магните связаны со всеми остальными — только с разной силой. Спин также будет зависеть от температуры и общей энергии системы: если магнит сильно разогреть, то всякий спиновый порядок разрушится и превратится в хаос. И наоборот — когда температура будет падать, система атомов как единое целое будет искать конфигурацию, которая обеспечит минимально достижимую энергию. Слово «достижимую» тут важно — система может достичь только локального, доступного из исходной точки минимума, а не абсолютной оптимальности. Последняя возможна, только если проводить циклы разогревания и охлаждения системы бесконечное число раз.

Какое же все это имеет отношение к нейросетям и работе Хопфилда? Следующее: ученый использовал проблему спиновых стекол как концептуальную рамку для создания нейронной сети, названной впоследствии его именем. В ней, как и в спиновых стеклах, все нейроны принимают только два значения (-1 и 1) и при этом каждый нейрон взаимодействует со всеми остальными, хоть и с разными весами связи (то есть сеть полносвязная).

Создав такую сеть, Хопфилд обнаружил, что она обладает удивительным свойством — настоящей памятью: может запоминать картину собственной активации (то есть «паттерн» — то, какие нейроны в каком состоянии находятся в данный момент) и восстанавливает эту картину при небольших искажениях.

Принцип работы такой нейросети приведен на картинке ниже: подавая на вход искаженное изображение буквы J, система «скатывается» к идеальной J спустя несколько циклов работы. Так происходит, если общая энергия/температура системы падает.

В спиновых стеклах «энергия» — это вполне обычная суммарная кинетическая энергия частиц, атомов. В нейросети Хопфилда энергия — это некоторая функция, которая зависит от свойств каждого нейрона и каждой связи между ними. В обоих случаях энергию можно представить как ландшафт в пространстве разных состояний, а текущую картину активации — как точку на этом ландшафте.

Нетривиальное свойство такой нейросети — в том, что она может быть натренирована на распознование не одного, а нескольких паттернов активации. В терминах ландшафта энергии это означает, что шарик, будучи брошенным в разные части ландшафта, окажется в итоге в разных его локальных минумумах. То есть из искаженной J получится идеальная J, а из искаженной I — правильная I. Понятно, что для такой сети можно найти интересные применения. Например, использовать ее для коррекции изображений, передаваемых по каналам связи с помехами.

А что нового внес в «нейростроение» Джеффри Хинтон?

Сеть, предложенная Хинтоном, тоже опирается на физику. А именно — на математические модели, впервые разработанные в статистической физике. Последняя имеет дело с системами из многих тысяч и миллионов частиц, ее главная особенность — в том, что она обращает внимание не на поведение каждой из частиц или тел отдельно (как, например, механика), а на поведение системы в целом. Modus operandi этой науки — использование комбинаторики и статистики для того, чтобы описать, в каком состоянии какая доля частиц должна находиться для того, чтобы в целом, на макроскопическом уровне, система выглядела так, как выглядит. Например, с помощью статистической физики можно узнать, какую скорость в среднем должны иметь молекулы газа, чтобы газ в целом имел определенную температуру и давление.

К нейросетям это имеет следующее отношение: вдохновляясь работами Хопфилда и статистической физикой, Хинтон придумал альтернативную архитектуру нейросети, в которой также есть понятие виртуальной энергии. Принципиальное значение для такой сети имел не конкретный паттерн активации нейронов, а вероятность этого состояния. Аналогично с температурой газа: даже в холодном газе некоторые молекулы могут иметь очень большую скорость (быть «очень горячими»), хотя вероятность этого очень низка. Когда температура повышается, по определенному закону растет и вероятность.

Хинтон использовал этот закон для определения вероятностей нахождения системы в том или ином состоянии, в том или ином паттерне. Поэтому и назвал такую нейросеть «машиной Больцмана». Все это может звучать слишком туманно, поэтому обратимся к иллюстрации самого Хинтона.

Допустим, у нас есть атомная станция, на которой установлено очень большое количество сенсоров: датчики температуры, давления, радиоактивности и других параметров. Станция работает в разных режимах, а комбинаций тысяч параметров нормальной работы почти бесчисленное множество (некоторые даже не встречаются за длительное время работы).

Так вот, если нормальный режим работы станции использовать для того, чтобы обучить нейросеть типа машины Больцмана, то такая нейросеть сможет успешно обнаружить, когда что-то пойдет не так. Если наблюдаемая комбинация параметров станет слишком невероятной, это будет означать, что станция вышла из нормального режима и, возможно, мы имеем дело с аварией и пора нажимать на красную кнопку.

Для того, чтобы стало возможно распознавание таких ситуаций, машина Больцмана имеет в своей архитектуре как видимые, так и скрытые нейроны. Первые могу принимать на вход состояние системы (например, показания датчиков), а вторые выполняют роль вычислителей и памяти. В них суммируются данные о том, что происходит в системе и что в ней происходило ранее. Как и в других нейросетях, обучение системы заключается в изменении силы связей нейронов между собой (то есть изменении весов).

Отдельный класс таких нейросетей — это ограниченная машина Больцмана. В ней слои видимых и скрытых нейронов отделены друг от друга, а нейроны одного слоя не взаимодействуют друг с другом. Такая система уже гораздо ближе к обычным прямым (feed forward) нейросетям, у которых есть отдельные входные, выходные и скрытые слои. Впрочем, принципиальных отличий у таких нейросетей и ограниченных машин Больцмана тоже много: прежде всего, у них принципиально разные способы обучения.

То есть Хинтон и Хопфилд создали для нас то, что сейчас стало Midjourney и ChatGPT?

Не совсем. Оба лауреата, безусловно, внесли свою лепту в то, чтобы нейросети получили новую жизнь. Однако ни нейросеть Хопфилда, ни машины Больцмана сейчас практически не применяются в машинном обучении и даже для обработки сигналов. Им на смену пришли нейросети совсем другой архитектуры и — что может быть еще важнее — другого способа обучения.

В частности, это глубокие сверточные нейросети, которые широко применяются для обработки изображений и давно стали индустриальным стандартом. Их пионером считается французский математик Ян Лекун, отсутствие которого в числе лауреатов особенно бросается в глаза. Лекун уже успел поздравить коллег и признаться, что не особо сожалеет о том, что не получил премии, так как ему «хватает имеющегося признания».

Хинтон и Лекун в последние годы стали не просто коллегами, но главными оппонентами по вопросу потенциальной угрозы развития искусственного интеллекта. Если Хинтон целиком стоит на алармистких позициях и даже ушел из Google, чтобы свободнее критиковать работу компании и призывать к ограничениям исследований, то Лекун считает угрозу надуманной — возникающей от непонимания того, чем на самом деле является искусственный интеллект. Возможно, в споре Хинтона и Лекуна Нобелевский комитет сделал собственную ставку — и именно поэтому включил в число лауреатов первого, а не второго (если что, это — не факт что смешная — шутка).

Нет среди лауреатов и создателей трансформера — нейросетевой архитектуры, которая по состоянию на 2024 год захватила весь «рынок» и применяется буквально везде, от чат-ботов до тех же задач машинного зрения, где сверточные нейросети недавно доминировали безраздельно. О том, как работает трасформер и что сейчас происходит с областью, переживающей экспоненциальны бум, мы подробно писали в самом начале года (обратите внимание на список курсов и лекций в конце материала).

Все эти «страшные упущения» Нобелевского комитета, конечно, таковыми не являются. Упомянуть об этом важно только для понимания текущего состояния области и контекста того, за что дали премию на этот раз.

Никто не может оспорить вклада Хинтона и Хопфилда в развитие ИИ — он действительно очень велик. Помимо примеров конкретной архитектуры нейросетей, которые уже не то чтобы активно используются, Хинтон, например, создал один из важных методов анализа и визуализации данных, алгоритм t-SNE. Что еще важнее, он популяризировал (может быть, и открыл — но это как раз спорно) главный метод обучения современных нейросетей — метод обратного распостранения ошибки, — в статье, опубликованной в журнале Nature еще в 1986 году. Уже этого вклада было бы достаточно для того, чтобы если не получить премию, то по крайней мере войти в шорт-лист комитета.

Отдел «Разбор»