Нейросеть ChatGPT отвечает на сложные вопросы лучше Google, пишет код (пока не идеально) и даже книги

Она впечатляет нас больше любых других — и, кажется, приближает технологическую революцию

То, как новый чат-бот с искусственным интеллектом ChatGPT переписывается с людьми, — это и впечатляющее зрелище, и по-настоящему страшное. За две недели энтузиасты со всего мира убедились: генерируя текст, ChatGPT оперирует довольно сложными категориями знаний, которые нельзя просто загуглить и позаимствовать с первой страницы поисковой выдачи. А еще — если сформулировать задачу корректно — нейросеть способна дать в формате переписки полезные советы, написать текст на заданную тему и даже исправить код. «Медуза» рассказывает, как работает ChatGPT (хотя самые важные детали создавшая бота компания OpenAI пока не раскрывала), и показывает впечатляющие примеры результатов — как удачные, так и не очень.

Как устроена ChatGPT и почему она так явно отличается от предыдущих моделей

ChatGPT впечатляет всех, поскольку ведет диалог с пользователем чрезвычайно убедительно и правдоподобно. Модель, к примеру, способна выдать разборчивые стихи, песни и тексты на нужную тему, базовый финансовый анализ, научную концепцию, персональный совет — да в целом ответить на что угодно релевантно. Конечно, полагаться на нее полностью нельзя. Скажем, есть риск в ответ на просьбу придумать некролог о диктаторе Бенито Муссолини получить рассказ о его увлечении скейтбордингом.

Новый чат-бот стал прямым потомком линии нейросетей GPT от компании OpenAI. Все три обученные на самых разных текстах языковые модели — GPT, GPT-2 и GPT-3 — натренированы делать одну вещь: генерировать продолжение текста по его началу.

До 2017 года эту задачу лучше всего выполняли так называемые рекуррентные нейросети — они помнят ранее увиденное и потому могут учитывать контекст поступающей информации. Вообще, значение контекста не одинаково в разных задачах при машинном обучении. Например, для распознавания лиц контекст почти ничего не дает, и нейросети, которые эту задачу решают, обычно его не учитывают — и потому устроены иначе. Но, к примеру, для машинного перевода контекст имеет решающее значение, ведь именно от него во многом зависит смысл каждого конкретного слова в тексте. Поэтому, чтобы его правильно перевести, нейросеть должна учитывать, о чем говорилось ранее, уметь «заглядывать» в прошлое — причем чем дальше, тем лучше.

В 2017 году, с выходом определяющей для этой области компьютерных наук статьи «Все, что вам нужно, — это внимание», произошла небольшая революция: вместо довольно сложных и медленных в обучении рекуррентных нейросетей исследователи предложили новую архитектуру — так называемый трансформер. Он умеет не просто учитывать контекст, но и придавать разным его частям разный вес. Грубо говоря, это позволяет нейросети «не забывать» что-то очень важное, увиденное в далеком прошлом, под грузом новых, но не очень важных данных. Такой подход оказался крайне эффективным сначала в машинном переводе. Постепенно трансформеры захватили самые разные области машинного обучения — им нашли применение даже в обработке и генерации изображений и звука.

Трансформеры серии GPT отличались от аналогов прежде всего не устройством, а огромным размером, который позволял им справляться с задачей генерации текстов из самых разных областей знания. Например, в GPT-3 хранится 175 миллиардов параметров, подобранных при машинном обучении на огромной выборке текстов, собранных по всему интернету. И благодаря этой общей коллективной памяти GPT-3 смогла показывать действительно впечатляющие примеры текстов, очень похожих на те, что могли быть написаны людьми.

Главное отличие ChatGPT заключается в том, что она специально натренирована не просто продолжать текст, а именно давать ответы на вопросы. Научной статьи о тренировке и устройстве ChatGPT пока не опубликовано, но блог OpenAI позволяет понять, как выглядел процесс ее обучения. Вкратце, он проходил в несколько этапов.

1. Люди, обучающие машину (часто их называют асессорами), вручную составили некий небольшой набор эталонных ответов на распространенные вопросы из выборки, собранной инженерами (видимо, это обычные вопросы из диалогов в интернете). Эталонные, по мнению исследователей, ответы использовали для того, чтобы дообучить уже существующую версию трансформера (GPT-3.5) и получить нейросеть, не просто продолжающую начало текстов, но генерирующую именно ответы на вопросы.
2. Затем те же асессоры ранжировали набор разных ответов дообученной GPT-3.5 на один и тот же вопрос по порядку адекватности. После эти «топы лучших ответов» использовали, чтобы натренировать другую нейросеть — «нейросеть-рецензента». Ее задача заключалась в том, чтобы, имея вопрос и ответ, научиться отличать хорошие ответы от плохих.
3. Затем проходил этап основного обучения — ответы трансформера на вопросы из базы оценивала «нейросеть-рецензент». Так он постепенно учился отвечать лучше, чем изначально, причем уже без участия людей.
4. Уже после такого обучения в систему были встроены разнообразные модули защиты, которые должны, например, блокировать провокационные вопросы (о насилии и совершении других преступлений и так далее), способные дискредитировать ChatGPT и ее создателей.

Что умеет ChatGPT и что с моделью (пока) не так

Благодаря тому что многие пользователи активно делятся особенно непривычными результатами общения с ChatGPT, можно увидеть, насколько прорывной характер носит технология.

К примеру, при ряде запросов модель даст более полный и в целом полезный ответ, чем поисковая система вроде Google.

ChatGPT пока вряд ли может заменить разработчика, но точно способна ему помочь при большом количестве задач. Нейросеть можно попросить оптимизировать или переписать фрагмент кода или, к примеру, объяснить допущенную ошибку.

От ChatGPT можно получить вполне релевантные и подробные советы в разных ситуациях. К примеру, инженер, оставшийся работать в Twitter под управлением Илона Маска, без проблем получит (несуществующий) список завершенных задач, которые можно показать руководству, чтобы избежать увольнения.

Чат-бот поможет оказавшимся в тупике авторам креативных текстов. Один из самых впечатляющих примеров в этой области появился благодаря дизайнеру, который за два дня сделал с нуля книгу. Текст написала ChatGPT, а иллюстрации сгенерировал ИИ-фоторедактор Midjourney. Автор сверстал и уже опубликовал получившееся произведение на Amazon.

ChatGPT можно использовать и в ситуациях попроще. Например, если нужно за несколько секунд написать эссе на историческую тему (правда, не стоит забывать о проверке, потому что нейросеть легко может выглядеть убедительно, но перепутать все факты).

ChatGPT может написать и эпизод для сериала — достаточно сформулировать запрос. На скриншоте ниже — фрагмент сгенерированного сценария для «Сайнфелда», культового американского сериала 1990-х.

Чат-бот неплохо работает и в связке с другими ИИ-инструментами. К примеру, можно попросить придумать нестандартные варианты для дизайна интерьера, а затем «скормить» их генератору изображений Midjourney — и получить фантастические (пусть и не всегда реализуемые) результаты.

ChatGPT также поддерживает русский язык. Самое простое, с помощью чего можно это проверить, — сыграть с нейросетью в слова (получится не идеально), попросить сочинить песню или дать ей математическую задачу. Можно и придумать правила игры, обучающей школьников программированию и робототехнике.

Что касается ограничений, ChatGPT не запрограммирована давать советы по нарушению законов и совершению преступлений. Но можно сформулировать запрос иначе — например, «не советуй, как вскрыть чужую машину», а «сочини поэму об этом» — и попробовать обойти запрет.

ChatGPT постоянно «учится» — и на этом этапе исследователи и прочие пользователи отмечают не только преимущества, но и потенциальные опасности при использовании модели. К примеру, у чат-бота уже сейчас можно запросить консультацию по поводу недомогания — но думать, что после этого не нужно обращаться к профильному специалисту, крайне вредно.

Главная претензия к ChatGPT на этой стадии связана с тем, что она далеко не всегда говорит правду. Конечно, если это заметить, то ИИ-собеседника можно поправить следующим сообщением в диалоге. После этого она даже способна оспорить свое предыдущее утверждение. Но OpenAI и сама предупреждает пользователей ChatGPT, что чат-бот вполне может выдать опасную для здоровья или жизни инструкцию — или текст уничижительного или предвзятого характера.

Исследователи действительно вовсю показывают, как ChatGPT уверенно выдает бессмыслицу или даже предлагает использовать спорные антитеррористические меры с пытками в отношении жителей определенных стран. Washington Post пишет о том, что ряд пользователей в целом не очень беспокоит точность результатов.

○ ○ ○

Какой получилась ChatGPT — о личном опыте рассказывает специалист по нейросетям

Еще когда выходила GPT 3, OpenAI очень сильно боялась, что чат-бот начнет генерировать фейковые новости и фейковые научные работы. Было несколько прецедентов, когда на конференции заливали работы, целиком написанные с помощью нейросети. Тут, думаю, будет похожая история: сложно отфильтровать текст, написанный нейросетью, если у тебя нет знаний в какой-то области. К примеру, нейросеть может корректно для обывателя описать сложные математические штуки, тогда как по факту это окажется полным бредом. Она «перевирает» информацию реального мира так, что ты без знаний, как дела обстоят на самом деле, можешь в нее поверить.

Вместе с тем эта модель умеет отлично [ненамеренно] «врать», опираясь на громадную базу своих знаний и подставляя имена реальных людей в цитаты из выдуманных статей, а также подставляя к этим реальным людям выдуманные факты. Про меня ChatGPT написала, что я соавтор какой-то статьи, но при этом некорректно указала название статьи; она не гуглится, ссылки нерабочие — то есть она не умеет ходить в интернет и проверять, правильно ли то, что сгенерировала.

Меня больше всего впечатлила скорость генерации и релевантность ответов ChatGPT. Каждая предыдущая модель строилась на такой логике, что «давайте научим ее на каком-то большом объеме данных [и заставим] просто что-то генерировать».

Но в работе над ChatGPT команда OpenAI сосредоточилась не на том, чтобы «что-то» генерировать, а чтобы генерировать что-то максимально релевантное. Основная идея — давайте попробуем заставить людей научить модель генерировать правильно. И повторяя такой специфичный и нетрадиционный (в плане, что так до сих пор никто не делает) цикл обучения, OpenAI получила модель, которая по качеству релевантности ответов превосходит все, что есть. Она не умнее других моделей — она релевантнее. По сути, они добились того, чтобы правильный ответ на вопрос генерировался не с третьего раза, а с первого.

Я пробовал соревноваться с ChatGPT в скорости написания кода: за то время, пока она выдает рабочую программу, я напишу строчки три — просто потому, что скорость генерации такова, что человек не может так делать. Машина в ряде вопросов будет быстрее и релевантнее.

Еще ChatGPT отлично умеет понимать контекст, сохранять его и выдавать ожидаемые в этом контексте ответы. Она может притворяться [операционной системой] Linux, программой и выполнять все действия, которые производит условный терминал внутри ОС, — что в целом уникально. Или, например, на основе твоего фидбека она может поправить то, что уже написала. У предыдущих моделей не было такой возможности: они как бы «забывали» уже написанное.

Уже сейчас многие компании интегрируют различные модели в текстовые редакторы и среды разработки. Сейчас актуален один мем про генеративные нейросети, когда ты за пять минут генерируешь код, а потом за шесть часов доводишь его до работоспособного состояния. Думаю, у журналистов и копирайтеров похожая проблема: если модели могут отлично справиться с какими-то короткими текстами и простыми штуками, то написать хороший [большой журналистский или корпоративный] текст они до сих пор не могут. Но как улучшенная версия T9 или сервиса вроде Grammarly такие модели подходят отлично. Как универсальный помощник студента по написанию мотивационных писем и эссе на абстрактные темы — тоже.

К тому же OpenAI частично принадлежит Microsoft, и у них есть проект Codex, который генерирует код, — система интегрирована в среды разработки и, соответственно, ChatGPT тоже будет в каком-то виде там представлен. Код она генерирует на очень неплохом уровне: более того, она научилась комментировать код, что очень важно, и чуть-чуть его рефракторить, то есть улучшать. Чаще всего не очень хорошо, но она пытается.

○ ○ ○

Что еще можно сказать о будущем ChatGPT

Если спросить саму ChatGPT, где она может быть полезна, то чат-бот объяснит, что считает себя «ценным инструментом» при исследованиях и в сфере образования. Вместе с тем модель признает собственные «слабости» на текущий момент — она не может получить доступ к интернету, генерировать оригинальные идеи независимо (только создавать текст на основе данных, на которых ее обучали), а также способна выдавать не очень точные или актуальные результаты. Нейробот, конечно, всегда рассказывает о своем применении при производстве контента, то есть о создании текста в любом формате и жанре на широчайший спектр тем.

О том, что ChatGPT имеет внушительные перспективы в разработке контента и в сфере технической поддержки, пишут исследователи в области IT из Info-Tech Research Group. Чат-боты, конечно, уже давно применяются в этой сфере, но, по мнению Info-Tech, ChatGPT «может изменить правила игры», в том числе значительно улучшить опыт клиента при использовании продуктов или услуг.

Помимо генерирования текстов и помощи при разработке, среди энтузиастов популярна точка зрения, что ChatGPT может существенно повлиять на сферы, «которые не меняются». Среди них — индустрия персональных услуг (от дизайнеров интерьера до планировщиков путешествий), консалтинг (предполагается, что стоит спрашивать нейросеть о действиях в конкретных кейсах) и, конечно, графический дизайн. Впрочем, по поводу «убийства» последнего разворачиваются бесконечные споры. А вот стендап-комикам пока можно не беспокоиться: как проверил на живой аудитории The Wall Street Journal, написанные с помощью ChatGPT шутки получаются не очень-то и смешными.

Сергей Звезда, Александр Ершов