Чат-боты оказались способны внушать ложные воспоминания

Чат-боты и помощники на основе искусственного интеллекта могут тонко вводить пользователей в заблуждение и даже внедрять ложные воспоминания. Галлюцинации свойственны самому ИИ, но он может заставить галлюцинировать людей, заявил журналу The Atlantic ученый из Массачусетского технологического института Пат Патаранутапорн.

Ученый специализируется на изучении взаимодействия биологических и цифровых систем. Патаранутапорн вместе с коллегами провел исследование поведения ИИ, применив метод психолога из Калифорнийского университета в Ирвайне Элизабет Лофтус. Ученая в конце ХХ века установила, что человеческая память не является чем-то постоянным и ею можно манипулировать.

Психолог во время одного из экспериментов внушила участникам ложное воспоминание о том, как каждый из них потерялся в торговом центре. Ученая собрала рассказы их близких о детстве и составила правдоподобные, но полностью выдуманные рассказы. По словам Патаранутапорна, этот эксперимент из прошлого помог ему понять: раз вызвать ложные воспоминания можно так же просто, как вести беседу, — это идеальная задача для больших языковых моделей, способных быстро генерировать текст.

Команда Патаранутапорна собрала свою группу испытуемых и показала им видеозапись ограбления. Затем ученые попросили участников воссоздать картинку, которую те увидели. Исследователи задавали одной группе вопросы по заранее заготовленной анкете в Google Forms, второй — по той же анкете в формате простого чат-бота, а третьей — через чат-бот с генеративным ИИ. Этот чат-бот был настроен, чтобы соглашаться с ответами участников и усиленно внедрять ложную информацию. Четвертая группа была контрольной — ее участников не пытались запутать, просто задавая вопросы об увиденном. В результате генеративный ИИ успешно вызвал ложные воспоминания у более чем трети испытуемых в своей группе. Эта доля оказалась выше, чем в любой другой группе.

Например, чат-бот задавал участникам вопрос: «Была ли камера наблюдения установлена перед магазином, где грабители оставили машину?» На самом деле на видео грабители пришли пешком. Но чат-бот намеренно фокусировал внимание на камере, подспудно внушая мысль о машине. Когда участник подтверждал, что камера находилась перед магазином, чатбот продолжал внушать дезинформацию: «Ваш ответ верен. Перед магазином, где грабители оставили машину, действительно была установлена камера наблюдения... Ваше внимание к этой детали заслуживает похвалы и будет полезно для нашего расследования».

Сотрудничавшая с исследовательской группой Патаранутапорна психолог Калифорнийского университета в Ирвайне Лофтус рассказала The Atlantic, что чат-бот применил один из самых мощных приемов манипулирования памятью. ИИ, по ее словам, подсунул ложь в, казалось бы, не имеющий отношения к делу вопрос. «Когда вы даете людям обратную связь по поводу их ответов, вы влияете на этих людей», — объяснила Лофтус. Если, по словам психолога, эта обратная связь позитивна, — а ответы ИИ, как правило, окрашены позитивно, — люди с готовностью примут и правду, и ложь.

Результаты исследования опубликованы, но еще не прошли рецензирование, уточнил The Atlantic.

Итоги эксперимента ученых из Массачусетского технологического института отражают устоявшуюся человеческую привычку доверять автоматизированным системам и моделям искусственного интеллекта, даже если те ошибаются, заявил журналу исследователь ИИ из Принстона Саяш Капур. Люди, по словам ученого, ожидают от компьютеров объективности и последовательности. Современные генеративные чат-боты предоставляют авторитетные, рационально звучащие объяснения в виде маркированных списков, ссылаются на источники и могут почти подхалимски соглашаться с пользователями — это делает их убедительными, даже когда ИИ ошибается, подчеркнул Капур. «Троянские кони», которые могут внедрить ложную память, — это именно те случайные ошибки, к которым склонны большие языковые модели, обратил внимание ученый.

Уже были прецеденты, когда юристы во время разбирательств в суде [ссылались](https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/#:~:text=New%20York%20lawyers%20sanctioned%20for%20using%20fake%20ChatGPT%20cases%20in%20legal%20brief,-By%20Sara%20Merken&text=NEW%20YORK%2C%20June%2022%20(Reuters,an%20artificial%20intelligence%20chatbot%2C%20ChatGPT.) на дела, полностью сфабрикованные ChatGPT, пишет журнал.

Сами по себе чат-боты не более убедительны, чем люди, и не обязательно обманчивы, заявил в разговоре с The Atlantic исследователь ИИ из Университета Мэриленда Джордан Бойд-Грабер. По словам ученого, в реальном мире результаты работы искусственного интеллекта по большей части оказываются полезными. Но если человек ожидает честных или авторитетных результатов по незнакомой теме, а чат-бот ошибается или воспроизводит манипулятивный сценарий, как во время эксперимента Лофтус, то убеждающие возможности технологии становятся опасными, подчеркнул Бойд-Грабер.

Чтобы получать главные новости быстрее, подпишитесь на наш телеграм и твиттер.