Платформа для ИИ-контента Civitai стала маркетплейсом дипфейков знаменитостей, что запрещено ее же правилами — исследование

Онлайн-маркетплейс Civitai, поддерживаемый венчурным фондом Andreessen Horowitz (a16z), позволяет пользователям покупать и продавать файлы с инструкциями для создания дипфейков знаменитостей, включая порнографические изображения, запрещенные правилами самой платформы. Об этом говорится в исследовании ученых из Стэнфордского и Индианского университетов, которые проанализировали запросы пользователей на сайте с середины 2023 года до конца 2024 года.

Исследователи обнаружили, что значительная часть запросов касалась дипфейков реальных людей, причем 90% из них были направлены на женщин. В запросах пользователи просили создать «высококачественные» модели для генерации изображений публичных персон — например, блогера Чарли Д'Амелио или певицы Грейси Абрамс, часто прикладывая ссылки на их соцсети. 86% запросов на дипфейки касались специальных файлов инструкций LoRA, которые «обучают» общедоступные ИИ-модели, вроде Stable Diffusion, создавать контент, для которого они изначально не предназначались. Лучшие работы получали оплату от $0,50 до $5, при этом почти 92% запросов были выполнены.

Платформа также предоставляет образовательные материалы о том, как использовать внешние инструменты для дополнительной настройки генераторов изображений — например, для изменения позы человека. Исследователи отметили, что количество порнографии на платформе выросло, и большинство еженедельных запросов теперь касаются NSFW-контента. Civitai автоматически помечает запросы на дипфейки и предлагает изображенным людям вручную запросить удаление контента, но не занимается проактивной модерацией.

В мае 2025 года компания объявила о запрете всего дипфейк-контента — до этого она запрещала только откровенно сексуальные дипфейки. Однако бесчисленные запросы на дипфейки, поданные до этого запрета, по-прежнему доступны на сайте, как и многие материалы, созданные в результате выполнения этих запросов. В том же месяце процессор кредитных карт компании прекратил работу с Civitai из-за проблем с контентом, сгенерированным без согласия, после чего для покупки баллов для генерации откровенного контента пользователям пришлось перейти на подарочные карты или криптовалюту.

Civitai получила инвестиции в размере $5 млн от инвестфонда Andreessen Horowitz в ноябре 2023 года. Основатель и гендиректор компании Джастин Майер тогда описывал свою цель как создание главной площадки, где люди находят и делятся ИИ-моделями для индивидуальных целей. Это не первая проблема с дипфейками в инвестиционном портфеле a16z — в феврале 2025 года MIT Technology Review сообщала, что другая компания фонда, Botify AI, размещала ИИ-компаньонов, напоминающих реальных актеров младше 18 лет, которые вели сексуально окрашенные беседы.

Ранее европейская комиссия начала расследование в отношении чат-бота Grok. Оно оценит, выполняет ли соцсеть Twitter (Х) требования цифрового законодательства ЕС. До этого Еврокомиссия назвала незаконными и отталкивающими созданные с помощью ИИ Grok изображения реальных раздетых женщин и детей, распространяемые в Twitter.