Anthropic призвал замедлить развитие искусственного интеллекта

На фоне инвестиционного бума искусственного интеллекта один из флагманов — Anthropic — призвал всю отрасль замедлить разработку новых моделей.

По мнению сооснователя Джека Кларка, модели находятся на пороге рекурсивного саморазвития, которое может нести риски для всего человечества. «Если системы станут способны сами производить потомков, их безопасность, мониторинг и управление поведением станут намного важнее, чем сейчас», — говорится в письме.

Компания-создатель Claude выделяет три ступени эволюции больших моделей, которые прошла с 2023 года, — чат-бот, агент-помощник кодера и автономный агент. Следующий этап — замкнутая петля разработки: «агенты, способные самостоятельно создавать и обучать собственные модели». Сейчас в Claude 80% кода сгенерировано самим ИИ, до 100% остался год-два.

Добровольные ограничения маловероятны, признает Anthropic: «Скрыть обучение новой модели намного проще, чем строительство ракетной шахты», а любой участник гонки, не пожелавший соблюдать паузу, получит шанс вырваться вперед. Тем не менее отрасли нужны рамки, считает Кларк: «Сейчас все выглядит так, что у отрасли есть педаль газа, но нет педали тормоза».

Почему это важно?

Anthropic готовится к IPO с оценкой около $1 трлн. Компания систематически подает себя как наиболее ответственного среди конкурентов разработчика ИИ. Она, в частности, предупреждает о разрушительном воздействии физических ИИ-агентов на рынок труда и предостерегает о рисках автономного военного ИИ.