Anthropic предупредила о близости к порогу самоускорения ИИ
Anthropic в обновлённой заявке S-1A сообщила, что в ближайшее время может достичь своего внутреннего определения «драматически ускоренного прогресса благодаря ИИ». Компания уже использует ИИ в исследованиях и разработке новых моделей, однако ни одна из её текущих моделей пока не была признана превысившей этот порог.
Что Anthropic называет риском
Речь идёт о рекурсивном самосовершенствовании, или RSI: использовании ИИ для создания более способных последующих поколений ИИ. Anthropic указывает, что такой процесс способен заметно ускорить темп развития моделей и создать существенный риск для безопасности.
В документе компания предупреждает, что рост возможностей моделей может опередить её способность разрабатывать, валидировать и внедрять соответствующие меры безопасности, выравнивания и защиты. Кроме того, Anthropic признаёт, что в прошлом не всегда выявляла значительное ускорение разработки до того, как оно уже происходило.
Внутренние оценки и ожидания относительно будущих моделей, как сказано в S-1A, указывают на возможность скорого достижения порога. При этом компания продолжает оценивать исходные данные и не относит к этому уровню ни одну существующую модель.
Человек должен остаться в контуре разработки
Anthropic отдельно заявила, что не ожидает безопасной возможности полностью поручить Claude автономное проектирование и создание следующих поколений передовых моделей без содержательного человеческого надзора или понимания процесса. Компания рассматривает обновления своей Responsible Scaling Policy, чтобы сохранить контроль людей над разработкой frontier-моделей.
Эта оговорка важна на фоне инвесторского внимания к компании: инвесторские ожидания вокруг Anthropic перед IPO показывает масштаб ожиданий вокруг Anthropic перед IPO, а новое раскрытие одновременно фиксирует и технологические амбиции, и связанные с ними ограничения.
Что это означает для компаний
Заявление не означает, что Anthropic уже создала саморазвивающийся ИИ. Оно описывает внутренний порог риска, который компания считает потенциально близким, и подчёркивает необходимость контроля при ускорении исследований.
Для бизнеса практический вывод состоит в том, чтобы при использовании ИИ сохранять человеческую проверку критичных решений, документировать работу автоматизированных процессов и заранее определять условия их остановки. Anthropic прямо связывает ускорение разработки с необходимостью не отставать в безопасности, выравнивании и защите.