Техника opaque recurrence в Astra вызвала тревогу у экспертов по безопасности ИИ

OpenAI, как сообщил The Information, планирует использовать в новой модели Astra технику рассуждений recurrent depth, также называемую opaque recurrence («непрозрачная рекурсия»). Метод позволяет модели несколько раз обрабатывать один и тот же запрос в цикле; эксперты по безопасности ИИ опасаются, что это сократит число читаемых следов рассуждений и усложнит их мониторинг.

Чем рекурсия отличается от обычной цепочки рассуждений

У типичной reasoning-модели цепочка рассуждений представляет последовательные шаги, которые она выполняет при решении задачи. Такая запись не является прямым и идеальным отражением внутренних вычислений, но служит важным инструментом для проверки нежелательного или несогласованного поведения модели.

При opaque recurrence подход менее линейный: система возвращается к одному запросу и обрабатывает его повторно. В результате остаётся меньше понятных человеку следов, а привычная запись chain of thought может не показывать существенную часть процесса.

Практическая ценность таких журналов уже проявлялась при изучении случаев нежелательной активности агентов OpenAI: они помогали установить, почему агенты действовали определённым образом. Этот контекст дополняет призыв снизить темп развития ИИ после инцидента, где обсуждался призыв снизить темп развития ИИ после инцидента с моделью OpenAI.

Опасения исследователей и позиция OpenAI

Генеральный директор Redwood Research Бак Шлегерис заявил, что особенно обеспокоен сообщениями о применении opaque recurrence в Astra. По его словам, дальнейшее наращивание рекурсии может существенно разрушить возможность мониторинга цепочек рассуждений.

Главный научный сотрудник Redwood Research Райан Гринблатт отметил риск развития архитектур, в которых рассуждения будут почти полностью происходить в латентном пространстве, вне видимых каналов. Зви Мовшовиц также написал, что более интенсивное использование подобных методов, вероятно, повредит мониторингу и может потребовать законодательных ограничений, чтобы избежать гонки лабораторий к менее проверяемым решениям.

При этом The Information указывает, что применение техники в Astra, по имеющимся сведениям, ограничено. OpenAI не согласилась с трактовкой, что модель перейдёт к «нейролингве», а главный научный сотрудник компании Якуб Пахоцкий подчеркнул: сохранение и использование читаемых цепочек рассуждений остаётся ключевой целью исследовательской программы.

Что учитывать компаниям

Для организаций, оценивающих reasoning-модели, история с Astra подчёркивает значение проверяемости наряду с качеством ответов. При внедрении ИИ стоит отдельно выяснять, какие журналы рассуждений и механизмы мониторинга доступны, поскольку ограниченная наблюдаемость усложняет разбор поведения системы в спорных случаях.