VMTech
Обсудить проект →

OpenAI автоматизировала расследование замедлений ChatGPT с помощью Codex

OpenAI автоматизировала расследование замедлений ChatGPT с помощью Codex

OpenAI представила Performance Factory — облачную систему, которая с помощью Codex расследует и помогает устранять регрессии производительности ChatGPT. За немногим более трёх месяцев первый сценарий, Regression Workflow, обработал свыше 1 700 расследований, установил причины более 600 случаев и в среднем запускал 17 автоматизированных проверок в день.

Как устроен путь от алерта до проверки исправления

Когда настроенный алерт фиксирует ухудшение метрики, система создаёт задачу. Агент определяет, какие показатели ухудшились, когда началось изменение и какие запросы оказались затронуты. Для этого он использует метрики, логи, трассировки, CPU-профили и снимки памяти, доступные инженерам OpenAI.

Далее Codex сопоставляет момент деградации с развёртываниями и изменениями флагов функций, изучает код и проверяет, могло ли изменение попасть в затронутые запросы. Результаты сохраняются в задаче, а не только в контексте одного запуска агента: работу могут продолжить другой агент или инженер.

Архитектура Performance Factory включает сервис задач с настраиваемыми сценариями, цикл диспетчеризации, API для запуска Codex в облаке и подписки на события. Подписки позволяют не держать агента активным во время ожидания: задача снова становится доступной, например, после комментария к GitHub pull request или завершения развёртывания.

Проверка выводов и роль инженера

OpenAI добавила состязательную проверку диагноза отдельным сеансом Codex. Второй агент перепроверяет предположения и контрфактические условия: например, не ухудшились ли запросы без нового релиза и восстановилась ли метрика после отката предполагаемой причины.

В одном из расследований первоначальный агент связал сбои диалогов ChatGPT с ошибками загрузки изображений. Проверяющий агент заметил, что внутренний сервис поиска файлов уже восстановился, хотя запросы изображений продолжали завершаться ошибкой. Он вернул задачу в расследование, поскольку объяснение не покрывало продолжающиеся отказы.

В ручной оценке 100 предложений о первопричинах OpenAI признала точными 70% выводов. В остальных случаях требовалась доработка либо причинно-следственная связь была установлена не полностью. Поэтому компания разделяет расследование, критическую проверку и подготовку исправления на отдельные специализированные запуски.

Исправление остаётся зоной инженерного решения

После успешной проверки диагноза агент готовит исправление и открывает pull request. Инженер решает, принимать ли изменение. Задача содержит сводку о влиянии инцидента, причине и предложенном решении, а также временные ряды метрик, flame graph и трассировки.

Такой подход продолжает практику, которую описывает Как агентные модели Codex меняют работу инженеров, где агентные модели Codex расширяют возможности инженеров при сохранении их ответственности за технические решения. OpenAI отдельно указывает, что предложенные агентом правки иногда оказываются сложнее необходимого или создают новые проблемы.

После развёртывания агент проверяет возврат производительности к прежнему уровню. При полном восстановлении задача закрывается; при частичном улучшении создаётся новая задача для оставшегося замедления, а при отсутствии эффекта расследование начинается заново.

Что это означает для команд

OpenAI планирует применять ту же схему к проактивному поиску небольших ухудшений и оптимизаций, которые не попали в алерты, а также к типовым задачам вроде настройки автоскейлинга. Практический вывод для бизнеса: повторяемый сбор доказательств и проверку инцидентов можно передавать агентам, но оценку компромиссов, рисков и выпуск изменений следует оставлять инженерам.

#openai#codex#chatgpt#automation
Открытая аналитика
На сайте 7 просмотров
мин чтения 4 19.11.2026
Instagram

OpenAI автоматизировала расследование замедлений ChatGPT с помощью Codex

Открыть публикацию в Instagram ↗