Автоматизация вместо ручного труда
Скорость разработки агентных систем сделала традиционную инженерную работу с производительностью неэффективной. В ответ OpenAI создала Performance Factory — облачную систему, которая полностью автоматизирует процесс расследования и исправления регрессий. Система использует возможности модели Codex для самостоятельного поиска причин замедления и предложения исправлений.
Ключевая метрика эффективности: за первые три месяца работы Regression Workflow (основной рабочий процесс системы) провела более 1 700 расследований и точно определила первопричины (root cause) в 600+ случаях. Это эквивалентно 17 автоматизированным расследованиям ежедневно.
Эволюция подхода: от ручного анализа к «Фабрике»
Команда OpenAI выделила шесть этапов эволюции своей работы с производительностью, демонстрирующих переход от ручного труда к полному доверию агентам:
- Pre-Codex: Инженеры вручную анализировали метрики, логи и трассировки, используя более 30 специализированных инструментов. Это требовало глубокого знания сервиса.
- Codex как партнер: Инженеры задавали вопросы модели, которая искала метрики и профилировала код, но процесс все еще требовал ручного управления.
- Reusable skills (perf-forensics): Процесс расследования был формализован в общий навык. Codex могла самостоятельно определить момент начала замедления, затронутые запросы и влияние деплоев.
- Human proxy: Инженеры выступали посредниками, копируя алерты в Codex и возвращая результаты в Slack.
- Automated investigations: Расследования переехали в облако, но исправление и проверка все еще требовали участия человека.
- The Factory: Полностью автономный цикл: от алерта до верификации восстановления производительности в продакшене.
Архитектура Performance Factory
Система состоит из четырех ключевых компонентов, работающих в связке:
| Компонент | Функция |
|---|---|
| Task Service | Хранит конфигурации рабочих процессов (в формате Markdown) и состояние задач. Позволяет инженерам видеть прогресс и передавать задачи коллегам. |
| Dispatch Loop | Периодически проверяет готовые задачи и назначает их агентам Codex, запуская следующий шаг в соответствии с инструкциями. |
| Codex in the Cloud | Облачная среда выполнения с доступом к репозиториям, метрикам, логам, трассировкам и профилям CPU/памяти. Работает под сервисным идентификатором для контроля прав. |
| Subscriptions | Механизм «пробуждения» агентов. Задача приостанавливается, если ждет действия человека (например, код-ревью в GitHub), и возобновляется при получении события. |
Почему это важно
Внедрение Performance Factory позволяет OpenAI масштабировать поддержку качества ChatGPT без линейного роста числа инженеров. Система не просто находит баги, но и управляет полным жизненным циклом их исправления, включая интеграцию с CI/CD и GitHub. Это новый стандарт для инженерных команд, работающих с высоконагруженными LLM-сервисами, где скорость реакции на регрессии критична для пользовательского опыта.
Источник: OpenAI ↗
