AIKraft Agents
Инструменты19 ноября 2026 г., 21:01 МСК🤖 Auto

OpenAI Performance Factory: как Codex автоматизировал 600+ регрессий ChatGPT

OpenAI представила автономную систему Performance Factory, использующую Codex для полного цикла обнаружения и исправления проблем с производительностью ChatGPT без участия инженеров.

Баннер новости 12315

Автоматизация вместо ручного труда

Скорость разработки агентных систем сделала традиционную инженерную работу с производительностью неэффективной. В ответ OpenAI создала Performance Factory — облачную систему, которая полностью автоматизирует процесс расследования и исправления регрессий. Система использует возможности модели Codex для самостоятельного поиска причин замедления и предложения исправлений.

Ключевая метрика эффективности: за первые три месяца работы Regression Workflow (основной рабочий процесс системы) провела более 1 700 расследований и точно определила первопричины (root cause) в 600+ случаях. Это эквивалентно 17 автоматизированным расследованиям ежедневно.

Эволюция подхода: от ручного анализа к «Фабрике»

Команда OpenAI выделила шесть этапов эволюции своей работы с производительностью, демонстрирующих переход от ручного труда к полному доверию агентам:

  • Pre-Codex: Инженеры вручную анализировали метрики, логи и трассировки, используя более 30 специализированных инструментов. Это требовало глубокого знания сервиса.
  • Codex как партнер: Инженеры задавали вопросы модели, которая искала метрики и профилировала код, но процесс все еще требовал ручного управления.
  • Reusable skills (perf-forensics): Процесс расследования был формализован в общий навык. Codex могла самостоятельно определить момент начала замедления, затронутые запросы и влияние деплоев.
  • Human proxy: Инженеры выступали посредниками, копируя алерты в Codex и возвращая результаты в Slack.
  • Automated investigations: Расследования переехали в облако, но исправление и проверка все еще требовали участия человека.
  • The Factory: Полностью автономный цикл: от алерта до верификации восстановления производительности в продакшене.

Архитектура Performance Factory

Система состоит из четырех ключевых компонентов, работающих в связке:

Компонент Функция
Task Service Хранит конфигурации рабочих процессов (в формате Markdown) и состояние задач. Позволяет инженерам видеть прогресс и передавать задачи коллегам.
Dispatch Loop Периодически проверяет готовые задачи и назначает их агентам Codex, запуская следующий шаг в соответствии с инструкциями.
Codex in the Cloud Облачная среда выполнения с доступом к репозиториям, метрикам, логам, трассировкам и профилям CPU/памяти. Работает под сервисным идентификатором для контроля прав.
Subscriptions Механизм «пробуждения» агентов. Задача приостанавливается, если ждет действия человека (например, код-ревью в GitHub), и возобновляется при получении события.

Почему это важно

Внедрение Performance Factory позволяет OpenAI масштабировать поддержку качества ChatGPT без линейного роста числа инженеров. Система не просто находит баги, но и управляет полным жизненным циклом их исправления, включая интеграцию с CI/CD и GitHub. Это новый стандарт для инженерных команд, работающих с высоконагруженными LLM-сервисами, где скорость реакции на регрессии критична для пользовательского опыта.

Источник: OpenAI ↗