Проблема хрупких пайплайнов
Традиционные конвейеры обработки данных (data pipelines) часто ломаются из-за изменений в схемах JSON, сдвигов в пунктуации или изменения DOM-структур на сайтах. Существующие инструменты мониторинга лишь генерируют алерты, перекладывая ответственность на инженеров, что приводит к высокому среднему времени восстановления (MTTR) и выгоранию команд.
Архитектура AegisFlow
Команда разработчиков (Muhammad Bilal Awan, Zubair Hussain, Abdul Shahid) предложила фреймворк AegisFlow, который замыкает петлю между обнаружением и устранением сбоев. Система работает по модели MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) и использует два ключевых агента:
- Watchdog Agent: собирает телеметрию в реальном времени.
- Repair Agent: на основе LLM генерирует, тестирует и разворачивает патчи для кода.
Ключевая особенность — модель Parallel Shadow Patching. Патчи сначала применяются в цифровой копии (digital twin) среды, что позволяет безопасно верифицировать исправление до внедрения в продакшн.
Результаты бенчмарков
В ходе тестирования на пяти сценариях сбоев AegisFlow продемонстрировал выдающиеся результаты. Система способна освободить до 98% времени инженеров от «тушения пожаров».
| Метрика / Сценарий | Результат |
|---|---|
| Сокращение MTTR | С 170 мин до 3,2 мин (улучшение на 98,1%) |
| Общая успешность патчей | 92% |
| Исправление сдвигов JSON-схем | 96% |
| Исправление пунктуационных сдвигов | 98% |
| Работа с Shadow DOM | 85% (наименее успешный сценарий) |
Значение для индустрии
AegisFlow является deployment-агностичным решением: его можно развернуть в виде плагина в существующие системы оркестрации с минимальными усилиями. Это переводит роль Data Engineer от реактивного исправления ошибок к проактивной разработке и инновациям.
Источник: arXiv cs.AI ↗