Генерация сценариев для Industry 4.0: ускорение в 8 раз без потери качества

Проблема ручного создания бенчмарков

Существующие benchmarks для промышленных агентов, такие как AssetOpsBench, критикуются за reliance на сценарии, созданные вручную, и ограниченное покрытие классов активов. Это замедляет разработку и тестирование систем Industry 4.0. Авторы работы (Sagar Chethan Kumar, Rohith Kanathur, Dhaval Patel, Kaoutar El Maghraoui) предлагают решение, расширяющее AssetOpsBench за счет добавления класса активов Smart Grid Transformer и четырех диагностических инструментов, основанных на стандартах IEC.

Архитектура ScenarioGeneratorAgent

Новый конвейер генерирует сценарии, опираясь на реальные данные (evidence-grounded). Процесс включает:

• Создание профилей активов с привязкой к стандартам.
• Распределение бюджета сценариев с учетом покрытия операционных доменов.
• Генерацию кандидатов через гибридный цикл валидации и ремонта (validation-and-repair loop).

Система гарантирует schema validity, достижимость инструментов (tool reachability), физическую правдоподобность, соответствие стандартам и отсутствие дубликатов.

Оптимизация производительности

Для решения проблемы масштабируемости авторы внедрили комплекс мер оптимизации, включающих двухуровневое кэширование, параллельную генерацию фокус-групп, выгрузку в пул потоков (thread-pool offloading), пакетные вызовы LLM и раннюю фильтрацию отказов. Эти изменения позволили радикально сократить время выполнения задачи.

Результаты и метрики

Эксперименты показали, что оптимизированный конвейер сокращает время генерации 50 сценариев в 8 раз по сравнению с базовой версией, при этом качество сценариев не страдает. Ниже приведено сравнение ключевых показателей:

Результаты подтверждают, что стандартизированная генерация синтетических сценариев позволяет эффективно расширять бенчмарки для промышленных агентов, сохраняя высокую достоверность и физическую корректность данных.

Источник: arXiv cs.AI ↗