Проблема: «Слепота» агентов и юридические барьеры
Обучение и оценка AI-агентов, использующих вызовы инструментов (tool-calling), в корпоративной среде сталкивается с тупиком. Компании не могут раскрывать реальные базы данных и схемы из-за строгих правил безопасности и конфиденциальности. Существующие методы генерации данных имеют критические недостатки:
- Статистические синтетизаторы: требуют исходных данных (seed data) для обучения, что часто невозможно получить.
- Агенты с привилегиями схем: работают с известной структурой БД, но терпят неудачу в сложных сценариях. Например, в симуляции авиакомпании они проваливают 82% задач из-за хрупкости композиции задач в тесно связанных рабочих процессах.
Решение: Synthesis Through Simulation (STS)
Авторы предлагают парадигму Synthesis Through Simulation (STS). Вместо генерации «мертвых» таблиц, LLM-агент (Generalist Populator, GP) взаимодействует с симулированной корпоративной средой через API, подчиняющиеся политикам безопасности. Данные создаются в процессе выполнения операций, что гарантирует их структурную корректность «по построению» (by construction), так как среда сама диктует правила валидности.
Результаты: 100% валидность без схем
Метод STS позволяет агенту генерировать данные, не зная структуры базы данных. В тестировании на 10 различных корпоративных средах (включая сложную среду авиакомпании) Generalist Populator показал следующие результаты:
| Метрика | Показатель STS (Generalist Populator) | Сравнение с альтернативами |
|---|---|---|
| Средняя маржинальная верность распределению (Marginal Fidelity) | 0.88 | Высокая точность без доступа к реальным данным |
| Удовлетворение ограничений (Constraint Satisfaction) | 100% | Все 10 сред прошли тест без ошибок |
| Применимость статистических методов | Н/Д | Неприменимы в 7 из 10 сред из-за отсутствия seed-данных |
| Успешность schema-privileged агентов | Н/Д | Провал 82% траекторий в среде авиакомпании |
Значение для индустрии
STS разделяет задачи обеспечения структурной валидности и моделирования распределения данных. Это позволяет масштабировать обучение AI-агентов на реалистичных, но синтетических данных, не нарушая compliance-требований. Авторы открыли исходный код фреймворка, все 10 симулированных сред и сгенерированные наборы данных, что создает новую базу для тестирования enterprise-решений.
Источник: arXiv cs.AI ↗