Проблема насыщения существующих бенчмарков
Текущие стандарты оценки LLM-агентов, управляющих данными, быстро теряют актуальность: модели достигают потолка производительности, а существующие наборы данных не позволяют тонко настраивать сложность задач. Это создает «слепые зоны» в оценке реальных возможностей систем в корпоративной среде. Для решения этой проблемы команда исследователей во главе с Джани Чжан (Jiani Zhang) из Meta AI разработала SynthCorp — платформу, которая генерирует кастомизируемые «имения данных» (data estates) путем симуляции бизнес-событий во времени.
Архитектура и генерация данных
Суть SynthCorp заключается в автоматизированном создании связных сред, состоящих из реляционных баз данных, хранилищ документов и каталогов данных. Платформа использует четыре ключевых этапа:
- Синтез событий: На основе сценария и требуемой сложности генерируются типы событий, которые компилируются в программы на базе примитивов симуляции.
- Планирование: События (рутинные и сбоевые) распределяются по виртуальному календарю, обеспечивая согласованность таблиц и документов.
- Материализация: Календарь исполняется, создавая конечное состояние данных, а все операции логируются.
- Генерация задач: На основе логов создаются аналитические задачи и золотые программы (gold programs) — эталонные решения, верифицированные через каузальную прослеживаемость без ручной аннотации.
Масштаб и качество генерации
Первоначальный релиз платформы включает 7 уникальных имений данных объемом до 1000 операционных таблиц и 256 тестовых задач в пяти различных доменах. Ключевая метрика качества — near-zero error rate (почти нулевой уровень ошибок) при проверке на целостность данных: платформа гарантирует отсутствие нарушений внешних ключей, необъявленных записей и сбоев выполнения SQL-запросов.
Результаты тестирования моделей
Авторы протестировали три модели на четырех конфигурациях контекста. Бенчмарки SynthCorp успешно разделили модели по классам и выявили контекстные различия. Особое внимание уделено сложным составным задачам, требующим рассуждений: именно здесь современные агенты чаще всего демонстрируют провалы, которые SynthCorp позволяет точно локализовать.
| Параметр | Значение / Характеристика |
|---|---|
| Количество имений данных | 7 |
| Макс. объем данных | до 1000 операционных таблиц |
| Количество задач | 256 |
| Домены тестирования | 5 |
| Метрика целостности | Zero error rate (проверка FK, writes, execution) |
| Верификация решений | Автоматическая, через каузальные логи |
Значение для индустрии
Выход SynthCorp v1.0 открывает путь к созданию более сложных и реалистичных тестов для enterprise-агентов. Возможность генерировать данные с заданной сложностью и автоматически проверять правильность ответов моделей устраняет необходимость в дорогостоящей ручной разметке. Платформа позиционируется как инструмент для сообщества, способный ускорить разработку надежных AI-систем для работы с корпоративными данными.
Источник: arXiv cs.AI ↗
