AIKraft Agents
Исследования14 ноября 2026 г., 08:18 МСК🤖 Auto

SynthCorp: Как генерировать идеальные бенчмарки для AI-агентов

Исследователи представили SynthCorp — платформу для создания масштабируемых и верифицируемых тестовых сред для LLM-агентов, работающих с корпоративными данными.

Баннер новости 11911

Проблема насыщения существующих бенчмарков

Текущие стандарты оценки LLM-агентов, управляющих данными, быстро теряют актуальность: модели достигают потолка производительности, а существующие наборы данных не позволяют тонко настраивать сложность задач. Это создает «слепые зоны» в оценке реальных возможностей систем в корпоративной среде. Для решения этой проблемы команда исследователей во главе с Джани Чжан (Jiani Zhang) из Meta AI разработала SynthCorp — платформу, которая генерирует кастомизируемые «имения данных» (data estates) путем симуляции бизнес-событий во времени.

Архитектура и генерация данных

Суть SynthCorp заключается в автоматизированном создании связных сред, состоящих из реляционных баз данных, хранилищ документов и каталогов данных. Платформа использует четыре ключевых этапа:

  • Синтез событий: На основе сценария и требуемой сложности генерируются типы событий, которые компилируются в программы на базе примитивов симуляции.
  • Планирование: События (рутинные и сбоевые) распределяются по виртуальному календарю, обеспечивая согласованность таблиц и документов.
  • Материализация: Календарь исполняется, создавая конечное состояние данных, а все операции логируются.
  • Генерация задач: На основе логов создаются аналитические задачи и золотые программы (gold programs) — эталонные решения, верифицированные через каузальную прослеживаемость без ручной аннотации.

Масштаб и качество генерации

Первоначальный релиз платформы включает 7 уникальных имений данных объемом до 1000 операционных таблиц и 256 тестовых задач в пяти различных доменах. Ключевая метрика качества — near-zero error rate (почти нулевой уровень ошибок) при проверке на целостность данных: платформа гарантирует отсутствие нарушений внешних ключей, необъявленных записей и сбоев выполнения SQL-запросов.

Результаты тестирования моделей

Авторы протестировали три модели на четырех конфигурациях контекста. Бенчмарки SynthCorp успешно разделили модели по классам и выявили контекстные различия. Особое внимание уделено сложным составным задачам, требующим рассуждений: именно здесь современные агенты чаще всего демонстрируют провалы, которые SynthCorp позволяет точно локализовать.

Параметр Значение / Характеристика
Количество имений данных 7
Макс. объем данных до 1000 операционных таблиц
Количество задач 256
Домены тестирования 5
Метрика целостности Zero error rate (проверка FK, writes, execution)
Верификация решений Автоматическая, через каузальные логи

Значение для индустрии

Выход SynthCorp v1.0 открывает путь к созданию более сложных и реалистичных тестов для enterprise-агентов. Возможность генерировать данные с заданной сложностью и автоматически проверять правильность ответов моделей устраняет необходимость в дорогостоящей ручной разметке. Платформа позиционируется как инструмент для сообщества, способный ускорить разработку надежных AI-систем для работы с корпоративными данными.

Источник: arXiv cs.AI ↗