Проблема: от единичных ошибок к системному обучению
Корпоративные AI-агенты часто демонстрируют высокую общую способность, но терпят неудачи в специфичных для компании средах из-за уникальных рабочих процессов, правил и состояния данных. Главная сложность заключается не в фиксации единичных сбоев, а в масштабировании этих инцидентов в полноценные обучающие выборки. ServiceNow CoreAI разработала AutoSynthData — пайплайн, который превращает выявленные пробелы в компетенциях модели в структурированные данные для дообучения (post-training).
Архитектура: Целевая модель и «Учитель»
Система работает по принципу Curriculum Learning. Она оценивает целевую модель (target model) в среде, выявляет паттерны неудач, а затем использует более мощную модель-«учителя» (teacher), чтобы определить, как правильно решать эти задачи. На основе этого анализа генерируются новые задачи, которые:
- Реалистичны: имитируют реальные запросы пользователей.
- Исполнимы: существуют траектории решения в текущем состоянии среды.
- Сложны: бьют по слабым местам целевой модели, избегая уже решенных задач.
Метрика качества: Спецификации и Верификаторы
Ключевым элементом системы является абстракция задачи: task = (system specification, user prompt, verifier). AutoSynthData генерирует не просто промпты, а полные спецификации системных ограничений и верификаторы, которые проверяют успешность выполнения. Верификатор должен быть согласованным (consistency), строгим (soundness) и полным (completeness), чтобы не допускать ложноположительных результатов.
Двухфазная генерация данных
Процесс создания датасета разделен на два этапа для контроля качества и предотвращения «дрейфа» данных:
- Target (Целевая фаза): Генерация базовых образцов на основе «карт спецификаций способностей» (capability specification cards). Каждая кандидатура проходит валидацию, выполнение и проверку решателем.
- Multiply (Фаза масштабирования): Создание вариаций успешных образцов. Изменяются сущности, начальное состояние среды, комбинации инструментов и формулировки запросов. Важно: умноженные образцы не могут служить основой для дальнейшей генерации, что сохраняет связь с проверенным ядром.
Практическое применение: EnterpriseOps Gym
Для демонстрации эффективности методологии ServiceNow использовала среду EnterpriseOps Gym (Malay et al., 2026). В рамках эксперимента AutoSynthData успешно сгенерировала датасет, который позволил целевой модели научиться выполнять сложные рабочие процессы, ранее вызывавшие сбои. Система автоматически адаптирует сложность задач по мере улучшения модели, обеспечивая непрерывное обучение.
Источник: Hugging Face blog ↗