Проблема: приватность против реалистичности
Оценка эффективности Microsoft Copilot в корпоративной среде сталкивается с фундаментальным противоречием: для точного тестирования нужны данные, отражающие сложность реальных организаций (структуры, переписки, проекты), но использование реальных корпоративных данных невозможно из-за строгих требований к конфиденциальности. Microsoft решила эту дилемму, отказавшись от ручного создания тестовых наборов в пользу автоматизированной генерации.
Решение: Industry Evaluation Data Generation Platform
Исследователи разработали платформу, которая генерирует полномасштабные синтетические среды («тенанты»). Каждая такая среда — это изолированная виртуальная организация с реалистичными пользователями, историей встреч, электронной почтой и документами. Ключевая особенность системы — использование временной шкалы: данные эволюционируют во времени, что позволяет тестировать запросы, чувствительные к контексту (например, «Что решила команда в прошлый четверг?»).
Основа данных: публичные источники
Чтобы синтетические данные не были абстрактными, платформа опирается на три источника публичных данных, одобренных юридическим отделом Microsoft:
- O*NET: база данных профессий Министерства труда США для реалистичного распределения ролей и задач.
- Онлайн-вакансии: для формирования иерархий и описания должностей.
- Отчеты SEC: для определения масштаба бизнеса и структуры подразделений.
Три индустриальных симулятора
Платформа уже сгенерировала специфические среды для трех отраслей, где ошибки ИИ критичны. Ниже приведено сравнение их характеристик:
| Отрасль | Ключевые сценарии тестирования | Типичные запросы к Copilot |
|---|---|---|
| Фармацевтика | Регуляторные подачи, клинические испытания, кросс-функциональные проверки безопасности | Анализ рисков в протоколах испытаний, сводки по регуляторным требованиям |
| Капитальные рынки | Пайплайны сделок, комплаенс-коммуникации, обзоры портфелей клиентов | Выявление несоответствий в сделках, анализ изменений в портфеле |
| IT/Software | Планирование спринтов, код-ревью, координация запусков продуктов | Сводки по статусу задач, анализ изменений в коде, подготовка релизов |
Автоматизация запросов и валидация
Генерация сред — только половина работы. Microsoft внедрила 6-этапный конвейер автоматической генерации запросов. Система берет общие шаблоны рабочих задач, адаптирует их под отраслевой сленг и контекст синтетической среды, а затем использует ИИ для переписывания запросов в естественный человеческий язык. Каждый запрос проходит проверку на уникальность и точность привязки к данным.
Качество синтетических данных оценивается по трем параметрам: структурная точность (иерархии), семантическая достоверность (смысл) и временная согласованность. Этот подход позволяет Microsoft находить узкие места в работе Copilot, которые пропускают стандартные бенчмарки, обеспечивая безопасность и эффективность ИИ-ассистента без риска утечки реальных данных клиентов.
Источник: Microsoft Research ↗