Проблема: «Поверхностные» миры вредят обучению
Microsoft Research представила Echoverse — набор из 12 синтетических сред для тренировки компьютерных агентов. Ключевой вывод исследования: количество сред менее важно, чем их глубина. Обычные бенчмарки часто имитируют только визуальную часть интерфейса, игнорируя внутреннюю логику. Echoverse же воспроизводит причинно-следственные связи: состояние базы данных, права доступа и последствия действий.
Эксперимент показал парадоксальный эффект: модель, обученная на «глубоких» (высокоточных) версиях сайтов, теряла навыки на «поверхностных» (упрощенных) копиях тех же ресурсов. Это доказывает, что для реального использования агентам нужна симуляция реальной бизнес-логики, а не просто кликабельных кнопок.
Результаты: 9B-модель почти догнала GPT-5.4
Обучение на всех 12 мирах Echoverse позволило модели с 9 миллиардами параметров значительно улучшить показатели. Агенты научились справляться с типичными сложностями UI, такими как выбор дат (date pickers) и вложенные фильтры, которые ранее вызывали у них трудности.
| Метрика / Параметр | Значение | Примечание |
|---|---|---|
| Базовый результат (до обучения) | 36,5% | Исходная способность агента решать задачи |
| Результат после обучения на Echoverse | 67,1% | Почти двукратный рост эффективности |
| Отставание от GPT-5.4 | 14 процентных пунктов | Модель 9B стала конкурентом флагманским решениям |
| Количество сред | 12 | 10 доменных + 2 для отработки конкретных навыков |
Технология: Co-evolution (Совместная эволюция)
Главное нововведение Echoverse — цикл совместного улучшения. Это не просто этап обучения модели, а процесс, где каждая ошибка агента используется для двух целей:
- Обучение модели: провалы становятся данными для дообучения.
- Улучшение среды: если агент не может выполнить задачу, исследователи анализируют, не является ли проблема в неточности симуляции, и «чинят» мир, делая его верификатор и задачи сложнее и реалистичнее.
Такой подход позволяет среде расти вместе с моделью, избегая насыщения статических бенчмарков.
Почему это важно для индустрии
Тренировка агентов на реальных системах (почта, банки, CRM) невозможна из-за риска повреждения данных и отсутствия возможности сброса состояния. Echoverse предлагает безопасную альтернативу: синтетическую базу данных, которая ведет себя как настоящая, но позволяет бесконечно перезапускать сценарии. Microsoft уже открыла код и данные для четырех сред на GitHub и Hugging Face, что может стать стандартом для разработки автономных AI-ассистентов.
Источник: Microsoft Research ↗