Проблема генерации аналитических данных
Создание качественных датасетов для обучения AI-агентов в сфере профессиональной аналитики сталкивается с фундаментальной проблемой: прямая генерация задач из сырых данных часто упускает глубокие вопросы, возникающие в процессе исследования. Существующие подходы не обеспечивают достаточной верификации результатов, что делает обучение ненадежным. Авторы работы из Университета Цинхуа и других институтов предлагают решение через эволюцию рабочего пространства (workspace evolution).
Методология DataPraxis
Новый фреймворк DataPraxis строит задачи на основе накопленных и проверенных выводов. Процесс включает:
- Верификацию на каждом шаге: Находки и артефакты проверяются до их добавления в рабочее пространство.
- Комбинирование: Готовые рабочие пространства наследуются и комбинируются для выявления более сложных зависимостей и вопросов.
- Финальную проверку: Итоговые задачи верифицируются как в процессе эволюции, так и после сборки.
В результате создан датасет DataPraxis-5K, содержащий 5 000 верифицированных траекторий анализа в различных доменах и форматах вывода.
Результаты бенчмарков
На базе датасета DataPraxis-5K обучены две модели: DataPraxis-27B и DataPraxis-35B-A3B. Модель DataPraxis-27B демонстрирует выдающиеся результаты, сопоставимые с передовыми коммерческими решениями, такими как GLM-5.2, несмотря на меньший размер параметров.
| Модель | Размер (параметры) | DABStep | JobBench | Сравнение |
|---|---|---|---|---|
| DataPraxis-27B | 27B | 55.11 | 51.9 | На уровне GLM-5.2 |
| GLM-5.2 | Инфо недостаточен | ~55.11 | ~51.9 | Флагманский референс |
Значение для индустрии
Работа демонстрирует, что качество данных для обучения аналитических агентов важнее их количества. Верифицированная эволюция рабочих пространств позволяет создавать сложные сценарии, требующие многошагового рассуждения. Датасет DataPraxis-5K открыт для сообщества, что может ускорить развитие специализированных AI-ассистентов для бизнеса и науки.
Источник: arXiv cs.AI ↗