Проблема: обратная связь от учеников — узкое место
Создание эффективных AI-репетиторов требует понимания того, как ученик реагирует на подсказки. Традиционно это проверяется через дорогостоящие и медленные исследования с реальными людьми. Microsoft Research предлагает решение: StudentSim — система, которая обучает персонализированных AI-симуляторов на основе обезличенных записей реальных студентов. Это не продукт для классов, а инструмент для исследователей, позволяющий итеративно улучшать модели до тестирования с людьми.
Две ключевые метрики: верность и отзывчивость
Система оценивает симуляторы по двум образовательным параметрам, основанным на «зоне ближайшего развития» Выготского:
- Behavioral Fidelity (Поведенческая точность): Насколько точно симулятор воспроизводит ответы конкретного студента на новых задачах.
- Guidance Responsiveness (Отзывчивость на guidance): Способен ли симулятор изменить свой ответ после получения подсказки от репетитора.
Результаты: StudentSim против базовых моделей
В бенчмарке StudentSimEval, охватывающем шахматы, письмо на английском как втором языке и математику, StudentSim значительно превосходит аналоги. Ниже приведены результаты в домене шахмат, где конкуренция особенно высока:
| Модель | Behavioral Fidelity | Guidance Responsiveness |
|---|---|---|
| StudentSim (Microsoft) | 0.5150 | 0.9067 |
| GPT-5.4 (Role-play) | 0.2316 | 0.7186 |
| Maia2 (Chess-specific) | 0.4535 | 0.2721 |
Как видно из таблицы, GPT-5.4 хорошо реагирует на подсказки, но плохо имитирует конкретного ученика, а Maia2 точно предсказывает ходы, но не умеет работать с текстовыми объяснениями. StudentSim объединяет оба преимущества.
Как это работает: двухэтапное обучение
Чтобы избежать переобучения на редких данных отдельных студентов, Microsoft использует двухэтапный пайплайн:
- Обучение на пуле: Модель изучает общие паттерны ошибок и форматы ответов, собирая данные от множества студентов одной предметной области.
- Персонализация: Модель дообучается на обезличенных записях конкретного студента, создавая его уникальный цифровой двойник.
Практическая польза: обучение через подкрепление
Исследователи протестировали использование симуляторов для оптимизации самих репетиторов через обучение с подкреплением (RL). В эксперименте с шахматным репетитором, AI-ученик получал подсказку от модели, и улучшение качества его следующего хода служило наградой для обучения репетитора. Это позволяет находить оптимальные стратегии объяснения, не тратя месяцы на сбор данных у реальных школьников.
Источник: Microsoft Research ↗