Проблема масштабирования коррективной обратной связи
Коррективная обратная связь — один из самых эффективных методов изучения второго языка. Однако в реальных уроках исправления редко систематизируются в понятную картину владения грамматикой. Использование передовых моделей (frontier models) для анализа транскриптов уроков решает эту задачу, но их стоимость при масштабировании становится неподъемной для массовых платформ.
Решение: Qwen3.5 0.8B против GPT-5.4/5.6
Авторы исследования (Marjan Celikik, Ana Peleteiro Ramallo, Javier Morales) закрыли этот разрыв, дообучив малые языковые модели (SLM) на Qwen3.5. Ключевым шагом стало использование фильтрованного и сбалансированного обучения, созданного учителями. Вместо громоздких инструкций в промптах, модель использует компактный "согласованный" промпт, так как логика аннотации уже "встроена" в веса адаптера.
Результаты тестирования на двух бенчмарках, курируемых людьми, показали, что развернутая модель 0.8B и референсная модель 4B превосходят промпченные GPT-5.4 и GPT-5.6 Sol по метрикам точности (precision) и полноты (recall). Оценка проводилась по все более строгим критериям вложенного совпадения: концепция, цитата-доказательство и правильность.
Сравнительные метрики производительности
| Модель | Тип | Результат (относительное превосходство) | Экономия затрат |
|---|---|---|---|
| GPT-5.4 / GPT-5.6 Sol | Frontier (Prompted) | Базовый уровень (ниже по precision/recall) | 1x (Базовая стоимость) |
| Qwen3.5 (4B) | SLM (Fine-tuned) | Превосходит GPT-5.x | Информация недостаточна |
| Qwen3.5 (0.8B) | SLM (Deployed) | Превосходит GPT-5.x | ~16x дешевле |
Бизнес-эффект: +13.2% GMV
Внедрение модели 0.8B в качестве трекера владения грамматикой для всех учеников платформы дало измеримые бизнес-результаты. Онлайн-эксперимент показал значительный рост вовлеченности учащихся (+15.8%). Ключевые бизнес-метрики также улучшились: количество запланированных часов занятий выросло на 2.1%, а валовая выручка (GMV) от новых уроков увеличилась на 13.2%.
Это исследование демонстрирует, что для специфических задач, таких как аннотация грамматики, дообученные малые модели могут не только конкурировать с флагманами, но и превосходить их, обеспечивая при этом кратное снижение операционных расходов.
Источник: arXiv cs.CL ↗