Проблема приватности и локальный стек
В отличие от публичных AI-ассистентов, система CourseChat развернута на инфраструктуре кампуса (on-premises). Это гарантирует, что учебные материалы и диалоги студентов не покидают пределы университета. Архитектура построена на FastAPI сервисе, локальной векторной базе данных и модели LLM, управляемой через Ollama. Система интегрирована с платформой Moodle и работает за кампусным веб-шлюзом, обрабатывая запросы для шести изолированных курсов (каждый с уникальным CRN).
Битва моделей: почему 8B стала стандартом
Авторы провели серию бенчмарков для выбора оптимальной модели. Крупные модели не прошли «скоростной тест» (speed gate), необходимый для комфортного обучения. В результате был выбран баланс между скоростью и качеством. Ниже приведены результаты сравнения ключевых кандидатов:
| Модель | Результат теста | Комментарий исследователей |
|---|---|---|
| 7B (альтернатива) | Прошла тест | Базовый вариант, достаточный для простых запросов |
| 8B (Production) | Прошла тест | Выбрана как основная модель для продакшена |
| 12B | Прошла тест | Работает, но 8B предпочтительнее по соотношению ресурсов |
| MoE (Mixture-of-Experts) | Частично | Улучшил исправление ошибок, но добавил фактические и логические неточности |
Архитектура знаний: 435 вопросов и изоляция курсов
Для повышения точности ответов (fidelity) система использует RAG (Retrieval-Augmented Generation). Ключевой особенностью стало разделение практики и генерации: 435 предзагруженных вопросов охватывают 65 модулей. Это позволяет студентам тренироваться без нагрузки на LLM в реальном времени. Программные изменения улучшили разрешение тем в follow-up запросах, строго сохраняя контекст конкретного курса.
Ограничения и дальнейшие шаги
Авторы подчеркивают, что исследование не измеряет прямые «learning gains» (прирост знаний). Остались открытыми вопросы оценки преподавателями, пропускной способности при пиковых нагрузках и полного прохождения аудита безопасности публичного шлюза. Тем не менее, проект доказывает жизнеспособность гибридного подхода: выбор модели, стратегии извлечения доказательств и дизайна продукта должен решаться как единая инженерная задача.
Источник: arXiv cs.AI ↗