Суть эксперимента: учебники против новых статей
Автор создал локальную RAG-систему (FastAPI + React), работающую на одном GPU с 16 ГБ памяти. В систему загружаются PDF и презентации, которые парсятся через Docling, а текст разбивается на чанки по 300–600 токенов. Для поиска используются BM25 (SQLite FTS5) и векторный поиск (bge-m3) с последующей ранжировкой кросс-энкодером.
Для тестирования было составлено 35 «золотых» вопросов: 20 по известным учебникам ML и 15 по собственной статье автора, опубликованной в текущем году. Все ответы оценивались слепым методом (grader-агенты не видели имен моделей). Результат поразил: на вопросах по учебникам малые модели справлялись хорошо, но на вопросах по новой статье их точность падала почти до нуля, несмотря на то, что релевантные фрагменты были поданы в контекст.
Сравнение моделей: цифры и метрики
Тестировались 5 конфигураций: три открытые модели через API, локальная gpt-oss и референсный Claude Opus. Ключевой вывод — проблема не в квантовании или локальном рантайме, а в способности модели работать с новым знанием. Локальная gpt-oss-20b показала 0 правильных ответов на статьях, тогда как облачный Opus — 9 из 15.
| Модель / Конфигурация | Результат (Учебники / 20) | Результат (Новая статья / 15) | Примечание |
|---|---|---|---|
| Claude Opus 5.5 (API) | 20 | 9 | Референс, высокая стоимость |
| Qwen3.8-27B (API) | 19 | 7 | Близок к Opus, ~$0.015/вопрос |
| Gemma 4 26B-A4B (API) | 16 | 1 | Mixture-of-Experts, ~4B активных параметров |
| gpt-oss-20b (API) | 12 | 2 | — |
| gpt-oss-20b (Локально, 16GB GPU) | 12 | 0 | Квантование не является причиной провала |
Почему это важно для разработчиков RAG
Анализ ошибок показал, что большинство провалов были связаны не с плохим рассуждением модели, а с неудачным извлечением информации (retrieval failure). Модель не могла ответить, потому что нужный факт физически не попал в контекст. Автор выделил три ключевых улучшения, которые резко повысили точность:
- Работа с фигурами: Добавление описаний графиков и самих изображений в контекст подняло точность ответов по графикам с 1/10 до 9/10.
- Структурное понимание: Добавление дерева сводок (summary tree) для обзорных вопросов увеличило точность с 1/8 до 8/8.
- Расширение контекста: Включение соседних чанков (по два с каждой стороны) вместо одного повысило точность по учебникам с 16/20 до 19/20.
Рекомендация: гибридный подход
Автор делает вывод, что для локальных RAG-систем критически важно различать тип материала. Для работы с известными учебниками и справочниками достаточно быстрых локальных моделей (Fast mode). Однако для анализа новых научных статей, где модель не имеет предварительных знаний, необходимо использовать более мощные облачные модели (Deep mode) или mid-size модели через API (Qwen), так как локальные аналоги «заполняют пробелы» статистическими догадками, а не фактами из документа.
Источник: Towards Data Science ↗
