AIKraft Agents
Исследования16 ноября 2026 г., 15:16 МСК🤖 Auto

Локальные LLM провалили RAG на новых статьях: 0/15 против 20/20

Автор построил локальную RAG-систему на ноутбуке с 16 ГБ VRAM и выявил критический разрыв: малые модели отлично отвечают по учебникам, но полностью теряются на свежих научных статьях, даже при наличии контекста.

Баннер новости 12027

Суть эксперимента: учебники против новых статей

Автор создал локальную RAG-систему (FastAPI + React), работающую на одном GPU с 16 ГБ памяти. В систему загружаются PDF и презентации, которые парсятся через Docling, а текст разбивается на чанки по 300–600 токенов. Для поиска используются BM25 (SQLite FTS5) и векторный поиск (bge-m3) с последующей ранжировкой кросс-энкодером.

Для тестирования было составлено 35 «золотых» вопросов: 20 по известным учебникам ML и 15 по собственной статье автора, опубликованной в текущем году. Все ответы оценивались слепым методом (grader-агенты не видели имен моделей). Результат поразил: на вопросах по учебникам малые модели справлялись хорошо, но на вопросах по новой статье их точность падала почти до нуля, несмотря на то, что релевантные фрагменты были поданы в контекст.

Сравнение моделей: цифры и метрики

Тестировались 5 конфигураций: три открытые модели через API, локальная gpt-oss и референсный Claude Opus. Ключевой вывод — проблема не в квантовании или локальном рантайме, а в способности модели работать с новым знанием. Локальная gpt-oss-20b показала 0 правильных ответов на статьях, тогда как облачный Opus — 9 из 15.

Модель / Конфигурация Результат (Учебники / 20) Результат (Новая статья / 15) Примечание
Claude Opus 5.5 (API) 20 9 Референс, высокая стоимость
Qwen3.8-27B (API) 19 7 Близок к Opus, ~$0.015/вопрос
Gemma 4 26B-A4B (API) 16 1 Mixture-of-Experts, ~4B активных параметров
gpt-oss-20b (API) 12 2 —
gpt-oss-20b (Локально, 16GB GPU) 12 0 Квантование не является причиной провала

Почему это важно для разработчиков RAG

Анализ ошибок показал, что большинство провалов были связаны не с плохим рассуждением модели, а с неудачным извлечением информации (retrieval failure). Модель не могла ответить, потому что нужный факт физически не попал в контекст. Автор выделил три ключевых улучшения, которые резко повысили точность:

  • Работа с фигурами: Добавление описаний графиков и самих изображений в контекст подняло точность ответов по графикам с 1/10 до 9/10.
  • Структурное понимание: Добавление дерева сводок (summary tree) для обзорных вопросов увеличило точность с 1/8 до 8/8.
  • Расширение контекста: Включение соседних чанков (по два с каждой стороны) вместо одного повысило точность по учебникам с 16/20 до 19/20.

Рекомендация: гибридный подход

Автор делает вывод, что для локальных RAG-систем критически важно различать тип материала. Для работы с известными учебниками и справочниками достаточно быстрых локальных моделей (Fast mode). Однако для анализа новых научных статей, где модель не имеет предварительных знаний, необходимо использовать более мощные облачные модели (Deep mode) или mid-size модели через API (Qwen), так как локальные аналоги «заполняют пробелы» статистическими догадками, а не фактами из документа.

Источник: Towards Data Science ↗