AIKraft Agents
Главная/Блог/Гайд/Реранкинг в RAG: Как исправить плохой…
Гайд11 мин чтения · 13 ноября 2026 г.

Реранкинг в RAG: Как исправить плохой поиск с помощью модели

Узнайте, как внедрить реранкинг в ваш RAG-пайплайн для повышения точности ответов LLM. Разбор бенчмарков, кода на Python и выбора моделей.

Реранкинг в RAG: Как исправить плохой поиск с помощью модели

Вы когда-нибудь сталкивались с ситуацией, когда ваше приложение на базе RAG (Retrieval-Augmented Generation) выдает неверный ответ, хотя вся необходимая информация уже есть в ваших документах? Это классическая боль разработчиков AI-приложений. Часто причина кроется не в самом Large Language Model (LLM), а на этапе извлечения информации. Векторный поиск отлично справляется с тем, чтобы найти фрагменты текста, относящиеся к общей теме запроса, но он часто «ведется» на похожие, но неверные совпадения. Например, пользователь спрашивает о лимитах тарифа «Growth», а система возвращает данные для тарифа «Enterprise» или «Starter», потому что векторы этих понятий в пространстве эмбеддингов лежат слишком близко друг к другу.

Решение этой проблемы — внедрение реранкинга (reranking). Этот метод позволяет взять топ-30 кандидатов, найденных векторным поиском, и пропустить их через специализированную модель кросс-энкодера, которая пересчитывает релевантность каждого фрагмента непосредственно к вопросу пользователя. В этой статье мы подробно разберем, как работает реранкинг, как его интегрировать в ваш пайплайн, какие модели выбрать, и как измерить эффективность этого подхода на реальных данных. Мы опираемся на исследования OpenRouter, проведенные в октябре 2026 года, с использованием современных моделей, таких как Gemini Embedding 2 и Voyage Rerank 3.

01Почему векторный поиск дает сбой?

Стандартный векторный поиск имеет фундаментальное ограничение: модели эмбеддингов сжимают весь фрагмент текста (chunk) в один вектор до того, как увидят вопрос пользователя. Если у вас есть фрагмент текста объемом 130 слов, объясняющий лимиты хранилища, то конкретное название тарифа — это всего лишь одно или два слова в этом блоке. В результате векторы для разных тарифных планов (Starter, Growth, Scale, Enterprise) кластеризуются очень близко в векторном пространстве, и ретривер может легко поставить неверный план на первое место.

Чтобы протестировать точность извлечения без субъективных оценок, исследователи создали контролируемый набор данных для вымышленного сервиса хранения данных под названием Fernbank. Корпус состоял из 274 фрагментов, охватывающих документацию, коды ошибок, руководства по SDK, записи в журнале изменений, а также «шум» — незавершенные посты на форумах и тикеты в поддержку, предназначенные для ловушек для наивных ключевых слов и векторных совпадений. Каждый фрагмент был сгенерирован с помощью anthropic/claude-sonnet-5.5 и проверен скриптом, а вопросы написаны моделью openai/gpt-6.1-sol. Поскольку каждый вопрос сопоставляется с одним правильным фрагментом, мы можем точно оценить точность извлечения.

Схема работы реранкинга в RAG: векторный поиск сужает выбор, реранкер уточняет релевантность.
Схема работы реранкинга в RAG: векторный поиск сужает выбор, реранкер уточняет релевантность.

В полном наборе тестов вопрос звучал так: «Сколько бакетов я могу создать в одном аккаунте Fernbank на тарифе Growth?». Модель google/gemini-embedding-2 поставила фрагменты о тарифах Starter, Enterprise и Scale на первые три места. Незавершенный пост на форуме занял четвертое место, а правильный ответ, касающийся тарифа Growth, оказался лишь на пятом месте. Если ваш RAG-пайплайн отправляет в LLM только топ-3 кандидата, модель просто никогда не увидит правильный документ.

02Как добавить реранкер в ваш RAG-пайплайн

Вам не нужно заменять существующий поиск по эмбеддингам. Оставьте его как первый этап извлечения, увеличьте количество возвращаемых кандидатов и добавьте вызов реранкинга перед передачей окончательных результатов вашей LLM. Реранкер исправляет это, используя архитектуру кросс-энкодера. Вместо оценки документов изолированно, он обрабатывает вопрос пользователя вместе с каждым кандидатом. Запуск кросс-энкодера по тысячам документов слишком медленен для запросов в реальном времени, поэтому векторный поиск служит быстрым ретривером, сужающим поле до короткого списка, который затем сортирует реранкер.

Практическая рекомендация проста: извлеките около 30 кандидатов, перерангируйте их и отправьте топ-3 в LLM. Ниже приведен пример на Python, который использует API OpenRouter для эмбеддингов и реранкинга. Он извлекает кандидаты с использованием косинусного сходства, перерангирует их с помощью voyageai/rerank-3-lite и возвращает три результата с наивысшим рейтингом.

💡
Важный параметр input_type. Параметр input_type сообщает модели эмбеддинга, кодирует ли она поисковый запрос или документ. Некоторые модели по-разному обрабатывают эти входы. В наших тестах отсутствие этого параметра снизило точность precision@1 для Gemini с 81,0% до 74,1%, а для voyageai/voyage-4-lite — с 64,6% до 52,9%. Всегда указывайте search_query для вопросов и search_document для документов.
terminalpython
import os
import numpy as np
import requests

API = "https://openrouter.ai/api/v1"
HEADERS = {"Authorization": f"Bearer {os.environ['OPENROUTER_API_KEY']}"}

def embed(texts, input_type, model="google/gemini-embedding-2"):
    r = requests.post(
        f"{API}/embeddings",
        headers=HEADERS,
        timeout=120,
        json={"model": model, "input": texts, "input_type": input_type}
    )
    r.raise_for_status()
    data = sorted(r.json()["data"], key=lambda d: d["index"])
    return np.array([d["embedding"] for d in data])

def retrieve(question, chunks, chunk_vectors, n=30):
    sims = chunk_vectors @ embed([question], "search_query")[0]
    return [(sims[i], chunks[i]) for i in np.argsort(sims)[:n]]

def rerank(question, candidates, top_n=3, model="voyageai/rerank-3-lite"):
    r = requests.post(
        f"{API}/rerank",
        headers=HEADERS,
        timeout=120,
        json={"model": model, "query": question, "documents": candidates, "top_n": top_n}
    )
    r.raise_for_status()
    data = r.json()
    ranked = [(res["relevance_score"], candidates[res["index"]]) for res in data["results"]]
    return ranked, data.get("usage", {}).get("cost", 0)

# Ваша база знаний, уже разбитая на фрагменты
chunks = [
    "Starter plan limits: an account on the Starter plan can create up to 10 buckets.",
    "Scale plan limits: accounts on the Scale plan can hold up to 2,500 buckets.",
    "Enterprise plan limits: Enterprise accounts can create up to 40,000 buckets.",
    "Growth plan limits: an account on the Growth plan can hold up to 150 buckets.",
    "Q: What's the bucket cap on the Growth plan? Reply: I think it changed recently, check the docs.",
    "Growth plan object size: a single object on the Growth plan can be up to 50 GB."
]

chunk_vectors = embed(chunks, "search_document")
question = "How many buckets can I create in a single account on the Growth plan?"

retrieved = retrieve(question, chunks, chunk_vectors)
print("Vector search:")
for sim, text in retrieved:
    print(f"{sim:.3f} {text[:60]}")

ranked, cost = rerank(question, [text for _, text in retrieved])
print(f"Reranked (${cost:.7f}):")
for score, text in ranked:
    print(f"{score:.3f} {text[:60]}")
Интерфейс OpenRouter с настройками реранкинга в темной теме.
Интерфейс OpenRouter с настройками реранкинга в темной теме.

Вывод этого кода показывает, что векторный поиск уже ставит правильный фрагмент о лимитах Growth на первое место в этом коротком примере, но разница в баллах косинусного сходства невелика (от 0,695 до 0,832). После реранкинга правильный фрагмент получает балл релевантности 0,922. Однако обратите внимание на второй результат: незавершенный пост на форуме поднимается на второе место с баллом 0,793, опережая фрагмент о тарифе Starter. Это иллюстрирует важное ограничение: релевантность не равна правильности. Пост задает тот же вопрос, поэтому реранкер считает его релевантным, хотя он не отвечает на вопрос. В упрощенном примере реранкер не исправляет первый результат, потому что он уже был правильным. Но в полном бенчмарке, с фрагментами по 130 слов, векторный поиск ставил неверный фрагмент первым в 19% случаев, и реранкинг с помощью voyageai/rerank-3-lite исправлял большинство из них.

03Как понять, что реранкинг помог?

Реранкер может улучшить порядок результатов, но не обязательно улучшить ответы, которые получают ваши пользователи. Чтобы определить, стоит ли добавлять реранкер, измерьте точность извлечения до и после изменения, а затем оцените окончательные ответы.

Начните с precision@1 — процента вопросов, для которых первый извлеченный фрагмент содержит правильный ответ. Вам не нужен огромный набор для оценки. Пятьдесят реальных вопросов из журналов вашего приложения, каждый с помеченным правильным фрагментом, могут дать начальную базовую линию. Также не полагайтесь только на recall@5. В нашем тесте Gemini достигла 98,2% recall@5, но только 81,0% precision@1. Правая информация обычно была где-то в результатах, но не всегда наверху.

Мы также протестировали влияние на окончательные ответы. Мы использовали anthropic/claude-haiku-5.5 для ответа на все 274 вопроса, используя фрагменты, возвращенные каждой конфигурацией извлечения, а затем сравнили ответы с известными фактами. Результаты показали, что реранкинг помог LLM ответить на больше вопросов правильно, используя меньше фрагментов. Большинство неправильных ответов сводились к отсутствию информации. В 9 из 10 случаев, когда правильный фрагмент не входил в топ-3, модель отвечала, что предоставленные отрывки не содержат ответа. Иными словами, приложение говорило пользователям, что оно не знает того, что могло бы ответить по своей документации.

Реранкинг решил эту проблему, улучшив то, какие фрагменты достигли модели. Он также позволил нам отправлять три фрагмента вместо пяти, снизив стоимость ответа LLM с $0,22 до $0,16 на 1000 вопросов. Вызов реранкинга добавил $0,10, так что в нашей настройке реранкинг стоил в среднем на $0,04 больше на 1000 вопросов. Однако экономия зависит от ваших моделей, размеров документов и объема запросов, поэтому измеряйте стоимость и точность по всему пайплайну.

04Какая модель реранкинга лучшая для RAG?

Мы сравнили 11 реранкеров, используя одни и те же 30 кандидатов, извлеченных google/gemini-embedding-2 для каждого из 274 вопросов. Это дало нам последовательную основу для сравнения их точности, задержки и стоимости. Реранкеры Voyage предложили лучшее сочетание точности и цены среди протестированных специализированных моделей реранкинга.

⚠️
Ограничение Cohere. Модель cohere/rerank-v3.5 читает только первые 4096 токенов (4K) документа и не выдает ошибку, если документ длиннее. Это может привести к потере важной информации в конце длинных фрагментов. Будьте осторожны при работе с большими документами.

На этом наборе данных voyageai/rerank-3 ставил правильный фрагмент первым в 97,8% случаев, в то время как Lite-версия достигла 97,1%. Эта разница составляет всего два вопроса в нашем тесте из 274, поэтому слишком рано утверждать, что более дорогая модель всегда лучше. Начните с voyageai/rerank-3-lite и сравните его с voyageai/rerank-3 на собственном наборе оценки. Обе модели используют один и тот же конечный пункт /rerank, поэтому переключение моделей требует только изменения идентификатора модели.

Разница в ценах во многом отражает то, как провайдеры взимают плату. Voyage и Qwen взимают плату за токены ($0,02–$0,20 за миллион), в то время как Cohere взимает $0,001–$0,0025 за поиск до 100 документов, независимо от длины документа. Поскольку наши 30 кандидатов содержали около 5000 токенов Voyage, модели Voyage были особенно дешевыми. На этих коротких фрагментах реранкеры Cohere стоили примерно в 4–25 раз дороже вариантов Voyage. Отправка 101 документа в Cohere также вызвала второй платеж за поиск в нашем тесте.

Реранкинг в RAG: Как исправить плохой поиск с помощью модели

Реранкинг сделал особенно заметную разницу для вопросов о конкретных кодах ошибок, таких как FB-2411. Векторный поиск сам по себе ставил правильный элемент первым только в 25% случаев с voyageai/voyage-4-lite и 53,6% с google/gemini-embedding-2. Все 11 реранкеров достигли 100% точности на этом подмножестве. Поскольку записи с кодами ошибок часто обсуждают похожие ошибки, их эмбеддинги могут выглядеть одинаково. Кросс-энкодер может сравнить точный код в вопросе с кодом в каждом кандидате и различить правильный элемент.

05Можно ли использовать LLM в качестве реранкеров?

Да, LLM можно использовать в качестве реранкеров, но это имеет свои компромиссы. В нашем тесте openai/gpt-6-luna ставил правильный фрагмент первым для 99,6% вопросов, но каждый вызов занимал 4,0 секунды против 1,3 секунды для модели реранкинга. anthropic/claude-haiku-5.5 достиг 98,9% точности, но за 4,44 секунды. google/gemini-3.8-flash достиг 100% точности, но стоил $4,14 за 1000 запросов, что значительно дороже специализированных реранкеров.

Использование LLM в качестве реранкеров оправдано, если вам нужна максимальная точность и вы готовы платить за задержку и стоимость. Однако для большинства приложений в реальном времени специализированные модели реранкинга, такие как Voyage, предлагают лучшее соотношение цены и качества. Они обеспечивают высокую точность (97%+) при низкой задержке и стоимости.

06Нужен ли вам реранкер при гибридном поиске или лучшей модели эмбеддингов?

Да, даже с гибридным поиском или лучшей моделью эмбеддингов реранкер может принести пользу. Гибридный поиск сочетает векторный поиск с поиском по ключевым словам, что улучшает точность, но не устраняет проблему близости векторов для похожих терминов. Реранкер добавляет еще один уровень точности, анализируя семантическую связь между вопросом и каждым кандидатом. Если вы используете более дорогую модель эмбеддингов, такую как google/gemini-embedding-2, которая уже дает 81% точности, добавление реранкера может поднять этот показатель до 97%.

07Что ломает реранкинг?

Есть несколько факторов, которые могут снизить эффективность реранкинга. Во-первых, слишком короткие фрагменты могут не содержать достаточного контекста для реранкера. Во-вторых, слишком длинные фрагменты могут превысить лимит токенов модели реранкинга (например, 4K для Cohere). В-третьих, наличие большого количества нерелевантных кандидатов может увеличить стоимость и задержку. Наконец, если ваш набор данных содержит много «шума» или противоречивой информации, реранкер может запутаться. Важно очищать данные и фильтровать нерелевантные фрагменты до реранкинга.

08Что это значит на практике

Внедрение реранкинга в ваш RAG-пайплайн — это один из самых эффективных способов улучшить качество ответов без полной перестройки системы. Начните с извлечения топ-30 кандидатов, перерангируйте их с помощью voyageai/rerank-3-lite и отправьте топ-3 в LLM. Это простое изменение может повысить точность с 81% до 97% при минимальном увеличении стоимости. Измеряйте точность до и после, используйте параметр input_type в эмбеддингах и будьте осторожны с длинными документами. Реранкинг — это не панацея, но мощный инструмент в арсенале разработчика AI.

График бенчмарка точности различных моделей LLM и реранкеров.
График бенчмарка точности различных моделей LLM и реранкеров.

09Часто задаваемые вопросы

Сколько документов следует переранжировать? Оптимальное количество — около 30 кандидатов. Это обеспечивает хороший баланс между точностью и стоимостью. Больше кандидатов увеличивает задержку и стоимость, но не всегда значительно улучшает точность. Меньше кандидатов может привести к потере важных документов.

Какая модель реранкинга самая дешевая? voyageai/rerank-3-lite стоит $0,10 за 1000 запросов и обеспечивает 97,1% точности. Это лучшее соотношение цены и качества для большинства приложений.

Можно ли использовать реранкинг с локальными моделями? Да, вы можете развернуть локальные модели реранкинга, такие как qwen/qwen3-reranker-8b, на своем сервере. Это устраняет зависимость от внешних API, но требует вычислительных ресурсов.

10Ссылки

OpenRouter Blog: Reranking in RAG. OpenRouter. 2026.

Embeddings API Reference. OpenRouter.

Rerank Model Pages. OpenRouter.

Reranking Model Collection. OpenRouter.

Источник: OpenRouter ↗