Что нового: Context Focus и калиброванные оценки
Cohere AI выпустила семейство моделей переупорядочивания Rerank 5 в двух версиях: Pro (для качества) и Fast (для скорости). Главная инновация — функция Context Focus. Она возвращает не только оценку документа, но и конкретные фрагменты текста (character spans) с координатами. Это позволяет LLM получать только релевантные части документов, а не весь контекст.
Второе ключевое изменение — калиброванные оценки релевантности. Скор теперь интерпретируется как вероятность полезности документа (0.7 = 70% шанс). Ошибка калибровки (ECE) составляет всего 0.06 против 0.234 у Voyage AI Rerank 3, что позволяет использовать единый порог фильтрации для разных доменов.
Производительность и бенчмарки
Модель Pro демонстрирует лидерство в большинстве тестов Cohere (метрика RCP-nDCG@10). Особенно заметен прогресс на сложных наборах данных BRIGHT, где модель улучшила результат на 12.4 пункта по сравнению с предыдущей версией. Контекстное окно расширено до 32K токенов, поддерживается более 100 языков.
| Метрика / Модель | Cohere Rerank 5 Pro | Cohere Rerank 5 Fast | Voyage AI Rerank 3 | Qwen3-Reranker-8B |
|---|---|---|---|---|
| BRIGHT | 82.2 | 77.5 | 76.4 | 69.8 |
| ViDoRe V3 | 92.2 | 90.6 | 90.6 | 85.1 |
| BEIR | 90.4 | 88.1 | 88.6 | 83.8 |
| nanoMTEB | 87.3 | 85.1 | 83.9 | 82.1 |
| ECE (калибровка) | 0.058 | 0.058 | 0.234 | Н/Д |
Экономия токенов для агентов
В тестах на поисковых агентах (17 датасетов) использование Context Focus показало значительное снижение затрат:
- Снижение токенов: На 35-41% меньше токенов по сравнению с базовым поиском BM25.
- Рост точности: Точность ответа выросла с 39% (глубокий поиск) до 52% при использовании Context Focus.
- Эффективность: Удаление 75% извлеченного текста сохранило 87% качества ответа.
Доступность и цены
Модели доступны через API, Model Vault, Microsoft Foundry и Amazon SageMaker. Открытых весов нет.
- Rerank 5 Pro: $0.05 за 1M токенов.
- Rerank 5 Fast: $0.02 за 1M токенов.
- Self-hosted (Model Vault): $4.00 за час инстанса (Medium tier).
Интеграции включают LangChain, Haystack, Elasticsearch и Weaviate. Задержка (latency) для Pro составляет в среднем 11.7 секунд на запрос из 96 документов, тогда как Fast обрабатывает тот же объем за 4.1 секунды.
Бенчмарки
| Бенчмарк | Cohere Rerank 5 Fast | Cohere Rerank 5 Pro | Voyage AI Rerank 3 | Voyage AI Rerank 3 Lite |
|---|---|---|---|---|
| BRIGHT | 77.5% | 82.2% | 76.4% | 69.4% |
| ViDoRe V3 | 90.6% | 92.2% | 90.6% | 87.9% |
| BEIR | 88.1% | 90.4% | 88.6% | 86.1% |
| nanoMTEB | 85.1% | 87.3% | 83.9% | 80.7% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗