Суть релиза: два размера, одна цель
Perplexity AI выпустила пару моделей pplx-embed-v2-late под лицензией MIT. Это ColBERT-архитектура, которая хранит вектор (128 измерений) для каждого токена, а не сжимает документ в один вектор. Это позволяет точно сопоставлять запросы с документами, особенно с PDF и изображениями, без этапа OCR. Обе модели обучены на базе Qwen3.5 и имеют общее пространство встраиваний для текста и картинок.
Технические характеристики и требования
Модели требуют sentence-transformers >= 6.0.0 и transformers >= 5.4.0. Вес чекпоинтов в F32, что удваивает размер загрузки, но в памяти (bf16) они занимают меньше места. 0.6B версия предназначена для локального запуска на ноутбуках или edge-устройствах, в то время как 9B требует GPU с большим объемом памяти для индексации.
| Параметр | pplx-embed-v2-late-0.6b | pplx-embed-v2-late-9b |
|---|---|---|
| Общее число параметров | 594M | 9B (HF: 8B) |
| Активные параметры | ~240M (текст), 340M (изображения) | 7.4B |
| Размер вектора на токен | 128 dims | 128 dims |
| Вес в памяти (bf16) | ~1.2 GB | ~16-18 GB |
| Рекомендуемое применение | Live query encoder (edge) | Построение индекса (Datacenter) |
Результаты бенчмарков
9B модель показала лучший результат на агрегированном тесте MADQA (92.4%), превзойдя конкурентов. 0.6B модель, несмотря на малый размер, демонстрирует высокую эффективность, особенно в гибридных сценариях, где индекс строится на 9B, а запросы обрабатываются 0.6B.
| Бенчмарк | 0.6B | 9B | Комментарий |
|---|---|---|---|
| MADQA (PDF QA) | 90.1% | 92.4% | 9B — лучший результат; 0.6B близок к лидерам |
| Domain-specific text (nDCG@10) | 78.0% | 81.3% | 9B лидирует (+1.6pp), 0.6B почти догнал Gemini |
| Q2D-Web (Recall@1000) | 73.6% | 74.8% | Обе лучше предыдущего лучшего (69.3%) |
| ViDoRe v3 Image (nDCG@10) | 62.3% | 65.2% | Уступает EVIE, но 0.6B близок к Nemotron |
| ViDoRe v3 Markdown (nDCG@10) | 61.2% | 64.7% | 0.6B — 2-й результат; 9B — лучший |
| BrowseComp+ (Accuracy) | — | 64.0% | На 4.9pp лучше ближайшего ColBERT-конкурента |
Архитектура и ограничения
Ключевая особенность — использование MaxSim для скоринга: каждый токен запроса находит лучший токен документа, и максимумы суммируются. Это обеспечивает точность, но увеличивает размер индекса пропорционально длине документа. Также модель не поддерживает смешивание текста и изображений в одном входном запросе. Наивысший балл на ViDoRe v3 Image (EVIE) пока не побит, но гибридный подход (индекс 9B + запрос 0.6B) дает прирост качества по сравнению с чисто легковесным поиском.
Почему это важно
Релиз делает продвинутый мультимодальный поиск доступным для локального развертывания. Разработчики могут строить индексы в облаке с помощью 9B модели, а клиенты на edge-устройствах (мобильные телефоны, IoT) будут использовать 0.6B модель для быстрых запросов, экономя трафик и вычислительные ресурсы. Лицензия MIT позволяет коммерческое использование без ограничений.
Бенчмарки
| Бенчмарк | pplx-embed-v2-late-0.6b | pplx-embed-v2-late-9b | EVIE | Mixedbread Agentic Search | Mixedbread retriever | gemini-embedding-2 | nemotron-colembed-v2-8b |
|---|---|---|---|---|---|---|---|
| MADQA | 90.1% | 92.4% | — | 93.4% | 88.9% | — | — |
| Domain-specific text (nDCG@10) | 78% | 81.3% | — | — | — | 78.3% | — |
| Q2D-Web (Recall@1000) | 73.6% | 74.8% | — | — | — | — | — |
| ViDoRe v3 image (nDCG@10) | 62.3% | 65.2% | 66.4% | — | — | — | 63.5% |
| ViDoRe v3 Markdown (nDCG@10) | 61.2% | 64.7% | — | — | — | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗