В мире искусственного интеллекта, где гонка за параметрами часто затмевает эффективность, компания Perplexity AI сделала шаг, который может перевернуть представление о том, как мы ищем информацию. Они выпустили pplx-embed-v2-late — пару мультимодальных моделей встраивания (embedding models), построенных на архитектуре ColBERT. Это не просто еще одна модель для генерации текста; это специализированный инструмент для понимания и поиска, который объединяет текст, изображения и даже отрендеренные страницы PDF в едином векторном пространстве. Доступны две версии: легковесная 0.6B для быстрых и дешевых запросов, и мощная 9B для достижения максимального качества. Обе модели работают в едином пространстве встраиваний, что открывает невероятные возможности для гибридных систем поиска.
Но самое интересное здесь — не только в метриках, но и в философии развертывания. Эти модели доступны под лицензией MIT, что делает их полностью пригодными для коммерческого использования и локального хостинга. Хотя хостинговый API от Perplexity пока находится в планах, разработчики могут уже сейчас скачать веса с Hugging Face и интегрировать их в свои стеки. В этой статье мы подробно разберем, как работают эти модели, где их сильные стороны, а где кроются подводные камни, и что это значит для разработчиков RAG-систем в России и мире.
01Архитектура и технические характеристики: почему 128 измерений?
Чтобы понять мощь pplx-embed-v2-late, нужно заглянуть под капот. Традиционные плотные модели (dense models) сжимают весь документ в один единственный вектор. Это эффективно, но часто приводит к потере тонких деталей. Архитектура ColBERT, на которой построены новые модели Perplexity, идет другим путем. Она сохраняет вектор размерностью 128 измерений для каждого токена в документе. Это позволяет использовать механизм MaxSim: каждый токен запроса находит свой лучший совпадающий токен в документе, и эти максимумы суммируются для получения итогового балла релевантности. Такой подход обеспечивает гораздо более точное сопоставление, особенно когда речь идет о сложных документах.
Давайте сравним два размера моделей, которые предлагает Perplexity. Модель pplx-embed-v2-late-0.6b имеет 594 миллиона параметров, из которых активными являются около 240 миллионов для текста и 340 миллионов для изображений. Она базируется на прuned версии Qwen3.5-0.8B. Эта модель предназначена для работы на ноутбуках, edge-устройствах или небольших GPU. В памяти (в формате bf16) она занимает около 1.2 ГБ. Это делает её идеальным кандидатом для использования в качестве кодировщика запросов (query encoder) в реальном времени, полностью локально.
С другой стороны, pplx-embed-v2-late-9b — это тяжеловес с 9 миллиардами параметров (хотя Hugging Face может отображать их как 8B). Активных параметров у нее 7.4 миллиарда. Она базируется на полной версии Qwen3.5. Для работы этой модели потребуется датацентр или GPU с большим объемом памяти, так как веса занимают от 16 до 18 ГБ. Эта модель предназначена для создания индекса документов (index-time), где качество важнее скорости отклика.
sentence-transformers >= 6.0.0 и transformers >= 5.4.0. Также обратите внимание, что опубликованные чекпоинты хранятся в формате F32, что удваивает размер для скачивания по сравнению с оценочными данными в bf16. Планируйте место на диске accordingly.02Производительность: где Perplexity сияет, а где отстает
Метрики — это язык, на котором говорят модели. Давайте посмотрим на результаты бенчмарков, предоставленные Perplexity. Самым сильным результатом стала оценка 92.4% на MADQA (агентный поиск по PDF), которую показала 9B модель. Это лучший результат среди всех протестированных моделей. Для сравнения, ретривер от Mixedbread показал 88.9%, а их Agentic Search — 93.4%. Таким образом, 9B модель Perplexity находится в элите, уступая лишь самому продвинутому решению от конкурентов.
На доменно-специфичном тексте (72 задачи, nDCG@10) 9B модель лидирует со счетом 81.3%, опережая всех протестированных моделей на 1.6 процентных пункта. Модель 0.6B показала 78.0%, что всего на 0.3 п.п. ниже, чем у gemini-embedding-2. В задаче Q2D-Web (Recall@1000) обе модели превзошли предыдущий рекорд в 69.3%, показав 73.6% и 74.8% соответственно.
Однако есть и слабые места. На бенчмарке ViDoRe v3 для изображений (nDCG@10) 0.6B модель показала 62.3%, а 9B — 65.2%. Здесь они уступают модели EVIE от Tencent, которая является лидером. Также стоит отметить, что для поиска по изображениям Gemini Embedding 2 превосходит 9B модель Perplexity. На ViDoRe v3 Markdown 0.6B модель показала свой самый слабый результат — 61.2%, но даже это значение делает её второй по качеству среди протестированных. Интересно, что на BrowseComp+ 9B модель показала 64.0% точности, что, хотя и является самым низким результатом для этой модели, все равно на 4.9 п.п. выше, чем у лучшей модели ColBERT.
03Гибридный подход: сила комбинации размеров
Одна из самых интригующих особенностей pplx-embed-v2-late — это возможность смешивать размеры моделей. Поскольку обе модели используют одно и то же пространство встраиваний, вы можете создать индекс документов с помощью мощной 9B модели, а затем выполнять запросы с помощью легкой 0.6B модели. Это называется "cross-encoder efficiency".
Результаты показывают, что индекс из 9B параметров, запрошенный через 0.6B модель, набирает 63.5% на ViDoRe v3 image retrieval. Это лучше, чем использование 0.6B модели как для индекса, так и для запроса (62.3%), при этом стоимость запроса остается минимальной. Таким образом, вы получаете около половины прироста качества от 9B модели, платя только за стоимость 0.6B модели. Это идеальный сценарий для приложений, где важна скорость ответа, но требуется высокая точность.
04Как это работает: от дистилляции до MaxSim
Процесс создания этих моделей был непростым. Perplexity дистиллировала обе модели из учителя размером 18B, используя стиль обучения LEAF на уровне токенов. Именно это обучение создало общее пространство встраиваний, позволяющее моделям разных размеров понимать друг друга. Страницы документов кодируются как изображения, что избавляет от необходимости использовать OCR (оптическое распознавание символов). Это критически важно для сканированных отчетов, слайдов и PDF-файлов, где текст может быть представлен в виде графики.
Механизм MaxSim, о котором мы говорили выше, работает следующим образом: вместо того чтобы усреднять векторы токенов, модель находит максимальное сходство между каждым токеном запроса и каждым токеном документа. Это позволяет улавливать тонкие семантические связи, которые теряются при сжатии в один вектор. Однако у этого подхода есть и обратная сторона: поскольку модель хранит один вектор на токен, размер индекса растет пропорционально длине документа. Это может стать проблемой для очень больших текстов.
05Сравнение с конкурентами: NVIDIA, Google и TopK
Чтобы оценить место pplx-embed-v2-late на рынке, давайте сравним его с ключевыми игроками. NVIDIA nemotron-colembed-vl-8b-v2 имеет размер около 8.8B и использует 4096 измерений на токен. Google Gemini Embedding 2 не раскрывает свой размер, но поддерживает текст, изображения, видео, аудио и PDF. TopK topk-embed-v1 имеет открытые версии 0.8B и 2B с 2048 измерениями.
Ключевое отличие pplx-embed-v2-late — это ширина вектора. Всего 128 измерений на токен против 2048-4096 у конкурентов. Это делает индексы значительно компактнее, хотя и требует более сложного механизма поиска (MaxSim). Лицензия MIT также является большим плюсом по сравнению с CC-BY-NC-4.0 у NVIDIA или проприетарными решениями Google. Для российских разработчиков, которые часто сталкиваются с ограничениями на использование зарубежных облачных API, локальный запуск моделей под MIT лицензией становится стратегическим преимуществом.
06Лучшие сценарии использования
Исходя из характеристик, можно выделить несколько идеальных сценариев применения pplx-embed-v2-late. Во-первых, это визуальный поиск документов по PDF, слайдам и отсканированным отчетам. Поскольку модели не требуют OCR и работают с изображениями страниц, они отлично справляются с "тяжелыми" документами. Во-вторых, это поиск с низкой задержкой: индексирование в облаке с помощью 9B модели, а затем запросы на устройстве с помощью 0.6B модели. Это позволяет создавать отзывчивые приложения даже на мобильных устройствах.
В-третьих, это агентный RAG (Retrieval-Augmented Generation) над большими коллекциями PDF или веб-страниц. Агенты часто должны быстро находить релевантную информацию в огромных базах знаний, и легковесная 0.6B модель здесь незаменима. В-четвертых, это интерактивные объяснители, где важна скорость ответа. Однако, если вы работаете с очень длинными документами, помните о росте размера индекса.
07Что это значит на практике
Для разработчиков в России и СНГ выпуск pplx-embed-v2-late под лицензией MIT открывает новые горизонты. Вы можете развернуть эти модели локально, не опасаясь санкций или блокировок API. Это особенно актуально для корпоративных решений, где конфиденциальность данных является приоритетом. Использование 0.6B модели на edge-устройствах позволяет создавать умные поисковые системы прямо на устройствах пользователей, экономя трафик и снижая задержки.
Однако, не стоит забывать о недостатках. Рост размера индекса с длиной документа может стать узким местом. Также, если вам нужен поиск по изображениям с максимальной точностью, возможно, стоит рассмотреть модели от Tencent или Google. Но для большинства задач, связанных с текстом и PDF, pplx-embed-v2-late предлагает отличный баланс между качеством, скоростью и стоимостью. Это шаг вперед в сторону более эффективного и доступного поиска информации.
В заключение, Perplexity AI показала, что можно создавать мощные модели встраивания, которые не требуют огромных вычислительных ресурсов. Сочетание ColBERT-архитектуры, дистилляции и общего пространства встраиваний делает pplx-embed-v2-late одним из самых интересных инструментов в арсенале современного разработчика AI. Следите за обновлениями и техническим отчетом, чтобы получить полную картину.
Источник: MarkTechPost ↗