Сжатие до предела: Google EmbeddingGemma 2
Google представил новую модель эмбеддингов EmbeddingGemma 2, ключевой особенностью которой является экстремальное сжатие данных. Модель способна преобразовать целый документ в один вектор, состоящий всего из 128 чисел (float32). Это решение разработано специально для работы на мобильных устройствах, где ресурсы вычислений и памяти строго ограничены. Идея заключается в том, чтобы хранить семантическое представление всего документа в минимальном объеме, что упрощает индексацию и поиск на edge-устройствах.
Обратный подход: Perplexity pplx-embed-v2-late
Всего через день после анонса Google, компания Perplexity AI выпустила свою модель pplx-embed-v2-late. Подход Perplexity кардинально отличается: вместо сжатия всего документа в один вектор, модель генерирует 128 чисел для каждого отдельного токена текста. Это позволяет сохранять гораздо более детальную семантическую информацию, так как контекст не «размазывается» по одному вектору, а сохраняется на уровне отдельных слов или подслов.
Сравнение архитектур
Разница в подходах создает компромисс между размером хранилища и точностью поиска. Ниже приведено сравнение ключевых характеристик двух моделей:
| Характеристика | Google EmbeddingGemma 2 | Perplexity pplx-embed-v2-late |
|---|---|---|
| Размер вектора | 128 чисел (всего на документ) | 128 чисел (на каждый токен) |
| Целевая платформа | Мобильные устройства (Edge) | Серверные RAG-системы |
| Гранулярность | Низкая (глобальный смысл) | Высокая (локальный контекст) |
| Объем хранимых данных | Минимальный | Зависит от длины документа |
Почему это важно для разработчиков
Эта гонка вооружений демонстрирует два разных пути развития векторных баз данных и систем поиска (RAG). Google делает ставку на доступность: если вы строите приложение, которое должно работать офлайн на смартфоне пользователя, EmbeddingGemma 2 — один из немногих вариантов, позволяющих уместить индекс в память телефона. Perplexity, напротив, оптимизирует точность для облачных серверов. Модель pplx-embed-v2-late лучше подходит для задач, где критично точно находить цитаты и фрагменты в больших базах знаний, так как она сохраняет локальные связи между словами.
Выбор между этими моделями теперь зависит не только от метрик точности (mAP, Recall@K), но и от архитектуры вашего приложения: работаете ли вы с ограниченным клиентским устройством или с мощным серверным кластером.
Источник: Towards AI pub ↗