В мире искусственного интеллекта, где доминируют гигантские генеративные модели, требующие мощных графических процессоров, существует скрытый, но критически важный пласт инфраструктуры: энкодеры. Эти модели не генерируют текст, но они лежат в основе классификации, маршрутизации намерений, фильтрации безопасности и обнаружения конфиденциальных данных. Именно здесь, в задачах, которые выполняются непрерывно и часто без доступа к GPU, кроется потенциал для значительной оптимизации затрат и повышения скорости отклика. Компания Liquid AI недавно представила два новых решения с открытым весом — LFM2.5-Encoder-230M и LFM2.5-Encoder-350M, которые обещают изменить правила игры в этой нише.
Обе модели являются двунаправленными энкодерами, построенными на базе гибридного бэкбона LFM2.5. Их ключевая особенность — поддержка контекстного окна в 8192 токенов при сохранении высокой скорости работы даже на центральных процессорах. Это решает одну из главных проблем современных NLP-систем: необходимость обрабатывать длинные документы (контракты, медицинские записи, юридические акты) без катастрофического падения производительности. В отличие от традиционных подходов, где энкодеры часто уступают в точности или требуют огромных вычислительных ресурсов, LFM2.5 предлагает баланс, который делает их идеальными для edge-устройств, локальных серверов и высоконагруженных пайплайнов.
Исторически класс энкодеров был заложен моделью BERT, которая установила стандарт для двунаправленного понимания языка. Позже ModernBERT улучшил показатели точности, скорости и контекста. Liquid AI утверждает, что архитектура LFM2 продолжает эту эволюцию, но с важным преимуществом: стоимость вычислений у нее растет медленнее по мере увеличения длины входных данных. Это делает LFM2.5 не просто еще одной моделью, а стратегическим выбором для приложений, где длина контекста и стоимость инференса являются критическими факторами.
01От декодера к энкодеру: Архитектурная трансформация
Важно понимать, что LFM2.5-Encoder не был обучен с нуля. Это результат тщательной трансформации существующих декодеров LFM2.5-230M и LFM2.5-350M. Такой подход позволяет использовать уже накопленные языковые знания, заложенные в декодерной части, и адаптировать их для задач понимания, а не генерации. Процесс конвертации включает три ключевых архитектурных изменения, которые превращают авторегрессионную модель в двунаправленный энкодер.
Первое изменение касается механизма внимания. В декодерах используется причинная маска внимания (causal attention mask), которая позволяет токену обращать внимание только на предыдущие токены. В энкодерах эта маска заменяется на двунаправленную, что позволяет каждому токену видеть как предыдущие, так и следующие элементы в последовательности. Это фундаментально меняет способ обработки информации, делая ее более целостной и контекстно-зависимой.
Второе изменение касается сверточных блоков. В оригинальной архитектуре LFM2 используются короткие свертки (short convolutions), которые также являются причинными. В энкодерах они становятся не-причинными за счет использования симметричной центральной-padding (center padding). Это означает, что свертка для каждого токена смешивает информацию с соседями с обеих сторон, а не только с левой. Такое изменение усиливает локальный контекст, что особенно важно для задач, требующих точного понимания синтаксиса и семантики в пределах фразы.
Третье изменение связано с функцией обучения. Модель обучается с использованием задачи маскированного языкового моделирования (Masked Language Modeling, MLM) с плотностью маскирования 30%. Это значительно выше, чем стандартные 15% в BERT. Liquid AI ссылается на исследования, показывающие, что более высокая плотность маскирования помогает моделям такого масштаба лучше обобщать и понимать структуру языка. Обучение проходит в два этапа: сначала модель осваивает общие языковые компетенции на коротком контексте (1024 токена) на большом веб-корпусе, а затем расширяет контекст до 8192 токенов, укрепляя фактические, юридические и многоязычные навыки.
02Результаты бенчмарков: Точность против размера
Liquid AI провела тщательную оценку своих новых энкодеров, сравнив их с 13 другими моделями на 17 задачах, взятых из наборов данных GLUE, SuperGLUE и многоязычной классификации. Важно отметить, что все модели были полностью дообучены (fine-tuned) для каждой задачи, иreported score отражает результат именно дообученной модели, а не базовой версии.
Результаты для LFM2.5-Encoder-350M впечатляют: среднее значение по 17 задачам составило 81.02 (±1.00), что вывело модель на четвертое место. Три модели, опередившие ее, значительно больше по размеру: XLM-R XL (3.5B параметров, 83.06), ModernBERT-large (395M параметров, 81.68) и XLM-R large (560M параметров, 81.34). Примечательно, что лучшая модель почти в 10 раз больше по размеру, чем LFM2.5-Encoder-350M, что подчеркивает эффективность архитектуры Liquid AI.
Модель LFM2.5-Encoder-230M показала средний результат 79.29 (±1.02), заняв шестое место. Она превосходит ModernBERT-base (78.19) и все модели EuroBERT, включая EuroBERT-610M (75.87) и EuroBERT-2.1B (72.19). Оба новых энкодера также показали результаты выше, чем собственные retrieval-модели Liquid AI (LFM2.5-ColBERT-350M и LFM2.5-Embedding-350M). Именно этот разрыв стал причиной создания общего-purpose энкодера, а не просто переиспользования retrieval-моделей.
03Методология: Открытость и воспроизводимость
Особый интерес представляет методология оценки, которая полностью открыта под лицензией Apache-2.0. Liquid AI использовала строгий протокол для обеспечения честного сравнения. Все модели загружались с весами в формате fp32 и использовался bf16 autocast, что исключало влияние форматов чисел на результаты. Для дообучения всех моделей применялся один и тот же рецепт AdamW, взятый из документации EuroBERT.
Скорость обучения (learning rate) выбиралась индивидуально для каждой модели и задачи из 10 вариантов и 3 семплов. Итоговые результаты сообщаются как среднее значение по 5 новым семплам, которые не участвовали в выборе гиперпараметров. Это гарантирует, что результаты не являются переобученными под конкретные настройки. Версия библиотеки transformers была зафиксирована на 4.56.2, чтобы исключить дрейф зависимостей как неконтролируемую переменную. Такой подход к открытости и воспроизводимости вызывает доверие к заявленным результатам.
04Практическое применение: Где и как использовать
Liquid AI выделяет три основных сценария использования для своих энкодеров. Первый — edge-устройства и встроенные системы. Автомобили, промышленные контроллеры и другие устройства часто не имеют GPU и не могут позволить себе задержки, связанные с облачными запросами. LFM2.5 позволяет выполнять сложные задачи NLP прямо на устройстве.
Второй сценарий — регулируемые и локальные системы в финансах, здравоохранении и юриспруденции. В этих отраслях документы часто длинные, чувствительные и не могут покидать внутреннюю инфраструктуру. Поддержка контекста в 8192 токенов означает, что одна прямая передача (forward pass) может охватить полный контракт или полную медицинскую карту. Это критически важно для задач, требующих понимания всего документа, а не только отдельных фрагментов.
Третий сценарий — высоконагруженные пайплайны, чувствительные к стоимости. В таких системах небольшой энкодер может действовать как дешевый первый проход (first pass) перед более крупной и дорогой моделью. Это позволяет отфильтровывать простые запросы или классифицировать данные с минимальными затратами, направляя сложные случаи на более ресурсоемкие модели.
05Демонстрации и примеры использования
Для демонстрации возможностей энкодеров команда Liquid AI подготовила пять демо-версий, каждая из которых работает в CPU-only пространстве Hugging Face. Эти демо охватывают широкий спектр задач: от zero-shot маршрутизации промптов и zero-shot проверки политик до исправления орфографических ошибок. Особый интерес представляет детектор PII (Personally Identifiable Information), который обрабатывает 40 типов информации на 16 языках. Это показывает практическую применимость моделей в реальных сценариях обработки данных.
Бонусным демо является masked-diffusion, где энкодер используется как чат-бот, генерирующий текст путем итеративного раскрытия маскированных токенов. Хотя это не основная задача энкодера, оно демонстрирует гибкость архитектуры и потенциал для экспериментов с генеративными подходами на основе энкодеров.
06Как запустить модели
Оба энкодера загружаются через библиотеку transformers. Основной блок представлен классом Lfm2BidirectionalModel, а загрузка маскированного языка модели использует Lfm2BidirectionalForMaskedLM. Как уже упоминалось, для загрузки требуется параметр trust_remote_code=True. Базовый энкодер производит общие представления, а не выходные данные для конкретных задач, поэтому дообучение (fine-tuning) обязательно для решения конкретных задач.
Руководство Liquid AI по дообучению подробно описывает процесс работы с длинными юридическими документами при конфигурации контекста 8k. Рекомендации по выбору модели просты: используйте 350M, когда важна максимальная точность, и 230M для более ограниченных аппаратных ресурсов или более высокой пропускной способности. Это позволяет разработчикам гибко настраивать систему под свои нужды.
07Что это значит на практике
Выпуск LFM2.5-Encoder-230M и LFM2.5-Encoder-350M от Liquid AI знаменует собой важный шаг в направлении более эффективного и доступного искусственного интеллекта. Эти модели доказывают, что не всегда нужны гигантские модели с миллиардами параметров для решения задач понимания языка. Благодаря оптимизации архитектуры и обучению на длинных контекстах, LFM2.5 предлагает решение, которое работает быстро, точно и экономично.
Для разработчиков в России и других странах, где доступ к облачным GPU может быть ограничен или дорог, эти модели представляют особую ценность. Возможность запуска сложных NLP-задач на CPU без потери качества открывает новые возможности для локальной разработки и развертывания. Поддержка 15 языков и способность работать с длинными документами делают LFM2.5 универсальным инструментом для различных отраслей, от финансов до юриспруденции.
В конечном итоге, LFM2.5 — это не просто еще одна модель в списке. Это демонстрация того, как умная архитектура и тщательная оптимизация могут привести к прорывам в эффективности. Если вы работаете с длинными текстами, ограничены в вычислительных ресурсах или ищете способ снизить затраты на инференс, LFM2.5-Encoder стоит рассмотреть в первую очередь. Открытый код, подробная документация и прозрачная методология оценки делают эти модели надежным выбором для серьезных проектов.
Источник: MarkTechPost ↗