LiquidAI LFM3: 2B-модели для edge-устройств с 256K контекстом

Революция в эффективности: 35% меньше параметров, больше возможностей

Компания LiquidAI анонсировала третье поколение своих Liquid Foundation Models (LFM3). Ключевое отличие от предыдущей линейки LFM2 — новая тригибридная архитектура, позволяющая достичь более высокой производительности при меньшем количестве параметров. Модель LFM3-1.7B превосходит своего предшественника LFM2.5-2.6B, используя на 35% меньше параметров. Это делает LFM3 идеальным кандидатом для развертывания на edge-устройствах (смартфоны, Raspberry Pi, ноутбуки) без потери качества.

Модели обучались на 22 триллионах токенов, а финальный этап mid-training на 3.5 трлн токенов был направлен на улучшение агентных сценариев и расширение контекстного окна до 256K токенов.

Архитектурные инновации: Tri-hybrid и Partial RoPE

В основе LFM3 лежит архитектура, оптимизированная через hardware-in-the-loop search для 14 комбинаций устройств. Основные изменения в блоках LFM3-1.7B-Base (24 слоя):

• Tri-hybrid layer mix: 13 слоев с короткими свертками (kernel size 7), 5 слоев sliding-window attention (окно 256 токенов) и 6 слоев глобального внимания.
• Head-wise gated attention: сигмоидальные врата масштабируют выход каждого заголовка, отключая его при отсутствии полезной информации, что улучшает квантование.
• Partial RoPE: глобальные слои внимания вращают только половину заголовков, сохраняя контентную независимость от расстояния.
• Sandwich norm: нормализация входа и выхода каждого блока для стабилизации активаций.

Шесть моделей на одном бэкбоне

LFM3 предлагает не одну универсальную модель, а семейство из шести специализированных версий, ветвящихся от базового текстового ядра. Это позволяет выбирать оптимальную модель под задачу и дообучать её на одной GPU.

Производительность и бенчмарки

Новые внутренние энкодеры (vision и audio) значительно ускоряют обработку. Визуальный энкодер (164M параметров) использует в 3 раза меньше вычислений, чем SigLIP2, и требует в 2.2 раза меньше FLOPs, чем энкодер Qwen3.5-2B, при сопоставимой точности. Аудио-энкодер обеспечивает время до первого токена (TTFT) всего 50 мс, а синтез речи через LiquidCodec работает со скоростью 87x real-time на CPU Apple M4 Max.

В агентных задачах LFM3-1.7B демонстрирует прорывные результаты. На наборе данных WebArena-Verified модель набирает 38.42 балла, значительно превосходя LFM2.5-2.6B (3.02) и даже обгоняя более крупную Qwen3.5-9B в длинных задачах в браузерах и бизнес-приложениях.

Как запустить LFM3

Все модели доступны в библиотеке transformers. Для запуска текстовой модели LFM3-1.7B достаточно установить последнюю версию библиотеки и использовать стандартный пайплайн:

pip install -U transformers
from transformers import pipeline
generator = pipeline("text-generation", model="LiquidAI/LFM3-1.7B", trust_remote_code=True)
output = generator([{"role": "user", "content": "What is C. elegans?"}], do_sample=True, temperature=0.1, max_new_tokens=2048)
print(output[0]["generated_text"][-1]["content"])

Модели оптимизированы для работы на устройствах: текстовая модель занимает около 1 ГБ при 4-битном квантовании, что позволяет запускать локальных агентов с доступом к инструментам (tool calling) прямо на edge-устройствах.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: Hugging Face blog ↗