В мире искусственного интеллекта наблюдается четкий сдвиг от попыток создать «одну модель для всего» к созданию узкоспециализированных, но высокоэффективных решений. Компания LiquidAI, известная своими инновациями в области жидкостных нейронных сетей (Liquid Neural Networks), сделала еще один шаг в этом направлении, представив LFM3 (Liquid Foundation Models 3). Это не просто обновление предыдущей версии, а фундаментальная переработка подхода к созданию мультимодальных ИИ-агентов, способных работать на устройствах с ограниченными вычислительными ресурсами.
LFM3 объединяет текстовые, визуальные, аудиальные и даже «омни» (всепроникающие) модели на едином базовом остове (backbone) объемом всего около 2 миллиардов параметров. Это ключевое отличие: вместо того чтобы разрабатывать отдельные гигантские модели для каждой задачи, LiquidAI предлагают экосистему, где каждая модель оптимизирована под конкретный тип данных, но сохраняет общую архитектурную эффективность. Для разработчиков из России и стран СНГ это открывает новые возможности: запуск таких моделей становится возможным даже на локальных GPU среднего класса или даже на CPU благодаря высокой степени квантования и оптимизации.
В этой статье мы подробно разберем, что нового принесла LFM3, как устроена ее тригибридная архитектура, какие шесть моделей входит в семейство и как их можно интегрировать в свои проекты. Мы также рассмотрим практические примеры кода и сравним производительность с более крупными аналогами, чтобы вы могли оценить реальный потенциал этой технологии.
01Почему LFM3? Эволюция от LFM2 к специализации
Предыдущее поколение моделей LiquidAI, LFM2, уже продемонстрировало, что гибридный подход, сочетающий короткие свертки (convolutions) и механизмы внимания (attention), позволяет достигать высокой скорости работы на устройствах без потери качества. Однако для современных агентов (agentic workflows), которые должны работать с длинными контекстами и выполнять сложные цепочки действий, требовалась еще большая выразительность на каждый параметр.
LFM3 решает эту задачу через три главных изменения:
- Больше возможностей на параметр: Новая архитектура и рецепт обучения позволяют модели LFM3-1.7B превосходить предшественника LFM2.5-2.6B, используя на 35% меньше параметров. Это критически важно для развертывания на edge-устройствах.
- Единый остов для всех модальностей: Шесть моделей разных типов (текст, зрение, аудио, омни, принятие решений) обучены на базе LFM3-1.7B-Base. Это упрощает разработку: вы выбираете модель под свою задачу, дообучаете ее на своих данных и запускаете там, где работает приложение.
- Оптимизация под edge: Текстовая модель занимает всего около 1 ГБ в 4-битном квантовании. Встроенные энкодеры для зрения и аудио ускоряют обработку, а контекстное окно в 256K токенов позволяет агентам работать локально, не завися от облачных API.
02Архитектурные инновации: Тригибридный слой и Head-wise Gating
Сердцем LFM3 является базовая модель LFM3-1.7B-Base, которая прошла претворение на 22 триллионах токенов. Но самое интересное скрыто в архитектуре. LiquidAI использовали поиск архитектуры, чувствительный к оборудованию (hardware-in-the-loop architecture search), чтобы оптимизировать модель для агентов. Теперь поиск охватывает 14 комбинаций устройств и бэкендов — от смартфонов и Raspberry Pi до облачных CPU/GPU и NPU Qualcomm Hexagon.
Архитектура LFM3-1.7B-Base включает четыре ключевых изменения по сравнению с LFM2:
1. Тригибридная смесь слоев (Tri-hybrid layer mix)
Модель использует 24 слоя, которые распределены следующим образом:
- 13 слоев с гейтированными короткими свертками (kernel size 7, увеличено с 3 в LFM2 для лучшего захвата локальных зависимостей).
- 5 слоев внимания с скользящим окном (Sliding-Window Attention, SWA) с окном в 256 токенов.
- 6 слоев глобального внимания.
Такая комбинация позволяет модели эффективно обрабатывать как локальные детали, так и глобальный контекст, что особенно важно для длинных документов и видео.
2. Гейтированное внимание по головам (Head-wise gated attention)
В каждом слое внимания выход каждой «головы» (head) масштабируется сигмоидальным гейтом. Это позволяет голове «выключаться», если она не вносит полезного вклада в результат. Механизм помогает подавлять выбросы активаций (activation outliers), которые часто мешают эффективному квантованию модели, делая ее более стабильной при снижении точности вычислений.
3. Частичная RoPE (Partial RoPE)
В слоях глобального внимания поворот позиционных кодировок (RoPE) применяется только к половине высокочастотных компонентов каждой головы. Остальная половина остается инвариантной к расстоянию, что помогает модели лучше улавливать семантическое содержание независимо от позиции токена. В слоях SWA сохраняется полная RoPE для сохранения локального контекста.
4. Сэндвич-нормализация (Sandwich norm)
Каждый блок нормализует как вход, так и выход, что помогает поддерживать активации в хорошо масштабированном диапазоне, улучшая стабильность обучения и инференса.
Результатом этих архитектурных решений стала значительная эффективность при работе с длинными контекстами. LFM3-1.7B-Base была предварительно обучена на 22 триллионах токенов с тем же словарем в 128K токенов, что и LFM2.5-8B-A1B. Последние 3.5 триллиона токенов прошли стадию мид-тренинга (mid-training) на курированных данных с большим количеством агентных трасс и вызовов инструментов, что расширило контекстное окно до 256K токенов.
03Шесть моделей на одном остове: От текста до омни-интерфейсов
Одной из самых сильных сторон LFM3 является то, что все модели семейства ветвятся от одного базового ядра. Это означает, что вы можете переключаться между модальностями, используя схожие паттерны кода и оптимизации. Вот краткий обзор доступных моделей:
- LFM3-1.7B: Текстовая модель. Идеальна для локальных агентов, вызова инструментов (tool calling), структурированных выводов и доменно-специфичного дообучения. Пост-обучена для работы в агентных фреймворках, таких как Hermes Agent, Pi и OpenClaw.
- LFM3-VL-2B: Модель зрения и языка. Принимает текст, изображения и видео, выдает текст. Это первая модель зрения от LiquidAI, поддерживающая видео. Она рассуждает шаг за шагом, находит объекты и анализирует их пространственное расположение, что делает ее мощным фундаментом для робототехники.
- LFM3-Audio-2B: Аудиальная модель. Принимает текст и аудио, выдает текст и речь. Поддерживает распознавание речи, синтез, перевод на 18 языков и преобразование голосовых запросов в вызовы инструментов.
- LFM3-Omni-2B: Омни-модель. Принимает текст, изображения, видео и аудио, выдает текст и речь. Это первая «омни» модель от LiquidAI, заменяющая собой отдельные модели ASR, VLM, LLM и TTS. Она может отвечать на голосовые вопросы об изображениях, смотреть видео со звуком и превращать увиденное/услышанное в действия.
- d1-2B и d1-omni-2B: Модели для принятия решений. Вместо генерации текста они выдают калиброванные вероятности ответов на вопросы. Подходят для обработки тикетов поддержки, инвойсов, экранов приложений. Могут указывать на объекты, читать значения с документов и выбирать несколько вариантов ответа.
Особое внимание стоит уделить новым встроенным энкодерам. Для зрения используется энкодер, сочетающий свертки и внимание, который использует в 3 раза меньше вычислений, чем SigLIP2, и при этом сопоставим по точности с энкодером Qwen3.5-2B, требуя в 2.2 раза меньше FLOPs. Для видео он встраивает каждую пару выбранных кадров в один временной срез, сокращая длину временной последовательности вдвое.
Для аудио разработан новый энкодер и LiquidCodec. Энкодер полностью причинен (causal), что позволяет модели начинать обработку (prefill) еще во время речи пользователя, снижая задержку до первого токена до 50 мс. LiquidCodec преобразует сгенерированные токены в речь со скоростью около 87x от реального времени на одном потоке CPU Apple M4 Max, поддерживая потоковое декодирование.
04Практическое применение: Запуск LFM3-1.7B для агентов
Давайте рассмотрим, как использовать текстовую модель LFM3-1.7B для создания локального агента. Эта модель превосходит своего предшественника LFM2.5-2.6B на 35% меньше параметров и демонстрирует выдающиеся результаты на задачах агентов. Например, на наборе данных WebArena-Verified она набирает 38.42 балла против 3.02 у LFM2.5, и даже превосходит Qwen3.5-9B в длинных задачах в браузерах и бизнес-приложениях.
Для запуска вам понадобится последняя версия библиотеки transformers. Вот пример кода для загрузки и генерации текста:
from transformers import pipeline
generator = pipeline(
"text-generation",
model="LiquidAI/LFM3-1.7B",
trust_remote_code=True
)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
messages,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.1,
max_new_tokens=2048
)
print(output[0]["generated_text"][-1]["content"])Этот простой скрипт позволяет запустить модель локально. Для более сложных сценариев с агентами рекомендуется использовать руководства по агентным фреймворкам (Agent Harnesses), где описывается интеграция с инструментами.
05Мультимодальность в действии: LFM3-VL и LFM3-Audio
Модель LFM3-VL-2B открывает возможности для анализа изображений и видео. Она превосходит LFM2.5-VL-3B по количеству параметров (1.9B против 3.1B), но набирает средний балл 71.4 по 62 визуальным бенчмаркам, что сопоставимо с Gemma 4 12B — моделью в шесть раз больше. Это делает ее отличным выбором для задач компьютерного зрения на edge-устройствах.
Для работы с LFM3-VL-2B необходимо установить transformers>=5.21.0 с зависимостями для зрения:
pip install "transformers>=5.21.0" torch torchvision pillowПример кода для анализа изображения:
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "LiquidAI/LFM3-VL-2B"
model = AutoModelForImageTextToText.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": "https://placecats.com/300/200"},
{"type": "text", "text": "Describe this image."},
],
}
]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(
**inputs,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.1,
max_new_tokens=16384 # generate() требует явного лимита; рассуждение может быть долгим
)
generated_ids = output_ids[:, inputs["input_ids"].shape[1]:]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])Модель LFM3-Audio-2B поддерживает распознавание речи, синтез и перевод на 18 языков. Она использует новый энкодер и кодек LiquidCodec, что обеспечивает высокое качество речи (UTMOSv2 3.83 против 3.22 у предыдущей версии) и низкую задержку. Код для работы с аудио аналогичен, но требует установки дополнительных библиотек для аудиообработки.
06Омни-модель LFM3-Omni-2B: Все в одном
LFM3-Omni-2B — это флагманская модель семейства, объединяющая зрение, слух и речь. Она заменяет собой цепочку из отдельных моделей ASR, VLM, LLM и TTS. Модель может отвечать на голосовые вопросы об изображениях, анализировать видео со звуком и преобразовывать результаты в действия. На бенчмарках Daily-Omni, WorldSense и AV-SpeakerBench она превосходит модели до 10.7B параметров, такие как Qwen2.5-Omni-7B.
Запуск LFM3-Omni-2B требует установки transformers>=5.20.2 с зависимостями для зрения и аудио. Пример кода для ответа на вопрос об изображении голосом:
import torch
import soundfile as sf
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()
conversation = [
{
"role": "system",
"content": "Answer questions about the provided image. Base every answer only on what can be seen. Respond with text."
},
{
"role": "user",
"content": [
{"type": "image", "image": "photo.jpg"},
{"type": "audio", "audio": "question.wav"},
],
},
]
inputs = processor.apply_chat_template(
conversation, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(device)
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=1024, generation_mode="text")
print(processor.decode(
outputs.sequences[0, inputs["input_ids"].shape[1]:outputs.sequence_lengths[0]],
skip_special_tokens=True
))07Модели для принятия решений: d1-2B и d1-omni-2B
Если вам не нужна генерация текста, а требуются быстрые, структурированные решения, обратите внимание на модели d1-2B и d1-omni-2B. Они выдают калиброванные вероятности ответов на вопросы, что критически важно для бизнес-логики. Например, вы можете подать на вход тикет поддержки или инвойс и список вопросов, а модель ответит на все вопросы за один проход, предоставив вероятности для каждого ответа.
Эти модели могут не только выбирать варианты «да/нет», но и указывать на объекты на изображениях, читать значения с документов, оценивать числа в диапазоне и выбирать несколько опций. Это делает их идеальными для автоматизации рутинных процессов, где важна точность и скорость, а не креативность.
08Что это значит на практике
Появление LFM3 от LiquidAI знаменует собой новый этап в развитии локального ИИ. Раньше запуск мультимодальных моделей требовал мощных серверов или облачных API, что создавало проблемы с задержками, стоимостью и конфиденциальностью данных. LFM3 демонстрирует, что можно достичь высокой производительности, сопоставимой с моделями в десятки раз больше, используя всего 2 миллиарда параметров.
Для разработчиков из России это особенно актуально. Санкционные ограничения на доступ к некоторым облачным сервисам и высокие затраты на API крупных моделей делают локальный запуск все более привлекательным. LFM3 позволяет развернуть полноценного мультимодального агента с поддержкой зрения, слуха и речи на одном GPU, что снижает затраты и повышает безопасность данных.
Кроме того, гибкость семейства LFM3 позволяет создавать специализированные решения. Вы можете взять базовую текстовую модель, дообучить ее на своих данных для конкретной предметной области, а затем использовать визуальные или аудиальные модели для взаимодействия с пользователем. Это открывает путь к созданию уникальных ИИ-продуктов, которые работают быстро, дешево и надежно.
В заключение, LiquidAI LFM3 — это не просто еще одна модель, а целая экосистема, которая меняет правила игры в области локального ИИ. Ее высокая эффективность, мультимодальность и ориентация на edge-устройства делают ее отличным выбором для разработчиков, стремящихся создать мощные и доступные ИИ-решения.
Источник: Hugging Face ↗