В мире искусственного интеллекта наблюдается четкий сдвиг парадигмы: от облачных гигантов к локальным, приватным и быстрым решениям. Пользователи и разработчики все чаще задаются вопросом: можно ли запустить мощного «мыслящего» агента не на сервере с сотнями видеокарт, а на своем ноутбуке или даже смартфоне? Ответ, который предлагает команда LiquidAI, — да, и это уже реальность. Их новая модель LFM2.5-24B-A2B демонстрирует, что эффективность не обязательно требует колоссальных вычислительных ресурсов, если архитектура спроектирована с учетом современных требований к агентам.
Эта модель позиционируется как решение для запуска быстрых, приватных AI-агентов непосредственно на устройстве (on-device). Ключевая особенность LFM2.5-24B-A2B заключается в ее гибридной природе: она обладает 24 миллиардами параметров, но в каждый момент времени активны лишь 2 миллиарда. Это позволяет модели «думать» перед тем, как ответить, использовать инструменты и выполнять многошаговые задачи, оставаясь при этом невероятно легкой для инференса. В этой статье мы подробно разберем, как устроена эта архитектура, почему она обходит более крупные модели в задачах использования инструментов, и как вы можете запустить её у себя дома.
01Архитектура и обучение: От базы к агенту
LFM2.5-24B-A2B не появилась из ниоткуда; она является эволюцией предыдущей версии LFM2-24B-A2B. Сохраняя проверенную временем архитектуру, разработчики значительно расширили её возможности. Модель состоит из 40 слоев и использует механизм MoE (Mixture of Experts) с 64 экспертами в каждом блоке, выбирая топ-4 наиболее релевантных эксперта для обработки каждого токена. Эта структура дополнена гибридной системой, сочетающей короткие свертки (gated short convolutions) и группированную запросную аттенцию (GQA), что обеспечивает баланс между скоростью и контекстной памятью.
Одним из самых заметных улучшений стало расширение контекстного окна с 32 000 до 131 000 токенов. Это критически важно для агентов, которым нужно удерживать в памяти длинные диалоги, документы или код. Кроме того, LiquidAI провели in-place расширение токенизатора, удвоив словарь с 65 000 до 128 000 токенов. Это значительно улучшает качество обработки текстов на языках, отличных от английского, включая русский, китайский и другие не-латинские скрипты, делая модель более универсальной для глобального использования.
В отличие от своего предшественника, LFM2.5-24B-A2B является моделью исключительно для рассуждений (reasoning-only). Это означает, что она всегда генерирует явную цепочку мыслей (chain of thought) перед тем, как выдать финальный ответ. Такой подход имитирует человеческое мышление: сначала анализ, затем решение. Обучение модели прошло через несколько сложных этапов:
- Предобучение (Pre-training): Объем данных был увеличен с ~17 триллионов до ~33 триллионов токенов, что заложило фундаментальные знания.
- Среднее обучение (Mid-training): Добавлено 2 триллиона токенов с акцентом на рассуждения, математику, код, следование инструкциям и многоязычность (при контексте 32K), а также 300 миллиардов токенов с длинным контекстом (131K).
- Пост-обработка (Post-training): Базовая модель была превращена в агента за пять этапов, включая супервизорное дообучение (SFT), специализацию учителей, многодоменную дистилляцию в реальном времени (MOPD) для неагентских и агентских задач, и, наконец, агентское обучение с подкреплением (Agentic RL) внутри таких сред, как OpenClaw, Hermes Agent, Pi и OpenCode.
02Результаты бенчмарков: Маленькая, но мощная
Чтобы оценить эффективность LFM2.5-24B-A2B, её сравнили с более крупными моделями, такими как Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning. Оценка проводилась по 16 различным бенчмаркам, охватывающим использование инструментов, агентские рабочие процессы, знания, следование инструкциям, математику и программирование. Несмотря на то, что LFM2.5-24B-A2B является самой маленькой моделью в этой группе, её результаты впечатляют.
Особенно ярко модель проявила себя в задачах, требующих взаимодействия с внешними инструментами. На бенчмарке LiveClaw, который тестирует способность агентов выполнять сложные задачи в реальной среде, LFM2.5-24B-A2B набрала 48.09 баллов, значительно опередив Qwen3.6-35B-A3B (38.19) и другие конкуренты. На AutomationBench, где оценивается автоматизация задач, она показала результат 27.69, что более чем в три раза превышает показатель следующего лучшего конкурента (8.72). Также модель лидирует или идет вровень с конкурентами на BFCLv4, ToolSandbox и τ³-Bench Banking.
В задачах следования инструкциям (IFEval, IFBench, Multi-IF) LFM2.5-24B-A2B также демонстрирует превосходные результаты, что делает её идеальной для приложений, где важно точно выполнять сложные запросы пользователя. Однако стоит отметить, что в задачах, требующих глубоких специализированных знаний (GPQA Diamond, HLE) или сложного программирования (SWE-Bench Verified, SciCode), более крупные модели пока сохраняют преимущество. Это не означает, что LFM2.5-24B-A2B плоха в этих областях, а скорее указывает на то, что для таких задач её стоит комбинировать с системами поиска (RAG) или веб-поиском, чтобы дополнить её внутренние знания внешней информацией.
03Скорость инференса: Реальность on-device
Главное преимущество LFM2.5-24B-A2B — это скорость. Благодаря тому, что в каждый момент времени активны только 2 миллиарда параметров, вычислительная нагрузка минимальна. Модель поддерживает запуск на самых разных платформах, включая CPU, GPU, Apple Silicon и мобильные чипы. Поддержка включена в такие популярные фреймворки, как llama.cpp, MLX, vLLM, SGLang и ONNX.
На устройствах с процессором Apple M5 Max модель демонстрирует скорость 184 токена в секунду. Для сравнения, это на 70% быстрее, чем у следующего лучшего конкурента в своем классе, при этом потребление памяти остается минимальным. На мобильных процессорах, таких как Ryzen AI Max+ 395, скорость составляет 114 токенов в секунду, что делает возможным использование агентов в полевых условиях без подключения к интернету.
Если же говорить о серверных GPU, то на одной видеокарте NVIDIA B300 модель способна генерировать более 21 000 выходных токенов в секунду при высокой конкурентности. Это открывает возможности для масштабирования агентных систем в облаке, если локальных ресурсов недостаточно. Такая гибкость позволяет разработчикам выбирать оптимальное решение в зависимости от доступного оборудования.
04Как запустить LFM2.5-24B-A2B локально
Запуск модели LFM2.5-24B-A2B не требует сложных настроек. Благодаря открытым весам и поддержке стандартных библиотек, вы можете начать работу за считанные минуты. Ниже приведен пример кода на Python с использованием библиотеки transformers от Hugging Face. Убедитесь, что у вас установлена последняя версия библиотеки (совместимая с transformers>=5.0.0).
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
dtype="bfloat16"
# attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
[{"role": "user", "content": prompt}],
add_generation_prompt=True,
return_tensors="pt",
tokenize=True
)["input_ids"].to(model.device)
output = model.generate(
input_ids,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.05,
max_new_tokens=512,
streamer=streamer,
)Этот код загружает модель, токенизирует запрос и запускает генерацию ответа с потоковой выводом. Параметр device_map="auto" позволяет автоматически распределить модель по доступным устройствам (GPU/CPU). Если у вас есть совместимая видеокарта с поддержкой Flash Attention 2, вы можете раскомментировать соответствующую строку для ускорения.
05Интеграция с агентными фреймворками
Однако истинная мощь LFM2.5-24B-A2B раскрывается, когда она используется в качестве движка для AI-агентов. Модель можно запустить локально за любым бэкендом, совместимым с OpenAI API, а затем направить на неё агентный фреймворк. Например, для использования с Hermes Agent можно выполнить следующие команды конфигурации:
hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement trueОбратите внимание, что порт зависит от используемого вами бэкенда: llama.cpp и MLX используют порт 8080, vLLM — 8000, SGLang — 30000, а LM Studio — 1234. Такая гибкость позволяет интегрировать модель в существующие рабочие процессы без необходимости переписывать весь код. Документация LiquidAI также предоставляет конфигурации для других популярных агентных сред, таких как OpenClaw и Pi.
06Что это значит на практике
Появление LFM2.5-24B-A2B знаменует собой новый этап в доступности мощных AI-агентов. Для обычных пользователей это означает возможность использовать умных помощников, которые работают быстро, не отправляют ваши данные в облако и могут работать даже в режиме офлайн. Для разработчиков это возможность создавать масштабируемые агентные системы, которые можно развернуть на любом оборудовании — от Raspberry Pi до мощных серверов.
Эффективность модели в задачах использования инструментов делает её идеальной для автоматизации рутинных процессов: управления файлами, поиска информации, написания кода и взаимодействия с другими приложениями. А возможность локального запуска гарантирует конфиденциальность данных, что критически важно для бизнеса и частных лиц, заботящихся о безопасности.
Команда LiquidAI продолжает развивать эту архитектуру, и мы можем ожидать появления ещё более оптимизированных версий в будущем. Если вы хотите экспериментировать с LFM2.5-24B-A2B, вы можете скачать её веса с Hugging Face, запустить локально и начать строить своих собственных AI-агентов. Это отличный шанс стать частью сообщества разработчиков, которые создают будущее локального искусственного интеллекта.
07Заключение
LFM2.5-24B-A2B — это не просто еще одна большая языковая модель. Это тщательно спроектированный инструмент для создания автономных агентов, которые могут работать на вашем устройстве. Сочетание высокой скорости, низкой стоимости инференса и отличных результатов в задачах использования инструментов делает её одним из самых перспективных решений на рынке на сегодняшний день. Попробуйте запустить её сами и посмотрите, как она справляется с вашими задачами.
Источник: Hugging Face ↗