Завершен Lemonade Router: от правил к LLM-as-a-Router
В рамках мероприятия AMD Advanding AI 22 июля 2026 года было представлено обновление Lemonade 11.5. Главное нововведение — завершение разработки Lemonade Router. Этот компонент позволяет автоматически маршрутизировать запросы к нужным моделям на основе заданных политик. Поддерживаются четыре типа маршрутизации:
- Rule-based: маршрутизация по простым правилам.
- Classifier: использование классификаторов для определения типа запроса.
- Semantic similarity: поиск по семантическому сходству.
- LLM-as-a-router: использование небольшой языковой модели для принятия решений о маршрутизации сложных запросов.
Политики задаются через JSON-файлы или графический интерфейс Lemonade GUI, что делает систему гибкой для различных сценариев использования.
Универсальность и кроссплатформенность
Lemonade остается ключевым инструментом для развертывания LLM-нагрузок на аппаратном обеспечении AMD. Сервер поддерживает работу с Ryzen AI NPUs, графическими процессорами Radeon и центральными процессорами. Архитектура обеспечивает бесшовную работу как под управлением Linux, так и Windows, что критически важно для корпоративных и домашних пользователей, использующих разное ПО.
Новый движок задач и интеграция MCP
Версия 11.5 вводит серверный движок задач (job engine), позволяющий клиентам отправлять многошаговые рецепты выполнения. Управление этими задачами осуществляется через эндпоинты /jobs, где пользователи могут ставить задачи на паузу, возобновлять, прерывать или удалять их. Кроме того, демон Lemonade теперь может выступать в роли хоста клиента MCP (Model Context Protocol), подключая внешние stdio MCP-серверы для расширения функциональности.
Сравнение ключевых возможностей версий
| Функция | Lemonade 11.0 | Lemonade 11.5 |
|---|---|---|
| Маршрутизация запросов | Базовая / отсутствующая | Полный Lemonade Router (4 типа политик) |
| Управление задачами | Простые запросы | Многошаговые рецепты с контролем состояния |
| Интеграция MCP | Не поддерживалась | Поддержка внешних stdio MCP-серверов |
| Платформы | Linux / Windows | Linux / Windows (без изменений) |
Почему это важно
Выпуск Lemonade 11.5 закрывает критический пробел в управлении локальными LLM. Возможность использовать «LLM-as-a-router» позволяет системам самостоятельно адаптироваться к сложности запросов, оптимизируя использование ресурсов (например, направляя простые вопросы на быстрые модели, а сложные — на более мощные). Интеграция MCP открывает путь для создания сложных агентов, работающих с внешними данными и инструментами прямо на локальном оборудовании AMD.
Источник: Phoronix ↗