ai-dynamo/dynamo

Обновление базовых пакетов, переход SGLang на Python 3.12.16, возврат HTTP 400 при превышении лимита токенов в TensorRT-LLM и опциональная заморозка GC.

• Fixed: TensorRT-LLM теперь возвращает HTTP 400 вместо 500 при превышении лимита токенов, не останавливая воркер.
• Added: Добавлен флаг --freeze-gc-after-init для SGLang, позволяющий заморозить сборку мусора после старта для снижения задержек.
• Breaking: Образ SGLang переключен на CPython 3.12.16, из-за чего cuda-gdb больше не поддерживает скрипты на Python.
• Added: Обновлены версии Mooncake, PyNvVideoCodec, pyasn1 и pinned diffusers в образах SGLang, vLLM и TensorRT-LLM.
• Added: Планировщик (Planner) переведен на Python 3.13.18, сборка теперь падает при использовании устаревшего pip.

Патч v1.6.1: обновление Pillow до 13, обновление CA-хранилищ с удалением emSign ECC Root CA - G3 и исправление публикации KVBM-критов.

• Breaking: Обновлены CA-хранилища: удален корневой сертификат emSign ECC Root CA - G3, что может вызвать сбои TLS-соединений с зависимыми эндпоинтами.
• Added: Обновлены базовые образы и инструменты: Pillow 13, uv 0.13.5, pip 26.2.2, certifi 2026.10.19, Go 1.27.3, Python 3.13.
• Fixed: Восстановлена публикация KVBM-критов (kvbm-kernels, kvbm-logical, kvbm-physical, kvbm-engine) на crates.io, которые не публиковались в v1.6.0.
• Fixed: Исправлены команды sed в документации для Kubernetes, теперь они корректно заменяют любой тег образа, а не только 1.6.1.

Исправление перегрузки роутера, безопасность медиа и баги SGLang/Qwen3-VL; важные ломающие изменения в прокси и путях.

• Fixed: Исправлено зависание состояния перегрузки в Dynamo Router и утечка фрагментов стоп-последовательностей.
• Fixed: Устранены проблемы с min_tokens в SGLang, маршрутизацией видео Qwen3-VL и обнаружением RL-воркеров в Kubernetes.
• Fixed: Добавлен лимит размера inline data: URL и улучшена валидация локальных путей для SGLang Diffusion.
• Breaking: Требует явного включения DYN_MM_TRUST_EGRESS_PROXY для обхода прокси при загрузке медиа.
• Breaking: Локальные файлы для SGLang Diffusion теперь требуют явного указания разрешённой директории через DYN_MM_LOCAL_PATH.

Исправлена загрузка NIXL во Frontend и SGLang, добавлена поддержка NVIDIA Enterprise Support, обновлены зависимости.

• Fixed: Исправлено разрешение путей загрузки NIXL в Frontend и SGLang Runtime, устранена ошибка с некорректными заглушками.
• Added: Запущен Dynamo Enterprise: набор артефактов для поддержки NVIDIA AI Enterprise без функциональных отличий от open-source.
• Fixed: Обновлен AWS EFA Installer до версии v1.50.
• Fixed: Зафиксирована версия Pillow на уровне v12.3.0 и добавлено ограничение для plotext ниже v6.
• Deprecated: Удален неиспользуемый плагин Nsight EFA Metrics из собираемых образов.

Добавлены OpenAI-совместимые эндпоинты классификации и пулинга, исправлено зависание роутера и передача лог-вероятностей.

• Added: Добавлены эндпоинты /v1/classify и /v1/pooling с поддержкой vLLM и различными форматами ответов.
• Fixed: Исправлено зависание состояния перегрузки в Dynamo Router при восстановлении после ошибок.
• Fixed: Устранена ошибка 400 при передаче параметра logprob_token_ids в фронтенде.
• Fixed: Починена передача объектов NIXL в vLLM-Omni, вызывавшая ошибку из-за неизменяемых буферов.
• Обновлены Go-модули gRPC, x/net, x/text и инструментальная цепочка до версии 1.26.6.

Исправлен сбой KV-передачи в disaggregated SGLang на AWS EFA за счёт обновления NIXL и EFA Installer.

• Fixed: Устранён сбой disaggregated-инференса на AWS EFA: теперь используется релизный wheel NIXL вместо сборки из исходников, что решает проблему зависания передачи KV.
• Fixed: Обновлены версии зависимостей: NIXL (релизный wheel), EFA Installer (1.49.0) и libfabric (v2.4.0).
• Fixed: Исправлены битые ссылки в документации и обновлены теги контейнеров до версии 1.3.1.
• Известная проблема: зависание на H100 при частичном выделении EFA-устройств сохраняется, решение пока не найдено.

Исправлены загрузчики ModelExpress, совместимость с ROCm/Python 3.10 и ошибки SGLang.

• Added: Интеграция ModelExpress 0.4.0 для загрузки моделей в vLLM и SGLang.
• Fixed: Устранён сбой загрузки моделей из объектных хранилищ (S3, GCS, Azure).
• Fixed: Исправлен краш декодирования токенов в SGLang для MoE-моделей (кроме DeepSeek-V4).
• Fixed: Восстановлена совместимость импорта с AMD ROCm и Python 3.10.
• Fixed: Исправлены ошибки сборки контейнеров EFA для RDMA.