AIKraft/AI/Войти
AIKraft/Skills/Jetson: спекулятивное декодирование

Jetson: спекулятивное декодирование

Add EAGLE-3 or draft-model speculative decoding to a Jetson vLLM server when TPOT is the bottleneck.

nvidia official Другое

Что делает навык

Настройка развертывания vLLM на устройствах Jetson для ускорения генерации токенов путем добавления спекулятивного декодирования (EAGLE-3 или draft-model). Снижает задержку на токен, проверяя гипотезы черновика за один прямой проход целевой модели.

Когда применять

  • Когда узким местом является TPOT/ITL (медленный вывод), а TTFT в норме.
  • Рабочая нагрузка с однопоточным обслуживанием или низкой конкурентностью (≤2).
  • Использование устройств семейства Thor или AGX Orin с достаточным запасом VRAM.
  • Необходимость валидации улучшения скорости декодирования после применения конфигурации.

Как работает

  1. Определить, что узким местом является TPOT/ITL, а не TTFT.
  2. Убедиться, что нагрузка имеет низкую конкурентность (≤2) и используется устройство Thor или AGX Orin.
  3. Проверить наличие свободного VRAM (минимум ~2 ГБ), если ранее применялись флаги оптимизации памяти.
  4. Добавить правильную конфигурацию --speculative-config к существующему развертыванию vLLM.
  5. Валидировать, улучшилась ли скорость генерации токенов в однопоточном режиме.

Примеры запросов агенту

Примени спекулятивное декодирование EAGLE-3 к моему vLLM на Jetson AGX Orin, так как у меня медленная генерация токенов.
Настрой спекулятивное декодирование для однопоточной нагрузки на Jetson Thor, чтобы ускорить вывод.
Проверь, можно ли включить speculative decoding на моем Jetson, если узким местом является TPOT.

Что понадобится

  • Устройство Jetson семейства Thor или AGX Orin.
  • Развертывание vLLM с доступом к флагу --speculative-config.
  • Достаточный запас VRAM (минимум ~2 ГБ свободной памяти).

Описание составлено по SKILL.md навыка, сверено 06.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «jetson-speculative-decoding» из репозитория: # https://github.com/nvidia/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r jetson-speculative-decoding/ ~/.claude/skills/jetson-speculative-decoding/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.