linkedin/Liger-Kernel

Liger-Kernel v0.8.5: поддержка DeepSeek V2, частичного RoPE, оптимизации RL и повышение минимальной версии Transformers до 5.0.0.

• Added: Добавлена поддержка модели DeepSeek V2 через apply_liger_kernel_to_deepseek_v2.
• Added: В Triton-ядро внедрена поддержка частичного RoPE (Partial RoPE).
• Added: В fused scaled cross-entropy добавлена возможность получения log probabilities для выбранных токенов.
• Breaking: Минимальная поддерживаемая версия библиотеки Transformers повышена до 5.0.0.
• Fixed: Исправлены градиенты KL и маскированных потерь в GRPO, а также коррекция vLLM для VESPO loss.
• Fixed: Устранены проблемы с torch.compile для kl_div/tvd и исправлен патчинг RMSNorm/SwiGLU для новых моделей.

Релиз Liger Kernel 0.8.5: поддержка DeepSeek-V2, частичного RoPE, исправления для Llama4, Qwen2-VL и оптимизации производительности.

• Added: Добавлена поддержка apply_liger_kernel_to_deepseek_v2 для моделей DeepSeek-V2.
• Added: В ядро Triton добавлена поддержка частичного RoPE (partial RoPE).
• Fixed: Исправлены патчи для Llama4 (SwiGLU) и Qwen2-VL/Qwen2.5-VL (RMSNorm) в transformers >= 5.2.
• Fixed: Устранены ошибки в градиентах GRPO, коррекция vLLM для VESPO loss и работа torch.compile для kl_div/tvd.
• Added: В fused scaled cross entropy добавлены логарифмические вероятности для выбранных токенов.
• Fixed: Повышен минимальный требуемый пакет transformers до версии 5.0.0.

Релиз Liger-Kernel v0.8.4: поддержка DeepSeek-V3, новый ядро CE+TVD, оптимизация PPO и исправления стабильности.

• Added: Добавлена поддержка DeepSeek-V3 через apply_liger_kernel_to_deepseek_v3.
• Added: Введено новое ядро для объединённого вычисления cross-entropy и TV distance.
• Added: Оптимизация PPO: пропуск вычисления градиентов для замороженных LM-head.
• Fixed: Исправлены ошибки численной стабильности и градиентов в JSD, TVD, KTO и LayerNorm.
• Fixed: Улучшена совместимость с Ascend NPU и исправлены ошибки индексации в Triton.

Релиз Liger-Kernel v0.8.2: новые CuTe-ядра для Hopper/Blackwell, интеграция MoE и SwiGLU, улучшения точности и производительности.

• Added: Добавлены экспериментальные бэкенды CuTe DSL, cuTile и LigerCute с оптимизациями для GPU Hopper и Blackwell.
• Added: Внедрено ядро fused linear scaled cross entropy, совместимое с verl-style вычислениями для RL-обучения.
• Added: Добавлена интеграция SwiGLU для Megatron и улучшена поддержка NPU.
• Fixed: Исправлены проблемы корректности и точности в ядрах cross entropy, RMSNorm, JSD и MoE.

Релиз Liger-Kernel v0.8.1: интеграция с Megatron-Core, поддержка Gemma-4 и DeepSeek-v4, оптимизации для Ascend NPU и новые функции DPO.

• Added: Добавлена нативная интеграция с Megatron-Core через пространство имен liger_kernel.megatron без monkey-patching.
• Added: Расширена поддержка моделей: добавлены apply_liger_kernel_to_gemma4 и apply_liger_kernel_to_deepseek_v4.
• Added: Значительно улучшена работа с Ascend NPU: оптимизированы cross_entropy, SwiGLU, attention и добавлена поддержка машин A3.
• Added: В DPO добавлены новые типы потерь: hinge, bco_pair, robust, exo_pair и discopop.
• Added: Запущено экспериментальное скелетное решение для альтернативных бэкендов (cuTile, CuTe DSL) с возможностью выбора через переменную окружения.
• Fixed: Исправлена ошибка переполнения int32 в fused MoE и улучшена совместимость с transformers v5.8.0 и Triton.