Архитектура: Гибридная MoE и специализация
DeepSeek R1 представляет собой модель с архитектурой Hybrid-MoE (Mixture of Experts), которая объединяя преимущества Dense-моделей и MoE-подхода. В основе лежит Base-модель с 37 миллиардами параметров, использующая архитектуру Qwen2.5 с Sliding Window Attention (SWA) для эффективного контекста. Ключевое отличие — внедрение 32-х специализированных MoE-модулей (R1-MoE), которые активируются только для сложных задач, таких как математика и логика, что снижает вычислительные затраты.
Ключевые метрики производительности
Модель демонстрирует выдающиеся результаты в сложных задачах, превосходя многие закрытые аналоги. Ниже приведены сравнительные данные по основным бенчмаркам:
| Бенчмарк | DeepSeek R1 | Примечание |
|---|---|---|
| AIME 2024 | 79.8% | Высокая точность в математике |
| GPQA Diamond | 73.2% | Сложные научные вопросы |
| LiveBench | 68.5% | Актуальные знания |
| HumanEval | 92.6% | Генерация кода |
Технические детали и оптимизация
Модель использует FlashAttention-3 для ускорения вычислений и DeepSeekMoE для эффективного распределения нагрузки. Обучение проводилось на 2000+ TPU v5p в течение 112 дней, что позволило достичь высокой эффективности при меньших затратах по сравнению с конкурентами. Также внедрен Reinforcement Learning (RL) с использованием GRPO (Group Relative Policy Optimization) для тонкой настройки ответов.
Почему это важно?
Открытость архитектуры DeepSeek R1 позволяет разработчикам изучать и адаптировать гибридные модели MoE для своих задач. Это снижает барьер для входа в разработку сложных AI-систем и стимулирует инновации в области оптимизации вычислений. Модель доступна для коммерческого использования, что делает её привлекательной для бизнеса.
Источник: Towards AI pub ↗