Масштаб инфраструктуры DeepSeek
Лаборатория DeepSeek опубликовала технический отчет о платформе DeepSeek Elastic Compute (DSec). Это распределенная система для создания изолированных сред (песочниц), необходимых для обучения агентов на базе больших языковых моделей (LLM). В отличие от стандартных контейнеров, DSec поддерживает сложные сценарии, где модели взаимодействуют с внешними сервисами, выполняют команды и сохраняют состояние.
Ключевые метрики производительности системы в продакшене:
- 5 000+ созданий песочниц в секунду;
- 380 000 одновременных активных песочниц;
- 3 миллиона песочниц в сутки;
- Один производственный кластер состоит из ~160 узлов.
Техническая архитектура: от Fire-Flyer до RL
DSec не является единым рантаймом. Это оркестратор, который управляет жизненным циклом сред через унифицированный SDK, поддерживая бэкенды на базе FnCall, контейнеров, микро-ВМ (microVM) и полных виртуальных машин. Система использует файловую систему Fire-Flyer (3FS) для загрузки образов «по требованию» (on-demand), что критически важно при работе с огромными наборами данных.
Особое внимание уделено интеграции с фреймворком обучения с подкреплением (RL). DSec ко-дизайнирована с процессом обучения: она разделяет выполнение агентов (stateful rollout) и тренировку на GPU (preemptible). Это позволяет сохранять состояние агентов, даже если тренировочные ресурсы прерываются, и эффективно перераспределять память.
Сравнение подходов к изоляции
Разработчики подчеркивают, что традиционные подходы не справляются с нагрузкой агентов. DSec комбинирует несколько технологий для обеспечения плотности и безопасности:
| Компонент | Решение в DSec | Преимущество |
|---|---|---|
| Изоляция | Микровиртуальные машины (microVM) | Быстрый старт, безопасность уровня ВМ |
| Хранение образов | 3FS (Fire-Flyer File System) | Отложенная загрузка, экономия дискового пространства |
| Управление памятью | Разделение и рекуперация памяти | Высокая плотность выполнения (overcommit) |
| Безопасность | Защита от reward hacking | Предотвращение манипуляций агентов с метриками |
Почему это важно
Обучение агентов требует огромных вычислительных ресурсов, так как каждый шаг взаимодействия модели с окружением должен быть изолирован и воспроизводим. DSec решает проблему «узкого горлышка» в инфраструктуре: она позволяет масштабировать процесс генерации данных для RL без простоя на инициализацию сред. Это делает возможным эффективное обучение сложных агентов, способных выполнять многошаговые задачи в реальных условиях.
Источник: Arxiv ↗