deepseek-ai/3FS

Что это за инструмент

3FS — высокопроизводительная распределенная файловая система от DeepSeek, оптимизированная для задач обучения и инференса ИИ с использованием SSD и RDMA-сетей.

Зачем нужен

Инструмент решает проблемы с производительностью ввода-вывода при работе с большими данными в распределенных кластерах, предоставляя единый слой хранения с сильной согласованностью. Он упрощает разработку распределенных приложений, позволяя узлам вычислений обращаться к данным без необходимости знания их физического расположения.

Что можно реализовать

• Подготовка данных: эффективное управление огромными объемами промежуточных результатов аналитических пайплайнов в иерархических структурах.
• Загрузка данных (Dataloaders): обеспечение случайного доступа к выборкам обучения с вычислительных узлов, устраняя необходимость в предварительной выборке или перемешивании.
• Чекпоинтинг: поддержка высокоскоростного параллельного сохранения состояний моделей при крупномасштабном обучении.
• Кэширование KVCache: использование 3FS как альтернативы DRAM для хранения ключей и значений в процессе инференса LLM, обеспечивая высокую пропускную способность и большой объем.

Ключевые возможности

• Дисагрегированная архитектура, объединяющая пропускную способность тысяч SSD и пропускную способность сотен узлов хранения.
• Сильная согласованность данных (Strong Consistency) через механизм Chain Replication with Apportioned Queries (CRAQ).
• Стандартный файловый интерфейс, не требующий изучения новых API для хранения.
• Экстремально высокая производительность: до 6.6 TiB/s для чтения и 3.66 TiB/min для сортировки GraySort на больших кластерах.
• Интеграция с транзакционными хранилищами ключ-значение (например, FoundationDB) для метаданных.

👤 Кому подойдёт: Инженеры по машинному обучению, разработчики инфраструктуры (MLOps), исследователи, работающие с крупномасштабными кластерами для обучения LLM и инференса.