huggingface/datatrove

Что это за инструмент

DataTrove — это библиотека для обработки, фильтрации и дедупликации текстовых данных в больших масштабах, предоставляющая набор модулей для построения конвейеров обработки.

Зачем нужен

Инструмент решает проблему сложного скриптинга при подготовке данных для обучения LLM, позволяя создавать гибкие и масштабируемые пайплайны. Он полезен благодаря платформенной независимости (запуск локально или на кластерах Slurm/Ray), низкому потреблению памяти и возможности легко добавлять кастомную логику обработки.

Что можно реализовать

• Полная репродукция пайплайнов создания датасетов уровня FineWeb или Common Crawl
• Дедупликация текстовых данных с использованием MinHash, точных подстрок или предложений
• Извлечение текста из сырых форматов (WARC, ARC, WET) и конвертация в Parquet/Arrow
• Оценка количества токенов в больших датасетах для настройки сэмплирования
• Генерация синтетических данных (rollouts) с использованием LLM-инференса

Ключевые возможности

• Платформенная независимость: пайплайны работают как локально, так и на Slurm или Ray без изменений кода
• Поддержка распределенных файловых систем через fsspec (включая S3)
• Гибкая система блоков: готовые решения для фильтрации, токенизации и кастомные функции
• Управление задачами (tasks) и воркерами для эффективного параллелизма и отслеживания прогресса
• Модульная установка зависимостей (io, processing, ray, inference и др.) через uv

👤 Кому подойдёт: инженеры данных и ML-инженеры, работающие с подготовкой данных для LLM