IBM/data-prep-kit

Что это за инструмент

Data Prep Kit — это open-source инструмент для подготовки неструктурированных данных (текст, код, изображения) к использованию в генеративных ИИ-приложениях.

Зачем нужен

Инструмент позволяет очищать, трансформировать и обогащать данные для предобучения, тонкой настройки (fine-tune) и обучения инструкциям (instruct-tune) больших языковых моделей, а также для создания систем RAG. Он обеспечивает масштабируемость от локального ноутбука до дата-центров, используя Python и Ray.

Что можно реализовать

• Подготовка датасетов для тонкой настройки LLM (fine-tuning)
• Создание и подготовка данных для приложений с Retrieval Augmented Generation (RAG)
• Извлечение контента из PDF, HTML и ZIP-архивов с кодом в формат Parquet
• Построение конвейеров обработки данных с использованием Tekton на Kubernetes

Ключевые возможности

• Поддержка нескольких модальностей: естественный язык, код и изображения
• Масштабируемость через рантаймы Python (для ноутбуков) и Ray (для дата-центров)
• Готовые примеры (recipes) для типовых сценариев, включая RAG и fine-tuning
• Возможность создания пользовательских трансформаций для форматов Parquet, ZIP, NDJSON и JSONL
• Простой старт через Google Colab без необходимости сложной настройки окружения

👤 Кому подойдёт: Разработчики LLM-приложений, ML-инженеры, специалисты по данным, работающие с неструктурированными данными для генеративного ИИ