kedro-org/kedro

Что это за инструмент

Kedro — это фреймворк на Python для создания воспроизводимых, модульных и поддерживаемых конвейеров обработки данных и машинного обучения.

Зачем нужен

Инструмент решает проблему хаоса в продакшн-проектах, применяя лучшие практики инженерии ПО к задачам data science. Он помогает структурировать код, управлять зависимостями между этапами пайплайна и обеспечивать воспроизводимость экспериментов, что упрощает переход от прототипа к промышленной эксплуатации.

Что можно реализовать

• Построение сложных ETL/ELT пайплайнов с автоматическим разрешением зависимостей между шагами
• Управление версиями данных и моделей для файловых систем через Data Catalog
• Визуализация структуры данных и логики пайплайна с помощью Kedro-Viz
• Развертывание ML-моделей на различных платформах, включая Argo, Prefect, Kubeflow, AWS Batch и Databricks

Ключевые возможности

• Готовый шаблон проекта на базе Cookiecutter Data Science для быстрой инициализации
• Data Catalog — унифицированный интерфейс для загрузки/сохранения данных из разных источников (локальные диски, облака, HDFS)
• Встроенная поддержка тестирования (pytest), линтинга (ruff) и документирования (Sphinx)
• Гибкие стратегии деплоя: от одиночных машин до распределенных сред
• Официальная поддержка LF AI & Data Foundation и активное сообщество

👤 Кому подойдёт: Data Engineers, ML Engineers и Data Scientists, работающие над сложными проектами, требующими перехода от исследовательских скриптов к надежным производственным системам.