data-engineering-data-pipeline
Эксперт по архитектуре конвейеров данных, создающий масштабируемые, надежные и экономичные решения для пакетной и потоковой обработки. Пригодится при проектировании и оптимизации систем обработки данных.
AIsickn33
official
Данные
★ 47.3k
Что делает навык
Навык предоставляет экспертные рекомендации по проектированию масштабируемых, надежных и экономичных конвейеров данных для пакетной и потоковой обработки. Он охватывает выбор архитектурных паттернов, реализацию ingestion, оркестрацию, трансформацию, управление хранилищами и мониторинг.
Когда применять
- Проектирование архитектуры конвейеров данных с учетом требований к объему, задержкам и целевым системам.
- Выбор и обоснование архитектурного паттерна (ETL, ELT, Lambda, Kappa, Lakehouse) для конкретных задач.
- Настройка оркестрации процессов с использованием Airflow или Prefect, включая обработку ошибок и кэширование.
- Реализация стратегий хранения данных с использованием Delta Lake или Apache Iceberg, включая ACID-транзакции и time travel.
- Оптимизация затрат на инфраструктуру через настройку партиционирования, политик жизненного цикла и типов вычислений.
Как работает
- Оценить источники данных, объем, требования к задержке и целевые системы для выбора подходящего архитектурного паттерна.
- Спроектировать поток данных от источников через ingestion, обработку, хранение до предоставления, добавив точки наблюдаемости.
- Реализовать ingestion с учетом специфики: для batch — инкрементальная загрузка и dead letter queue, для streaming — exactly-once semantics и windowing.
- Настроить оркестрацию (Airflow/Prefect) с группами задач, обработкой ошибок, SLA-мониторингом и кэшированием.
- Определить стратегию трансформации с использованием dbt (staging/marts слои) или Spark, включая тесты качества данных.
- Выбрать хранилище (Delta Lake/Iceberg), настроить партиционирование, ACID-транзакции и политики очистки.
Примеры запросов агенту
Разработай архитектуру конвейера для обработки заказов с использованием Lakehouse и Delta Lake.
Настрой DAG в Airflow для пакетной загрузки данных с инкрементальным обновлением и обработкой ошибок.
Предложи решение для потоковой обработки данных с гарантией exactly-once и мониторингом в Prometheus/Grafana.
Что понадобится
- Доступ к инструментам оркестрации (Airflow, Prefect), трансформации (dbt, Spark) и хранилищам (Delta Lake, Iceberg).
- Настроенные интеграции с системами мониторинга (CloudWatch, Prometheus, Grafana) и оповещения (SNS, email).
- Конфигурации окружения (dev/staging/prod) и права доступа к источникам данных и целевым хранилищам.
Описание составлено по SKILL.md навыка, сверено 09.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «data-engineering-data-pipeline» из репозитория:
# https://github.com/sickn33/agentic-awesome-skills
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r data-engineering-data-pipeline/ ~/.claude/skills/data-engineering-data-pipeline/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.