AIKraft/Skills/data-engineering-data-pipeline

data-engineering-data-pipeline

Эксперт по архитектуре конвейеров данных, создающий масштабируемые, надежные и экономичные решения для пакетной и потоковой обработки. Пригодится при проектировании и оптимизации систем обработки данных.

sickn33 official Данные ★ 47.3k

Что делает навык

Навык предоставляет экспертные рекомендации по проектированию масштабируемых, надежных и экономичных конвейеров данных для пакетной и потоковой обработки. Он охватывает выбор архитектурных паттернов, реализацию ingestion, оркестрацию, трансформацию, управление хранилищами и мониторинг.

Когда применять

  • Проектирование архитектуры конвейеров данных с учетом требований к объему, задержкам и целевым системам.
  • Выбор и обоснование архитектурного паттерна (ETL, ELT, Lambda, Kappa, Lakehouse) для конкретных задач.
  • Настройка оркестрации процессов с использованием Airflow или Prefect, включая обработку ошибок и кэширование.
  • Реализация стратегий хранения данных с использованием Delta Lake или Apache Iceberg, включая ACID-транзакции и time travel.
  • Оптимизация затрат на инфраструктуру через настройку партиционирования, политик жизненного цикла и типов вычислений.

Как работает

  1. Оценить источники данных, объем, требования к задержке и целевые системы для выбора подходящего архитектурного паттерна.
  2. Спроектировать поток данных от источников через ingestion, обработку, хранение до предоставления, добавив точки наблюдаемости.
  3. Реализовать ingestion с учетом специфики: для batch — инкрементальная загрузка и dead letter queue, для streaming — exactly-once semantics и windowing.
  4. Настроить оркестрацию (Airflow/Prefect) с группами задач, обработкой ошибок, SLA-мониторингом и кэшированием.
  5. Определить стратегию трансформации с использованием dbt (staging/marts слои) или Spark, включая тесты качества данных.
  6. Выбрать хранилище (Delta Lake/Iceberg), настроить партиционирование, ACID-транзакции и политики очистки.

Примеры запросов агенту

Разработай архитектуру конвейера для обработки заказов с использованием Lakehouse и Delta Lake.
Настрой DAG в Airflow для пакетной загрузки данных с инкрементальным обновлением и обработкой ошибок.
Предложи решение для потоковой обработки данных с гарантией exactly-once и мониторингом в Prometheus/Grafana.

Что понадобится

  • Доступ к инструментам оркестрации (Airflow, Prefect), трансформации (dbt, Spark) и хранилищам (Delta Lake, Iceberg).
  • Настроенные интеграции с системами мониторинга (CloudWatch, Prometheus, Grafana) и оповещения (SNS, email).
  • Конфигурации окружения (dev/staging/prod) и права доступа к источникам данных и целевым хранилищам.

Описание составлено по SKILL.md навыка, сверено 09.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «data-engineering-data-pipeline» из репозитория: # https://github.com/sickn33/agentic-awesome-skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r data-engineering-data-pipeline/ ~/.claude/skills/data-engineering-data-pipeline/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.