AIKraft/AI/Войти
AIKraft/Skills/Конвейер данных

Конвейер данных

Data pipeline and ETL automation - extract, transform, load workflows for data integration and analytics

claude-office-skills official Данные

Что делает навык

Навык автоматизирует процессы ETL (извлечение, преобразование, загрузка) для интеграции данных и аналитики, используя шаблоны n8n. Он обеспечивает сбор данных из различных источников, их очистку, агрегацию и загрузку в хранилища с настройкой расписания и мониторинга.

Когда применять

  • Создание ежедневных отчетов о продажах с объединением данных из Shopify и Stripe.
  • Автоматизация загрузки данных из баз данных (PostgreSQL, MySQL) или API в BigQuery или Snowflake.
  • Настройка мониторинга качества данных с алертами в Slack при ошибках или аномалиях.
  • Парсинг и очистка файлов (CSV, Excel, JSON) из облачных хранилищ (S3, Google Drive).

Как работает

  1. Определить источники данных (API, базы данных, файлы, SaaS-сервисы) и настроить узлы извлечения (Extract).
  2. Создать логику преобразования: очистка, маппинг полей, агрегация и обогащение данных с помощью кода или встроенных узлов.
  3. Настроить узлы загрузки (Load) в целевые системы (BigQuery, Google Sheets, базы данных, S3).
  4. Задать расписание выполнения (cron) и параметры повторных попыток (retries) при сбоях.
  5. Добавить проверки качества данных (валидация схемы, статистические проверки) и настроить каналы оповещения (Slack, PagerDuty).

Примеры запросов агенту

Создай конвейер данных для ежедневной выгрузки заказов из Shopify и платежей из Stripe в BigQuery.
Настрой ETL-процесс для очистки CSV-файлов из S3 и загрузки их в Google Sheets с проверкой на дубликаты.
Реализуй пайплайн с мониторингом: алерт в Slack, если количество обработанных строк отклоняется более чем на 50%.

Что понадобится

  • Доступ к API и учетным данным источников (Shopify, Stripe, PostgreSQL и др.).
  • Доступ к целевым системам (BigQuery, Google Sheets, S3, Snowflake).
  • Среда выполнения n8n или аналогичная платформа для оркестрации рабочих процессов.

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «data-pipeline» из репозитория: # https://github.com/claude-office-skills/skills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r data-pipeline/ ~/.claude/skills/data-pipeline/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.