AIKraft Agents
ВойтиТарифы и покупка

dagster-io/dagster

Платформа оркестрации для разработки, производства и наблюдения за данными.

LLMOps⭐ 16 373Pythonпоследний релиз: 1.13.29
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Dagster — это оркестратор данных с открытым исходным кодом, предназначенный для создания, запуска и мониторинга конвейеров обработки данных (data pipelines). Он позволяет декларативно описывать зависимости между данными и обеспечивает их актуальность.

Зачем нужен

Инструмент решает задачу управления жизненным циклом данных (data assets), такими как таблицы, датасеты и ML-модели, от локальной разработки до продакшена. Он полезен тем, кто хочет обеспечить воспроизводимость процессов, автоматический пересчет зависимых данных при изменении источников и иметь полную видимость (observability) и lineage (происхождение данных) в едином интерфейсе.

Что можно реализовать

  • Построение ETL/ELT пайплайнов с автоматическим учетом зависимостей между таблицами и датасетами
  • Разработка и тестирование ML-моделей как часть конвейера данных с интеграцией библиотек вроде scikit-learn
  • Мониторинг качества данных и отслеживание lineage (происхождения) метаданных через встроенный UI
  • Интеграция CI/CD практик в процессы обработки данных с использованием декларативной модели на Python

Ключевые возможности

  • Декларативная модель на Python: данные описываются как функции, Dagster сам управляет их выполнением и зависимостями
  • Встроенная observability и lineage: веб-интерфейс для визуализации графов данных, диагностики ошибок и анализа производительности
  • Поддержка полного жизненного цикла: единая среда для локальной разработки, unit-тестов, staging и production
  • Широкая экосистема интеграций с популярными инструментами современного Data Stack
  • Открытая лицензия Apache 2.0 и активное сообщество

👤 Кому подойдёт: Data Engineers, Data Scientists, разработчики ML-пайплайнов, архитекторы данных

Релизы

1.13.29patch
🕐 11 ч назад · релиз на GitHub ↗

Улучшение производительности UI, мобильная адаптация и исправление ошибок в Dagster 1.13.29.

  • Added: Ускорена загрузка логов, улучшена производительность глобального поиска и каталога активов.
  • Added: Добавлены мобильные макеты для обзора кодовых локаций, списков развертываний и страниц датчиков/расписаний.
  • Fixed: Исправлено зависание страницы при выборе крупных групп активов и ошибка с shift-click в таблицах.
  • Fixed: Устранено открытие страниц активов в десктопном режиме на телефонах и дублирование строк в поиске.
  • Fixed: Исправлено отображение опций меню массовых действий с учетом прав доступа и ошибка CLI при Typer 0.26+.
1.13.28minor
🕐 6 дн назад · релиз на GitHub ↗

Поддержка protobuf 7, dbt v2, kubernetes client 37, исправления багов и улучшения UI в Dagster 1.13.28.

  • Added: Добавлена поддержка protobuf 7, kubernetes client 37 и dbt v2 (Fusion engine).
  • Added: Улучшено поведение UI: автодополнение тегов, сортировка фильтров и оптимизация опроса вкладок.
  • Added: Dagster Cloud: агенты могут перезапускать упавшие локации кода; добавлен метод run_job() для Databricks Pipes.
  • Fixed: Исправлены ошибки с universal-pathlib, модулем dateutil и хуками dbt.
  • Deprecated: Метрика Run concurrency заменена на Runs in progress в Insights.
1.13.27patch
🕐 10 дн назад · релиз на GitHub ↗

Исправления UI: дубликаты запусков, краши, ошибки IndexedDB и выбор значений. Оптимизация BigQuery и новые настройки Dagster+.

  • Fixed: Исправлено создание дубликатов запусков при повторном выборе Re-execute и краш UI при навигации в графе активов.
  • Fixed: Устранены ошибки загрузки страниц из-за проблем с IndexedDB и корректная обработка спецсимволов в полях выбора.
  • Added: Новые организации Dagster+ больше не получают политику оповещения о превышении кредитного лимита по умолчанию.
  • Added: Добавлен мобильный макет страницы деталей запуска с отображением тегов, логов и шагов.
  • Fixed: Запросы BigQuery Insights теперь ограничены временным окном вызова dbt, а не сканируют 180 дней истории.
1.13.26minorbreaking
🕐 27 дн назад · релиз на GitHub ↗

Исправления dagster-dbt (Fusion, sqlglot, Windows), улучшен UI и мониторинг, отключена установка dbt-core по умолчанию.

  • Breaking: dagster-dbt больше не устанавливает dbt-core автоматически; используйте extra dagster-dbt[dbt-core].
  • Fixed: Исправлены критические ошибки dagster-dbt: обработка no-op, тестов и семян в dbt Fusion, а также перезагрузка проектов на Windows.
  • Added: Улучшен мониторинг запусков: добавлена отладочная информация о причинах падения воркера (например, OOMKilled).
  • Fixed: Исправлен UI: фильтры запусков корректно обрабатывают теги с символом '=', а также ошибки пагинации и отображения образов.
  • Added: dagster-dbt теперь использует sqlglot без жесткого ограничения версии, поддерживая 28.1+.
1.13.25minor
🕐 1 мес назад · релиз на GitHub ↗

Обновление UI для мобильных устройств, оптимизация декларативной автоматизации и исправление ошибок интеграции с dbt.

  • Added: Полная мобильная версия интерфейса с адаптивным меню и страницами для смартфонов.
  • Added: Улучшена производительность декларативной автоматизации для партиционированных активов с длинной историей.
  • Added: ECS run launcher теперь поддерживает возобновление работы воркеров через настройку max_resume_run_attempts.
  • Added: Prefect Pipes клиенты по умолчанию используют API логов Prefect, что исключает необходимость в общем файловом хранилище.
  • Fixed: Исправлена ошибка AttributeError при использовании файла dbt.py с утилитой dg.
  • Fixed: Устранена проблема, при которой модели dbt Fusion без вызовов ref() или source() игнорировались при выборе активов.
1.13.24patch
🕐 1 мес назад · релиз на GitHub ↗

Исправления gRPC, K8s, dbt и UI, улучшенная обработка ошибок проектов и поддержка кросс-аккаунтов в ECS.

  • Fixed: Исправлено игнорирование флага --use-ssl при подключении к gRPC и потеря параметров при запуске через legacy-режим.
  • Fixed: Устранена зависание подов Dagster Pipes в Kubernetes при ошибке init-контейнера; теперь падение происходит сразу.
  • Added: ECS-агент в Dagster Cloud поддерживает обнаружение сервисов между разными аккаунтами AWS с настраиваемым интервалом.
  • Fixed: Исправлена ошибка DagsterInvalidDefinitionError для multi-ассетов с can_subset=True, когда зависимости стали внешними.
  • Fixed: dbt: исправлено извлечение метаданных колонок для снапшотов и ошибка AttributeError при строковом project_dir.
1.13.23minor
🕐 1 мес назад · релиз на GitHub ↗

Dagster 1.13.23: новые политики алертов, мультиплатформенные образы, поддержка .yml и исправления UI.

  • Added: В Dagster+ политики оповещений теперь поддерживают метрики емкости развертывания (очередь и активные задачи) с агрегацией по скользящему окну.
  • Added: Образы dagster-k8s, dagster-celery-k8s и user-code-example теперь мультиплатформенные и поддерживают архитектуры amd64 и arm64.
  • Added: Добавлена поддержка расширения .yml для файлов компонентов, dagster.yaml и workspace.yaml наряду с .yaml.
  • Added: В Dagster+ Serverless быстрые деплои теперь собирают Docker-образ вместо PEX-исполняемого файла для Kubernetes и Harbor.
  • Fixed: Исправлено поведение UI: автоматическое обновление страниц больше не останавливает опрос после сбоев, а дерево каталога не прыгает при скролле.
1.13.22minor
🕐 1 мес назад · релиз на GitHub ↗

Ускорение очереди запусков, новая интеграция с Prefect, поддержка dbt 1.12 и улучшения UI в Dagster 1.13.22.

  • Added: Значительно ускорено выполнение очередей запусков при использовании пулов параллелизма.
  • Added: Добавлен превью-интеграция с Prefect для запуска деплоев и фоновых задач через Dagster Pipes.
  • Added: Обновлен UI: временная шкала тиков теперь поддерживает фильтрацию, пагинацию и живой режим.
  • Added: Добавлена поддержка dbt-core 1.12 и обновлено требование к python-liquid для dagster-looker.
  • Fixed: В Dagster+ исправлена ошибка сервера при запросе метрик активов по ключу.
1.13.21patch
🕐 2 мес назад · релиз на GitHub ↗

Исправлена работа политик свежести активов, устранена утечка соединений в PostgreSQL, улучшена логика автоматизации и управление алертами в Dagster+.

  • Fixed: Исправлено игнорирование политик свежести активов при наличии нескольких кодовых локаций.
  • Fixed: Устранена утечка соединений в dagster-postgres, предотвращающая исчерпание пула веб-сервера.
  • Added: Бэкфиллы с завершенными запусками, но незаполненными разделами, теперь корректно завершаются со статусом ошибки.
  • Added: Улучшена отладка условий автоматизации: теперь показываются сохраненные значения для исторических условий.
  • Added: В Dagster+ синхронизация алертов из YAML больше не удаляет политики, созданные через UI.
1.13.20minor
🕐 2 мес назад · релиз на GitHub ↗

Dagster 1.13.20: очистка динамических партиций, уведомления о деплоях, обновление UI и исправление ошибок ECS.

  • Added: Появилась возможность единым действием очищать и удалять динамические партиции, что снимает статус деградации здоровья ассета.
  • Added: Политики оповещений теперь поддерживают уведомления об успешном развертывании кодовых локаций.
  • Added: В интерфейсе фильтров в выпадающем списке автодополнения теперь отображаются недавние поисковые запросы.
  • Added: Обновлены логотипы Dagster и Dagster+, а также иконки Google kind tag в соответствии с новым брендингом.
  • Fixed: В dagster-aws исправлена ошибка, из-за которой запуск ECS-задачи завершался ошибкой вместо повторной попытки при транзиторном сбое AGENT.
1.13.19patch
🕐 2 мес назад · релиз на GitHub ↗

В Dagster 1.13.19 добавлена функция сворачивания/разворачивания таблицы условий автоматизации и исправлена ошибка с запуском задач при ошибках прав.

  • Added: Добавлен переключатель для сворачивания и разворачивания всех элементов в таблице оценки условий автоматизации.
  • Fixed: Исправлена ошибка, при которой проверка датчика могла запускать задачи, даже если создание или удаление динамических разделов не удавалось из-за недостатка прав.
1.13.18patch
🕐 2 мес назад · релиз на GitHub ↗

Исправления в dagster-snowflake и улучшенная индикация статуса активов при ожидании автоматических повторов.

  • Added: Активы с ожидающими повтора неудачными партициями теперь показывают статус warning вместо degraded.
  • Added: SnowflakeDbtProjectComponent поддерживает настройку defs_state для хранения версионированного состояния в Dagster+.
  • Fixed: Исправлено игнорирование значения по умолчанию в полях конфигурации с типом discriminated union.
  • Fixed: Исправлено неверное определение dbt-запусков, инициированных Dagster, как внешних в observation sensor.
  • Fixed: Устранена ошибка при построении моделей dbt, выходящих за пределы выбранного подмножества активов.
1.13.17patch
🕐 3 мес назад · релиз на GitHub ↗

Исправлена критическая уязвимость в Spark, улучшена обработка ошибок и поиск в UI, добавлена поддержка SLURM и версионирование состояния Snowflake.

  • Fixed: Устранена уязвимость инъекции команд в spark_resource и create_spark_op за счет прямого вызова spark-submit без оболочки.
  • Added: Активы с ожидающими автоматическими повторными попытками теперь имеют статус WARNING, а в уведомлениях указывается «Failed, retry pending».
  • Added: В боковой панели графа активов улучшен поиск: учитывается отображаемое имя, результаты сортируются алфавитно и показывается неймспейс.
  • Added: Добавлен тег-иконка для SLURM и возможность настройки defs_state в SnowflakeDbtProjectComponent для хранения состояния в версии.
  • Fixed: Исправлена ошибка определения гибридных деплоеев как Serverless, улучшена работа агента Kubernetes при отсутствии прав на ConfigMaps.
1.13.16minor
🕐 3 мес назад · релиз на GitHub ↗

Добавлена декларативная автоматизация для джобов (превью), исправлены повторные запросы Airbyte, обновлена документация.

  • Added: Появилась возможность автоматизировать джобы через параметр automation_condition в define_asset_job.
  • Added: Вкладка Components теперь показывает все экземпляры компонентов, а не только управляемые приложениями.
  • Fixed: Исправлена ошибка, из-за которой запросы Airbyte не повторялись при временных сбоях.
  • Уточнены различия между метаданными на этапе определения и выполнения, добавлена документация по Soda.
1.13.12patch
🕐 4 мес назад · релиз на GitHub ↗

Исправлены ошибки автоматизации и gRPC, улучшена производительность UI и стабильность EMR.

  • Fixed: Исправлено зависание кодовых локаций в ошибке после временных сбоев gRPC.
  • Fixed: Устранена ошибка CheckError, останавливавшая автоматизацию при проверке несозданных партиций.
  • Added: Улучшена производительность ленты запусков для большого числа активов.
  • Added: Добавлен параметр dashboard_refresh_interval для PipesEMRServerlessClient.
  • Fixed: Исправлено переполнение длинных названий пулов в интерфейсе.