great-expectations/great_expectations

Всегда знай, чего ожидать от своих данных.

LLMOps⭐ 11 915Pythonпоследний релиз: 1.24.1

Что это за инструмент

GX Core — это библиотека для Python, позволяющая писать выразительные «ожидания» (unit-тесты) для данных, чтобы всегда знать, чему можно доверять в ваших наборах данных.

Зачем нужен

Инструмент решает задачу обеспечения качества данных, предоставляя команде общий язык для описания тестов и автоматически генерируя документацию по результатам валидации. Это упрощает процессы контроля качества и помогает сохранять институциональные знания об организации данных.

Что можно реализовать

Написание выразительных и расширяемых unit-тестов для проверки целостности данных
Автоматическая генерация документации по результатам валидации данных
Создание общего языка общения между членами команды для обсуждения качества данных
Интеграция проверок качества в пайплайны обработки данных на Python

Ключевые возможности

Концепция Expectations как выразительных и расширяемых тестов для данных
Автоматическое создание документации на основе результатов валидации
Поддержка Python версий 3.10–3.13 (с экспериментальной поддержкой 3.14+)
Активное сообщество и открытая модель разработки с приветствием PR

👤 Кому подойдёт: Команды работы с данными (data teams), разработчики на Python, инженеры данных, заинтересованные в стандартизации и автоматизации проверок качества данных.

Релизы

1.24.1minor

🕐 14 дн назад · релиз на GitHub ↗

Исправлена аутентификация Snowflake, добавлена поддержка LIKE-паттернов для Oracle и SingleStore, устранены предупреждения pandas 3.1.

Fixed: Восстановлена работа key-pair аутентификации в Snowflake с драйвером snowflake-sqlalchemy 2.x.
Added: LIKE-паттерны теперь поддерживаются в Oracle и SingleStore, а также корректно обрабатывают escape-символы в BigQuery и ClickHouse.
Fixed: Исправлено обнаружение файлов в Spark S3-активах при использовании рекурсивного поиска.
Fixed: Устранены предупреждения deprecation от pandas 3.1, связанные с устаревшим параметром inplace.
Fixed: Исправлена ошибка синтаксиса в запросах к SQL Server и Oracle при наличии колонок с именами, начинающимися на 'true'.

1.24.0minor

🕐 29 дн назад · релиз на GitHub ↗

Поддержка Python 3.14, новый ExpectColumnTypeToBe, экранирование LIKE и привязка объектов к контексту.

Added: Добавлена поддержка Python 3.14 и соответствующих версий numpy, pandas, pydantic.
Added: Новое ожидание ExpectColumnTypeToBe для проверки типа столбца на уровне схемы.
Added: Объекты теперь привязываются к контексту, создавшему их, а не к текущему.
Added: Добавлен параметр escape для LIKE-ожиданий для точного совпадения спецсимволов.
Fixed: Исправлено экранирование имён столбцов с пробелами и спецсимволами в row_condition.
Fixed: Улучшено маскирование URL баз данных без искажения структуры строки.

1.23.2patch

🕐 1 мес назад · релиз на GitHub ↗

Исправлена совместимость с SQLAlchemy 2.1, добавлена поддержка регулярных выражений в ClickHouse и улучшена работа с вложенными структурами в Spark.

Fixed: GX теперь работает с SQLAlchemy 2.1; для extras snowflake и databricks версия ограничена версией <2.1 до поддержки их диалектов.
Added: Регулярные выражения (Regex Expectations) теперь поддерживаются в ClickHouse.
Fixed: Исправлено сопоставление подстрок для регулярных выражений в Snowflake, чтобы поведение соответствовало другим бэкендам.
Fixed: В Spark добавлена поддержка вложенных структур (dotted paths) для ожиданий, использующих метрику value_counts.
Fixed: Исправлена сериализация бесконечных значений Decimal в валидационных результатах.

1.23.1minor

🕐 1 мес назад · релиз на GitHub ↗

Исправлена работа валидаторов с общими батчами, улучшена поддержка Spark и UTF-8 в конфигурациях.

Fixed: Исправлена ошибка, при которой валидаторы на одном дата-сорсе могли использовать чужие батчи; теперь каждый отчетает только свои данные.
Fixed: В Spark ExpectColumnValuesToMatchRegexList с match_on='all' теперь проверяет каждое регулярное выражение независимо, как в Pandas и SQL.
Fixed: Исправлено сохранение и загрузка spark_schema в great_expectations.yml через StructType.fromJson, предотвращая ошибки PySpark.
Fixed: Конфигурационные файлы (YAML, .gitignore) теперь всегда читаются и записываются в кодировке UTF-8, игнорируя локаль системы.
Added: Добавлен новый уровень поддержки галереи для девяти источников данных, проверяющий покрытие всей библиотекой ожиданий.

1.23.0patch

🕐 1 мес назад · релиз на GitHub ↗

Исправления багов SQL-движка и Oracle, стабилизация expect_метрик, улучшение типизации тестов и поддержка Oracle.

Fixed: Кэширование SQL-движка для ускорения выполнения и исправление ошибок валидации запросов с комментариями.
Fixed: Исправлена генерация SQL для Oracle (убран лишний FROM DUAL) и устранена ошибка KeyError при смешанном регистре имен колонок.
Fixed: Корректная обработка нулевой или неопределенной дисперсии в ExpectColumnValueZScoresToBeLessThan и стандартного отклонения в SQLite.
Added: Опубликован пакет extras для поддержки Oracle.
Fixed: Исправлено чтение файлов с учетом локальной кодировки в TupleFilesystemStoreBackend.
Масштабная работа по улучшению типизации тестов, очистке CI-пайплайнов и обновлению зависимостей документации.

1.22.0patch

🕐 2 мес назад · релиз на GitHub ↗

Исправления для Oracle, MySQL, SQL Server и Redshift; поддержка Marshmallow 4; улучшения документации и CI.

Fixed: Исправлена работа с Oracle: добавлена поддержка в диалект-хелпер и исправлен кастинг строк дат.
Fixed: Восстановлено покрытие метриками для MySQL, SQL Server и Redshift, которое ранее отсутствовало.
Added: Добавлена поддержка Marshmallow 4.x и соответствующая CI-проверка.
Fixed: Исправлена валидация пар столбцов pandas с нестандартными индексами.
Fixed: Исправлена генерация Data Docs для результатов без run_id и защита конфигурационного файла от обрезки.

1.21.0minor

🕐 2 мес назад · релиз на GitHub ↗

Запуск SQL Harness для Trino и ClickHouse, интеграция проверок в оркестрацию чекпоинтов и новые ожидания.

Added: Добавлен SQL Harness Backend Framework с поддержкой Trino и ClickHouse.
Added: Проверки теперь маршрутизируются в оркестрацию чекпоинтов.
Added: Принятие целых чисел для числовых параметров батчей во всех семействах источников данных.
Added: Новые ожидания: ExpectColumnValuesToNotBeOutliers и multicolumn values equal.
Added: Улучшены инструкции для агентов по настройке источников данных и ожиданий.

1.20.0patch

🕐 3 мес назад · релиз на GitHub ↗

Исправления багов в метриках квантилей и работе с файловыми системами, а также повышение статуса ExpectColumnValuesToMatchStrftimeFormat.

Fixed: Исправлена работа FileDataContext на файловых системах только для чтения.
Fixed: Устранены проблемы с дублированием псевдонимов SQL-метрик и корректностью квантилей в SQLite и Redshift.
Fixed: Ожидания теперь корректно срабатывают, если в колонке отсутствуют квантили, а также исключают null-значения.
Added: Ожидание ExpectColumnValuesToMatchStrftimeFormat переведено в категорию supported-core.

1.19.1patch

🕐 3 мес назад · релиз на GitHub ↗

Исправлена ошибка рендеринга индексов, обновлены зависимости и улучшена работа с CLA.

Fixed: Исправлено исключение при рендеринге неожиданных индексов, содержащих только id или первичный ключ.
Added: Добавлена поддержка self-hosted проверки статуса CLA.
Fixed: Синхронизация меток CLA теперь осуществляется напрямую через проверку, а не через вебхук статуса.
Added: Добавлены хуки переопределения метрик для провайдеров извлечения строк SqlAlchemy.
Обновлены ссылки на CLA, зафиксирована версия actions/checkout и устранено предупреждение pyOpenSSL для Snowflake.

1.18.2patch

🕐 4 мес назад · релиз на GitHub ↗

Исправлена совместимость Spark Connect, устранены ошибки для BigQuery/Python 3.13 и обновлены зависимости.

Fixed: Исправлено использование .rdd в метриках Spark для совместимости с Spark Connect.
Fixed: Устранена ошибка BigQuery и предупреждения NumPy при работе с Python 3.13.
Fixed: Исправлена ошибка в pytest parametrize, нарушавшая работу запланированного CI.
Обновлены зависимости http-proxy-middleware, webpack-dev-server и @babel/core в документации.