feast-dev/feast

Open Source Feature Store для AI/ML

LLMOps⭐ 7 301Pythonпоследний релиз: v0.66.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Feast — это open-source Feature Store для машинного обучения, который управляет хранилищами данных для обучения моделей (offline) и их быстрого использования при предсказаниях (online).

Зачем нужен

Инструмент решает проблему согласованности данных, предотвращая утечку информации (data leakage) при обучении за счет корректного сопоставления временных меток. Он также абстрагирует работу с инфраструктурой, позволяя разработчикам использовать единый интерфейс для доступа к признакам независимо от источника данных.

Что можно реализовать

  • Создание обучающих датасетов с историческими данными для тренировки ML-моделей
  • Обеспечение быстрого доступа к признакам в реальном времени для онлайн-инференса
  • Материализация данных из хранилищ (например, Snowflake, GCP, AWS) в low-latency хранилища
  • Управление жизненным циклом признаков (feature lifecycle) в едином репозитории

Ключевые возможности

  • Поддержка offline-хранилищ для батч-обучения и online-хранилищ для low-latency запросов
  • Автоматическая проверка корректности временных меток для предотвращения data leakage
  • Встроенный Feature Server для обслуживания предвычисленных признаков
  • Простая установка через pip и CLI-интерфейс для инициализации и применения конфигураций
  • Экспериментальный Web UI для визуализации и исследования данных

👤 Кому подойдёт: ML-инженеры, data scientists и платформы, строящие инфраструктуру для production-моделирования

Релизы

v0.66.0patch
🕐 1 мес назад · релиз на GitHub ↗

Исправления багов, улучшена совместимость с macOS arm64, Kubernetes и FIPS, добавлена опция отключения online store в операторе.

  • Fixed: Исправлено зависание Gunicorn: поток проверки свежести данных теперь запускается после fork.
  • Fixed: Устранена проблема с игнорированием обновлений TTL, установленных в None или timedelta(0).
  • Added: В Helm-операторе добавлена возможность отключения online store через spec.services.onlineStore.disabled.
  • Fixed: Обновлен pymssql до версии >=2.3.6 для поддержки колес macOS arm64.
  • Fixed: Исправлена типизация TorchTensor для mypy и улучшена маппинг типов Trino и Athena.
v0.65.0minor
🕐 2 мес назад · релиз на GitHub ↗

Релиз Feast 0.65.0: новые онлайн-хранилища (Aerospike, ScyllaDB), поддержка Iceberg REST Catalog, OpenLineage и улучшенный UI.

  • Added: Добавлены новые онлайн-хранилища: Aerospike и ScyllaDB с поддержкой векторного поиска.
  • Added: Внедрена поддержка источника данных Iceberg REST Catalog и интеграция OpenLineage для отслеживания lineage.
  • Added: Реализована возможность Bring Your Own Spark (SparkApplication) и улучшен UI для управления вычислениями и наборами данных.
  • Added: Добавлена поддержка темной темы на сайте и в блоге, а также функция масштабирования изображений в статьях.
  • Fixed: Исправлены критические ошибки: поддержка FIPS, совместимость с новым pytest, проблемы с UI и зависимость PyArrow для Flink.
v0.64.0minor
🕐 3 мес назад · релиз на GitHub ↗

Исправления багов в хранилищах (Redis, DynamoDB, Snowflake, BigQuery), улучшение безопасности и стабильности оператора Feast.

  • Fixed: Устранены ошибки в RedisOnlineStore, DynamoDB, Snowflake и BigQuery, а также исправлена работа с массивами в Athena.
  • Fixed: Исправлен сбой SQL-реестра, проблемы с PyJWT и асинхронными тестами для DynamoDB и Redis.
  • Fixed: Улучшена работа оператора: добавлен appProtocol для gRPC, исправлены миграции селекторов и шаблоны инициализации.
  • Fixed: Исправлены баги в SparkRetrievalJob, Ray Source, Compute Engine и RemoteOnlineStore.
  • Fixed: Удален устаревший job миграции селекторов и усилены проверки прав доступа (RBAC) для RPC-методов.