Eventual-Inc/Daft

Что это за инструмент

Daft — это высокопроизводительный движок для обработки данных, оптимизированный для AI и мультимодальных задач, написанный на Python с использованием Rust.

Зачем нужен

Инструмент позволяет эффективно обрабатывать изображения, аудио, видео и структурированные данные любого масштаба в единой среде. Он полезен для ускорения пайплайнов подготовки данных и выполнения AI-инференса (LLM, эмбеддинги, классификация) без необходимости сложной настройки инфраструктуры.

Что можно реализовать

• Обработка и трансформация мультимодальных датасетов (изображения, аудио, видео) вместе со структурированными данными
• Запуск LLM-промптов и генерация эмбеддингов в масштабе с использованием OpenAI, Transformers или кастомных моделей
• Классификация данных и подготовка датасетов для обучения AI-моделей
• Чтение данных из S3, GCS, Iceberg, Delta Lake, Hugging Face и Unity Catalog с последующей обработкой

Ключевые возможности

• Нативная поддержка мультимодальных данных (изображения, аудио, видео, эмбеддинги) в одном фреймворке
• Встроенные AI-операции: интеграция с LLM, Transformers и генерация эмбеддингов
• Высокая производительность за счет Python-native интерфейса и Rust-бэкенда
• Гибкое масштабирование: от локального запуска до распределенных кластеров на Ray или Kubernetes
• Универсальная коннективность к различным хранилищам данных (S3, GCS, Iceberg, Delta Lake, Hugging Face)

👤 Кому подойдёт: Data Engineers, ML Engineers и разработчики, работающие с большими объемами мультимодальных данных и нуждающиеся в быстром и масштабируемом инструменте для подготовки данных и AI-инференса.