Marker-Inc-Korea/AutoRAG

AutoRAG: фреймворк с открытым исходным кодом для оценки и оптимизации RAG с автоматизацией в стиле AutoML

RAG⭐ 5 080Pythonпоследний релиз: v2.5.2
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

AutoRAG — это open-source фреймворк для автоматической оценки и оптимизации RAG-пайплайнов, работающий по принципу AutoML.

Зачем нужен

Инструмент решает проблему ручного подбора оптимальной конфигурации RAG для конкретных данных и задач. Он автоматически тестирует множество комбинаций модулей (парсинг, чанкинг, эмбеддинги, LLM) и метрик, чтобы найти лучшую архитектуру пайплайна без затрат времени на ручные эксперименты.

Что можно реализовать

  • Автоматический поиск лучшей стратегии чанкинга и методов ретrieveval для корпоративных документов
  • Создание датасетов QA (вопрос-ответ) и корпусов из неструктурированных данных (PDF, тексты) для последующей оптимизации
  • Сравнение эффективности разных LLM и моделей эмбеддингов на собственных данных пользователя
  • Визуализация и анализ результатов тестирования различных RAG-конфигураций через встроенный дашборд

Ключевые возможности

  • Автоматическая оптимизация RAG-пайплайнов с использованием AutoML-подхода
  • Встроенные модули для парсинга документов, чанкинга и генерации QA-датасетов
  • Поддержка множества метрик оценки для точного сравнения конфигураций
  • Интеграция с Hugging Face Spaces и Google Colab для быстрого старта
  • Гибкая настройка через YAML-конфигурацию с возможностью комбинирования модулей

👤 Кому подойдёт: Data Scientists, ML-инженеры и разработчики, занимающиеся внедрением и оптимизацией RAG-систем

Релизы

v2.5.2minor
🕐 вчера · релиз на GitHub ↗

AutoRAG v2.5.2: новые инструменты веб-поиска, улучшенная работа агентов, диагностика и исправление ошибок.

  • Added: Добавлены инструменты веб-поиска и получения контента (web_search, web_fetch) для веб-интерфейса.
  • Added: Введена новая функция autorag-doctor для диагностики и автоматического устранения неполадок.
  • Added: Удалено ограничение в 3 запроса на источник и повышены значения top-K по умолчанию для поиска.
  • Added: Агенты теперь поддерживают инструменты поиска по каждому источнику отдельно без рассылки запросов.
  • Fixed: Исправлен тайм-аут встраивания, который прерывал длительные процессы синхронизации MinSync.
  • Fixed: Устранена проблема, из-за которой Slack не возвращал результаты поиска в пределах рабочего пространства.
v2.5.1minor
🕐 2 дн назад · релиз на GitHub ↗

AutoRAG v2.5.1: Qwen3 по умолчанию, исправления CLI, MinSync и путей файлов, упрощение настроек.

  • Added: Встроенные эмбеддинги Qwen3 теперь используются по умолчанию в MinSync.
  • Fixed: Исправлена индексация документов с символами # и ? в именах файлов.
  • Fixed: Добавлены флаги --version и --help для команд CLI.
  • Fixed: Устранена блокировка lite-поиска из-за устаревания данных.
  • Fixed: Упрощена настройка CLI-источников данных: больше не требуются env-учетные данные.
v2.5.0major
🕐 4 дн назад · релиз на GitHub ↗

AutoRAG v2.5.0: прогрессивные ответы, P2P-шаринг, локальный эмбеддинг и усиление безопасности.

  • Added: Прогрессивные ответы: быстрый режим без мышления и проверенный с включенным.
  • Added: P2P-шаринг запросов и файлов с управлением доступом и фильтрацией PII.
  • Added: Локальный шлюз эмбеддингов без конфигурации и интеграция с источниками данных.
  • Added: Введены гейты безопасности: SCA, SBOM, CVE, лицензии и релизные проверки.
  • Fixed: Удален Gmail REST-коннектор, исправлено зависание процессов qmd и унифицированы идентификаторы источников.
v2.4.2minor
🕐 9 дн назад · релиз на GitHub ↗

AutoRAG v2.4.2: обновлены версии CLI-инструментов, добавлены облегчённые интерфейсы без моделей и улучшена документация.

  • Added: Добавлены облегчённые поверхности AutoRAG Lite, не требующие подключения моделей.
  • Fixed: Обновлены версии CLI-инструментов для отслеживания актуальных источников данных (minsync 0.4.2, notcrawl 0.6).
  • Added: В настройках источников данных реализован пошаговый мастер-интерфейс для проверки подключений.
  • Added: Добавлена документация, устанавливающая локальный EmbeddingGemma в качестве эмбеддера по умолчанию.
  • Fixed: Исправлена воспроизводимость среды для живых сквозных тестов (live-E2E).
v2.4.1minor
🕐 15 дн назад · релиз на GitHub ↗

Релиз v2.4.1: MinSync стал основным индексом, Jikji включен по умолчанию, улучшена обработка PDF и таймаутов.

  • Added: MinSync стал единственным путем для локальных BM25/векторных/гибридных индексов с автоустановкой по умолчанию.
  • Added: Модель Jikji включена по умолчанию; добавлена поддержка legacy XLS и потоковой передачи обновлений поиска.
  • Added: Интеграция CLI для ClawGallery и mailcrawl; улучшено взаимодействие с TUI и локальным Slack.
  • Fixed: Исправлены таймауты поиска и процессов bash, защита облачных плейсхолдеров и диагностика PDF.
  • Deprecated: Удален legacy-бэкенд Gmail Himalaya и устаревшие навыки gdrive.
v2.4.0minor
🕐 17 дн назад · релиз на GitHub ↗

Автоустановка MinSync, поддержка XLS, интеграция ClawGallery и Mailcrawl, исправления таймаутов и PDF.

  • Added: MinSync стал единственным локальным индексом (BM25/вектор/гибрид) и устанавливается по умолчанию.
  • Added: Добавлена поддержка старых XLS-файлов и интеграция CLI для ClawGallery и Mailcrawl.
  • Added: Включен Jikji по умолчанию, улучшено взаимодействие с TUI и добавлен предзапрос контекста.
  • Fixed: Исправлены таймауты поиска и процессов bash, добавлена повторная обработка тонких PDF.
  • Deprecated: Удален устаревший навык gdrive и упрощено управление конфигурацией агентов.
v2.3.0majorbreaking
🕐 27 дн назад · релиз на GitHub ↗

AutoRAG v2.3.0: обучение на обратной связи, интеграция управления дубликатами, поддержка macOS/Windows и отказ от архитектуры субагентов.

  • Breaking: Полностью удалена архитектура субагентов (subagents).
  • Added: Добавлено обучение на основе обратной связи на уровне результатов.
  • Added: Интегрирована система управления дубликатами Dupey.
  • Added: Запущены тесты агентов AutoRAG для macOS и Windows.
  • Added: Добавлены инкрементальные облачные диски Rclone и универсальные алиасы подключений.
v2.2.0minor
🕐 1 мес назад · релиз на GitHub ↗

Релиз AutoRAG v2.2.0: новые бэкенды для мессенджеров, унификация эмбеддингов и исправления безопасности.

  • Added: Добавлены новые бэкенды для парсинга данных: WhatsApp (wacrawl), Telegram (telecrawl), Obsidian (qmd CLI), а также заменены REST-коннекторы Discord, Slack и Notion на специализированные CLI-инструмент
  • Added: Унифицирована модель эмбеддингов по умолчанию на EmbeddingGemma и добавлен новый образец датасета ClapNQ.
  • Fixed: Исправлены критические уязвимости безопасности (ReDoS, права доступа в workflow), улучшена работа с векторными базами данных и сохранением ролей в чат-промптах.
  • Fixed: Оптимизирована производительность парсера: пропуск обнаружения кодировки для ASCII-источников ускорил холодный запуск в 4,2 раза.
  • Added: Усилен механизм повторных попаданий документов при поиске и нормализованы физические области поиска.
v2.1.0minor
🕐 1 мес назад · релиз на GitHub ↗

AutoRAG v2.1.0: поддержка OpenAI gpt-5.6, Azure OpenAI, извлечение текста HWP5 и macOS Spotlight.

  • Added: Добавлена поддержка новейших моделей OpenAI (семейство gpt-5.6) с миграцией QA-хелперов на Responses API.
  • Added: Реализована поддержка генератора Azure OpenAI в legacy-модуле.
  • Added: Добавлено извлечение текста из файлов HWP5 и поддержка macOS Spotlight для отслеживания источников.
  • Added: Обновлен каталог моделей MiniMax (версия M3).
  • Fixed: Исправлены ошибки в рантайме и метриках, прошедшие ревью.
v0.3.22minor
🕐 5 мес назад · релиз на GitHub ↗

Добавлены генератор MiniMax и ранкер NVIDIA, обновлён LangChain до v1, исправлена уязвимость в BM25.

  • Added: Добавлен генератор MiniMax LLM как полноценный модуль.
  • Added: Реализован новый модуль ранжирования NVIDIA reranker.
  • Added: Выполнен переход на LangChain v1 с улучшением обработки сбоев интеграций.
  • Fixed: Исправлена уязвимость произвольного выполнения кода (CWE-502) при десериализации файлов BM25.