v2.13.6patch
Версия 2.13.6: улучшена синхронизация за счёт чередования пакетов зеркального обновления с MinSync.
- Added: Реализовано чередование пакетов парсинга зеркала с синхронизацией MinSync для оптимизации процесса обновления.
Marker-Inc-Korea/AutoRAG
AutoRAG: фреймворк с открытым исходным кодом для оценки и оптимизации RAG с автоматизацией в стиле AutoML
RAG⭐ 5 330Pythonпоследний релиз: v2.13.6
Что это за инструмент
AutoRAG — это open-source фреймворк для автоматической оценки и оптимизации RAG-пайплайнов, работающий по принципу AutoML.
Зачем нужен
Инструмент решает проблему ручного подбора оптимальной конфигурации RAG для конкретных данных и задач. Он автоматически тестирует множество комбинаций модулей (парсинг, чанкинг, эмбеддинги, LLM) и метрик, чтобы найти лучшую архитектуру пайплайна без затрат времени на ручные эксперименты.
Что можно реализовать
- Автоматический поиск лучшей стратегии чанкинга и методов ретrieveval для корпоративных документов
- Создание датасетов QA (вопрос-ответ) и корпусов из неструктурированных данных (PDF, тексты) для последующей оптимизации
- Сравнение эффективности разных LLM и моделей эмбеддингов на собственных данных пользователя
- Визуализация и анализ результатов тестирования различных RAG-конфигураций через встроенный дашборд
Ключевые возможности
- Автоматическая оптимизация RAG-пайплайнов с использованием AutoML-подхода
- Встроенные модули для парсинга документов, чанкинга и генерации QA-датасетов
- Поддержка множества метрик оценки для точного сравнения конфигураций
- Интеграция с Hugging Face Spaces и Google Colab для быстрого старта
- Гибкая настройка через YAML-конфигурацию с возможностью комбинирования модулей
👤 Кому подойдёт: Data Scientists, ML-инженеры и разработчики, занимающиеся внедрением и оптимизацией RAG-систем
Релизы
v2.13.5majorbreaking
АвтоRAG v2.13.5: новый спарсный индекс SPLADE, обязательная модель принятия решений, улучшен парсинг и облачные плейсхолдеры.
- Added: Переход на MinSync 0.6.0 с индексацией SPLADE; поддержка sparse-индекса и отказ от BM25.
- Breaking: Агент теперь требует обязательной модели принятия решений (decision model) для проверки при первом вопросе сессии.
- Added: Реранкинг переведен в режим опционального включения; без модели реранкинга каждый источник сохраняет свои топ-10 результатов.
- Added: Улучшен парсинг: поддержка Excel через SheetJS, унификация CSV/TSV и исправление чтения веб-экспортов.
- Added: Расширена работа с облачными плейсхолдерами: поддержка iCloud, Google Drive, OneDrive, Dropbox и Windows Cloud Files.
v2.13.4majorbreaking
Удалён источник данных Spotlight; исправлено ограничение контекста в агентах через точный токенизатор.
- Breaking: Удалён источник данных Spotlight (datasource).
- Fixed: Исправлено ограничение контекста в агентах: теперь используется реальный токенизатор для расчёта размера запросов и удаления только чанков поиска.
v2.13.3patch
Исправлена ошибка переполнения контекста Dazzi с оптимизацией запросов и обновлены зависимости.
- Fixed: Исправлено переполнение контекста Dazzi: теперь при ошибке запрос автоматически повторяется с уменьшенным объемом данных.
- Объединены множественные обновления зависимостей Dependabot в единый коммит для упрощения поддержки.
v2.13.2minor
AutoRAG v2.13.2: оптимизация агентов, улучшение MinSync, обновление зависимостей и поиск Spotlight без снимков.
- Added: Оптимизация: проверка источника данных теперь выполняется параллельно с маршрутизацией.
- Added: MinSync: добавлена потоковая передача прогресса индексации и отображение пропущенных файлов.
- Added: Spotlight: реализован поиск в реальном времени без использования снимков (snapshots).
- Added: Обновлены зависимости агентов и CLI, внедрены стадии MinSync 0.5.1 и источник mailcrawl 0.3.0.
- Added: MinSync: использование долговечных стадий для инкрементальных зеркал.
v2.13.1minor
Релиз AutoRAG v2.13.1: добавлено ранжирование BM25 для Discord, исправлены системные промпты и обновлён MinSync.
- Added: В Discord-интеграцию добавлено ранжирование BM25 по нативным архивам.
- Added: Вложения теперь сохраняются сразу после перехвата с отображением статуса загрузки.
- Fixed: Исправлены примеры в системных промптах: теперь они строго на английском языке.
- Fixed: Устранена ошибка проверки длины промпта delta при подготовке релиза.
- Обновлена зависимость MinSync до версии 0.5.0 и улучшена тестовая инфраструктура.
v2.13.0minor
Исправления в поиске, агентах и обработке процессов; новые возможности для JEV: веб-данные и инструменты на быстрой фазе.
- Fixed: Исправлен поиск: теперь используется гибридный режим вместо разделения на компоненты.
- Fixed: Улучшена работа агентов: измерение диапазонов доказательств и корректный ответ в одну строку при отсутствии ответа.
- Fixed: Исправлено управление процессами (reap process tree) в mailcrawl, datasource, clawgallery и cloud-drive.
- Fixed: Исправлена работа зеркала на Windows (EPERM) и ограничение частоты записей прогресса.
- Added: JEV: добавлена возможность использовать публичный веб как источник данных и инструменты на быстрой фазе.
- Added: JEV: восстановлен порог уверенности и изменена логика организации конфигураций через загруженные навыки.
v2.12.0minor
Автозадачи с фоновыми демонами, инструменты для агентов (Filee, AskUser), улучшение цитирования и TUI.
- Added: Полный цикл автоматизации: конфиг automations.json, фоновые демоны и CLI для запуска сервисов (launchd/systemd/schtasks).
- Added: Агенты получили инструменты для работы с файлами через Filee (конвертация, список) и AskUser для запросов в стиле Claude Code.
- Added: В TUI кликабельные цитации теперь открывают соответствующие файлы; добавлен контроль доступа к изменениям файлов (approval gate).
- Fixed: Исправлено ранжирование: пропущены пустые документы и усечены слишком большие; улучшена точность цитирования (Jev).
- Added: Агенты теперь используют трассировку намерений (intent tracing) вместо написанных моделью заметок о прогрессе.
v2.11.0minor
AutoRAG v2.11.0: интеграция MCP-серверов, индексация Obsidian через MinSync, история браузера Hister и улучшенная читаемость ответов.
- Added: Добавлена возможность подключения внешних MCP-серверов к сессиям AutoRAG.
- Added: Реализована индексация хранилищ Obsidian с использованием MinSync, фильтрацией по папкам и удалением поддержки qmd.
- Added: Внедрен новый источник данных Hister для анализа истории браузера.
- Added: Агенты теперь следуют правилам читаемости: вывод основного вывода, плоские списки, выделение значений и указание неопределенности.
- Added: Улучшен интерфейс TUI: добавлено приветственное сообщение и отображение прогресса поиска в реальном времени.
v2.10.6minor
AutoRAG v2.10.6: MinSync взял эмбеддинги, добавлен Discord-контроль, улучшена стабильность ранкинга и TUI.
- Added: Эмбеддинги теперь обрабатывает MinSync, что позволило убрать зависимость от llama-server.
- Added: Добавлено управление сессиями через Discord с помощью флага --discord.
- Added: К каждому семантическому запросу применяется инструкция Qwen3 для улучшения качества.
- Fixed: Исправлена работа ранкинга через прямой HTTP: добавлены видимые ошибки, фоллбэк и ограничение токенов.
- Fixed: В TUI исправлено сохранение учётных данных Dazzi при передаче API-ключа модели.
- Deprecated: Удалена поддержка удалённых сессий через протокол SimpleX P2P.
v2.10.5minor
Добавлено удалённое управление через Telegram и WhatsApp, улучшена работа веб-поиска и токенизатора MinSync.
- Added: Появилась возможность удалённого управления через Telegram и WhatsApp.
- Fixed: Исправлены ошибки резервного копирования для Perplexity и Startpage, усилен приоритет параллельного поиска и DuckDuckGo.
- Added: В MinSync всегда используется многоязычный токенизатор BM25 с защитой Kiwi.
- Added: Опция connector.semantic: false теперь ограничивает обработку GitHub Gist только лексическим поиском.
- Added: Процесс публикации в npm переведён на доверенную публикацию через OIDC.
v2.10.4minor
AutoRAG v2.10.4: агент теперь выдает готовые файлы, добавлен режим чтения для Kakao и настройка исключений путей.
- Added: Агент теперь выдает запрошенные материалы напрямую в виде файлов, а не только рекомендаций.
- Added: Добавлен режим чтения (read-only) для источника Kakao с поддержкой BM25, семантического и гибридного поиска.
- Added: В CLI добавлена возможность настройки исключений путей во время инициализации проекта.
- Fixed: Исправлена генерация артефактов Jikji: теперь используются относительные пути вместо абсолютных.
- Обновлена лицензия десктопного приложения Dazzi на FSL-1.1-MIT (Fair Source).
v2.10.3patch
AutoRAG v2.10.3: зафиксирована версия MinSync 0.4.8, частичная синхронизация теперь считается успешной.
- Fixed: Зафиксирована версия MinSync на 0.4.8.
- Fixed: Частичная синхронизация (код выхода 6) теперь обрабатывается как успешно завершённая.
v2.10.2minorbreaking
Обновление автопарсера файлов, исправления Jikji и агентов, переход Dazzi Models на вход по логину.
- Breaking: Dazzi Models теперь требует авторизации; провайдер переименован в dazzi.
- Added: Парсинг файлов стал изолированным: ошибки одного файла не прерывают весь процесс.
- Added: Агенты поддерживают follow-up запросы без повторного поиска и добавлен burst-guard.
- Fixed: Исправлена работа Jikji: индекс теперь хранится централизованно, устранены конфликты при запросах.
- Added: Добавлена локальная TUI для разработки через make tui.
v2.10.1minor
Переход на Apache-2.0, поддержка Slack/Telegram/WhatsApp, управление поиском из API и улучшение стабильности агентов.
- Deprecated: Лицензия изменена с MIT на Apache-2.0.
- Added: Добавлен поиск (BM25, семантический, гибридный) в Slack, Telegram и WhatsApp через read-only sidecar.
- Added: Появилась возможность управлять (перенаправлять и останавливать) поиском из TUI и API.
- Added: В облачном плане теперь доступны модели Jev и rerank.
- Fixed: Исправлены ошибки tesseract.js, стабильность загрузки изображений и лимиты запросов к моделям.
v2.10.0majorbreaking
Добавлена поддержка модели Dazzi, изменён формат ответов агентов, обновлён установщик minsync и проведён рефакторинг.
- Added: Добавлена поддержка модели Dazzi в качестве провайдера для облачного AutoRAG.
- Breaking: Агенты теперь возвращают ответ в виде обычного текста; удалены функции emit_autorag_results и emit_fast_answer.
- Fixed: Исправлена зависимость: установщик minsync зафиксирован на версии 0.4.6.
- Deprecated: Удалены устаревшие класс NumberedResult и неиспользуемый реестр результатов getResultRegistry.
v2.9.0majorbreaking
Автоагент Jev научился редактировать свои настройки, разделять поиск и знания, а MinSync стал обязательным.
- Added: Агент Jev теперь может редактировать собственные настройки через ветку конфигурации.
- Added: Внедрено разделение маршрутизации: агент различает внутренние знания и локальный поиск, ветка для веба удалена.
- Added: Система памяти запоминает доказательства, оцененные Jev, и находит похожие прошлые вопросы.
- Added: Парсер Kordoc стал единственным владельцем обработки изображений и распознавания текста с отсканированных страниц.
- Added: Пользователю теперь предлагается выбирать источники данных для поиска до получения быстрого ответа.
- Breaking: MinSync переведен в разряд обязательных компонентов: при отсутствии компонента процесс завершается с ошибкой, а не деградирует.
v2.8.0minorbreaking
AutoRAG v2.8.0: интеграция MCP, встраивание изображений в ответы агентов, изоляция QA и оптимизация реранкинга.
- Added: Добавлен стандартный MCP-сервер для AutoRAG Lite и миграция рабочего процесса агента на MCP.
- Added: Агенты теперь могут встраивать полученные изображения непосредственно в ответы.
- Added: Внедрён опциональный инструмент принятия решений Jev для маршрутизации запросов и декомпозиции вопросов.
- Fixed: Изолированы ручные и живые QA-тесты в Docker, исправлено разрешение цитирований в ответах агентов.
- Breaking: Убран реранкинг с единственным источником данных, значение topN по умолчанию изменено на 25.
v2.7.0patch
Выпуск AutoRAG v2.7.0: исправления в модуле переупорядочивания и восстановление хоста агента pi.
- Fixed: Исправлена обработка сигналов прерывания и ошибок для неподдерживаемых провайдеров в модуле rerank.
- Fixed: Зафиксирована зависимость библиотеки zod для устранения конфликтов версий.
- Fixed: Восстановлена работоспособность хоста кодового агента pi.
v2.6.3minor
AutoRAG v2.6.3: добавлен поиск через Everything и FSearch, поддержка OpenRouter rerank, улучшена работа с дубликатами и агентами.
- Added: Добавлен агент для поиска через Everything на Windows и поддержка FSearch на macOS/Linux.
- Added: Реализована стадия ранжирования OpenRouter Rerank с настраиваемой моделью.
- Added: В модель теперь передаются доказательства из семейств дубликатов (dupey).
- Fixed: Исправлен выбор сохраненной копии при удалении точных дубликатов согласно политике dupey.
- Fixed: Улучшена обработка ошибок провайдеров моделей и сохранение системных сообщений в агентах.
v2.6.2minor
Релиз AutoRAG v2.6.2: добавлена поддержка исключения источников при индексации и оптимизированы обновления зависимостей.
- Added: Добавлена возможность настройки исключений источников данных при индексации.
- Added: Обновления зависимостей от Dependabot теперь объединяются в один коммит.
- Выпущена версия v2.6.2.
v2.6.1patch
Исправлено дублирование метрик в PromptMaker, добавлено сохранение асинхронных запросов SimpleX и уточнена документация по Jikji.
- Fixed: Исправлено измерение метрик в PromptMaker: теперь каждый промпт оценивается по собственным генерациям за счёт глубокого копирования входных данных.
- Added: Добавлено сохранение асинхронных запросов пиров SimpleX для обеспечения их надёжности.
- Обновлена документация: уточнено, что утилита Jikji создаёт файл .jikji внутри каждой корневой директории источника.
v2.6.0minorbreaking
В AutoRAG v2.6.0 добавлен парсер kordoc с глобальной настройкой языка, улучшена работа с vLLM и индексацией, устранены ошибки зависимостей.
- Added: Добавлен парсер kordoc для документов и глобальная настройка языка.
- Added: В p2p-режиме теперь сохраняются контакты из профиля SimpleX, локальное имя и заметки.
- Added: Стал доступен прогресс персистентной индексации в lite-режиме.
- Fixed: Исправлены зависания старых тестов и конструирование эмбеддингов через vLLM.
- Fixed: Заполнена схема отчета lite, добавлена проверка имен полей установки навыков агента.
- Breaking: Удален UI для источника данных loopback.
v2.5.3patch
Вышла версия v2.5.3.
v2.5.2minor
AutoRAG v2.5.2: новые инструменты веб-поиска, улучшенная работа агентов, диагностика и исправление ошибок.
- Added: Добавлены инструменты веб-поиска и получения контента (web_search, web_fetch) для веб-интерфейса.
- Added: Введена новая функция autorag-doctor для диагностики и автоматического устранения неполадок.
- Added: Удалено ограничение в 3 запроса на источник и повышены значения top-K по умолчанию для поиска.
- Added: Агенты теперь поддерживают инструменты поиска по каждому источнику отдельно без рассылки запросов.
- Fixed: Исправлен тайм-аут встраивания, который прерывал длительные процессы синхронизации MinSync.
- Fixed: Устранена проблема, из-за которой Slack не возвращал результаты поиска в пределах рабочего пространства.
v2.5.1minor
AutoRAG v2.5.1: Qwen3 по умолчанию, исправления CLI, MinSync и путей файлов, упрощение настроек.
- Added: Встроенные эмбеддинги Qwen3 теперь используются по умолчанию в MinSync.
- Fixed: Исправлена индексация документов с символами # и ? в именах файлов.
- Fixed: Добавлены флаги --version и --help для команд CLI.
- Fixed: Устранена блокировка lite-поиска из-за устаревания данных.
- Fixed: Упрощена настройка CLI-источников данных: больше не требуются env-учетные данные.
v2.5.0major
AutoRAG v2.5.0: прогрессивные ответы, P2P-шаринг, локальный эмбеддинг и усиление безопасности.
- Added: Прогрессивные ответы: быстрый режим без мышления и проверенный с включенным.
- Added: P2P-шаринг запросов и файлов с управлением доступом и фильтрацией PII.
- Added: Локальный шлюз эмбеддингов без конфигурации и интеграция с источниками данных.
- Added: Введены гейты безопасности: SCA, SBOM, CVE, лицензии и релизные проверки.
- Fixed: Удален Gmail REST-коннектор, исправлено зависание процессов qmd и унифицированы идентификаторы источников.
v2.4.2minor
AutoRAG v2.4.2: обновлены версии CLI-инструментов, добавлены облегчённые интерфейсы без моделей и улучшена документация.
- Added: Добавлены облегчённые поверхности AutoRAG Lite, не требующие подключения моделей.
- Fixed: Обновлены версии CLI-инструментов для отслеживания актуальных источников данных (minsync 0.4.2, notcrawl 0.6).
- Added: В настройках источников данных реализован пошаговый мастер-интерфейс для проверки подключений.
- Added: Добавлена документация, устанавливающая локальный EmbeddingGemma в качестве эмбеддера по умолчанию.
- Fixed: Исправлена воспроизводимость среды для живых сквозных тестов (live-E2E).
v2.4.1minor
Релиз v2.4.1: MinSync стал основным индексом, Jikji включен по умолчанию, улучшена обработка PDF и таймаутов.
- Added: MinSync стал единственным путем для локальных BM25/векторных/гибридных индексов с автоустановкой по умолчанию.
- Added: Модель Jikji включена по умолчанию; добавлена поддержка legacy XLS и потоковой передачи обновлений поиска.
- Added: Интеграция CLI для ClawGallery и mailcrawl; улучшено взаимодействие с TUI и локальным Slack.
- Fixed: Исправлены таймауты поиска и процессов bash, защита облачных плейсхолдеров и диагностика PDF.
- Deprecated: Удален legacy-бэкенд Gmail Himalaya и устаревшие навыки gdrive.
v2.4.0minor
Автоустановка MinSync, поддержка XLS, интеграция ClawGallery и Mailcrawl, исправления таймаутов и PDF.
- Added: MinSync стал единственным локальным индексом (BM25/вектор/гибрид) и устанавливается по умолчанию.
- Added: Добавлена поддержка старых XLS-файлов и интеграция CLI для ClawGallery и Mailcrawl.
- Added: Включен Jikji по умолчанию, улучшено взаимодействие с TUI и добавлен предзапрос контекста.
- Fixed: Исправлены таймауты поиска и процессов bash, добавлена повторная обработка тонких PDF.
- Deprecated: Удален устаревший навык gdrive и упрощено управление конфигурацией агентов.