AIKraft Agents

opendatalab/MinerU

Преобразует сложные документы, такие как PDF и Office-файлы, в формат markdown/JSON, готовый для LLM, для ваших Agentic-рабочих процессов.

Инструменты⭐ 83 212Pythonпоследний релиз: mineru-4.1.7-released
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

MinerU — это инструмент для извлечения данных из сложных документов (PDF, Office), который преобразует их в структурированный Markdown или JSON, готовые к использованию в LLM-пайплайнах.

Зачем нужен

Инструмент решает проблему неструктурированности исходных файлов, автоматически извлекая текст, таблицы и формулы с сохранением логической структуры. Это критически важно для подготовки качественных данных в RAG-системах и Agentic-рабочих процессах, где точность извлечения информации напрямую влияет на качество ответов LLM.

Что можно реализовать

  • Создание баз знаний (RAG) для корпоративных документов, научных статей и отчетов
  • Извлечение структурированных данных из таблиц и формул для последующей обработки LLM
  • Подготовка датасетов для fine-tuning моделей путем конвертации PDF/Office в чистый Markdown
  • Автоматизация обработки входящей документации в Agentic-воркфлоу

Ключевые возможности

  • Поддержка сложных форматов: PDF, Word, PowerPoint
  • Высокое качество извлечения текста, таблиц и математических формул
  • Вывод в форматах Markdown и JSON, оптимизированных для LLM
  • Интеграция с экосистемой OpenDataLab и наличие демо на HuggingFace/ModelScope

👤 Кому подойдёт: Разработчики AI-приложений, инженеры данных, исследователи, работающие с RAG и LLM

Релизы

mineru-4.1.7-releasedminorbreaking
🕐 вчера · релиз на GitHub ↗

В MinerU 4.1.7 добавлена постоянная аутентификация для локальной библиотеки документов и улучшено определение макета.

  • Breaking: Для HTTP-эндпоинтов Doclib теперь требуется постоянный Bearer-токен; SDK считывает его автоматически, но прямые интеграции должны передавать токен явно.
  • Added: Файлы учётных данных защищены приватными правами POSIX и нативными ACL macOS/Windows.
  • Fixed: Восстановлена стабильность пороговых значений вывода для каждого класса макета в бэкендах ONNX и Torch.
  • Fixed: Поглощённые изображения теперь позиционируются в соответствии с их геометрией в порядке чтения.
  • Added: Обновлена зависимость DocVortex до версии >=0.6.13,<0.7.
mineru-4.1.6-releasedpatch
🕐 2 дн назад · релиз на GitHub ↗

Исправлено распознавание формул в сносках и удалены дубликаты вложенных текстовых областей.

  • Fixed: Сохранены формулы и их номера в сносках для корректного распознавания и заполнения текста.
  • Fixed: Удалены полностью вложенные текстовые области с одинаковой категорией при сохранении порядка чтения.
  • Added: Объединена постобработка макета для бэкендов ONNX и Torch, включая защиту формул и удаление дубликатов.
  • Added: Добавлены бейджи проекта на домашние страницы документации на русском и английском языках.
  • Added: Обновлена зависимость DocVortex до версии >=0.6.12,<0.7.
mineru-4.1.5-releasedpatch
🕐 2 дн назад · релиз на GitHub ↗

Исправлена нормализация путей и улучшена обработка имён файлов в CLI и Tasks API.

  • Fixed: Относительные пути, скрытые директории и пути в стиле Windows теперь проходят единую валидацию расширений и уровней качества.
  • Fixed: Имена файлов в Tasks API проверяются как базовые; скрытые, Unicode и percent-encoded имена корректно сохраняются при выполнении.
  • Fixed: Функция file_parse теперь сохраняет суффиксы имён файлов и единообразно обрабатывает дубликаты.
  • Added: Команда mineru-kit hardware info выводит отчёт об оборудовании на английском языке.
mineru-4.1.4-releasedminor
🕐 3 дн назад · релиз на GitHub ↗

В MinerU 4.1.4 улучшено распознавание формул через VLM, исправлена обработка спецсимволов и обновлены требования к зависимостям.

  • Added: В режимах Standard и Advanced для формул вне таблиц теперь используется VLM, с локальным возвратом к MFR при ошибках.
  • Fixed: Исправлена обработка математических разделителей и экранирования, чтобы обычные знаки доллара не интерпретировались как формулы.
  • Added: Обновлена минимальная версия DocVortex до 0.6.11 и добавлены ссылки на руководства по уровням разбора в README.
mineru-4.1.3-releasedminor
🕐 6 дн назад · релиз на GitHub ↗

Релиз MinerU 4.1.3: динамическое управление узлами роутера, плавное отключение и улучшение стабильности работы.

  • Added: Динамическое управление узлами роутера: регистрация, просмотр и отключение удалённых рабочих узлов во время выполнения без перезапуска.
  • Added: Плавное отключение узлов: новые задачи не назначаются, узел остаётся активным до завершения текущих операций и освобождения ресурсов.
  • Added: Точность API-истечения: внутреннее хранение времени с субсекундной точностью предотвращает преждевременное истечение коротких периодов.
  • Fixed: Стабильность запросов: исправлено сброс соединения при дублировании файлов, улучшена обработка Unicode и префиксов обратного прокси.
  • Added: Документация: обновлены материалы, добавлены редиректы и примеры интеграции через Tasks API, curl и n8n.
mineru-4.1.2-releasedminor
🕐 7 дн назад · релиз на GitHub ↗

Ускоренный вывод диагностики, отложенная загрузка CLI-справки, улучшенные формы баг-репортов и защита CI-пайплайнов.

  • Added: Параллельная диагностика железа с потоковым выводом текста и расширенным JSON.
  • Added: Отложенная загрузка справки и версии без инициализации окружения.
  • Added: Упрощённые формы отчётов об ошибках с автоподбором версий.
  • Fixed: Защита релизных сборок от отмены при новых коммитах в ветке.
mineru-4.1.0-releasedmajorbreaking
🕐 7 дн назад · релиз на GitHub ↗

MinerU 4.1: автоускорение на GPU, новый асинхронный Tasks API, поддержка Python 3.11–3.14 и ломающие изменения интерфейсов.

  • Added: Автоматическое ускорение инференса на GPU (Intel, AMD, NVIDIA, Apple Silicon) и CPU с ростом скорости в 2–3 раза.
  • Added: Единый асинхронный API /v1/tasks, заменяющий старые методы загрузки и парсинга, с поддержкой URL, кэша и отмены задач.
  • Added: Отдельный сервер file-parse-server для синхронного парсинга файлов с возможностью восстановления задач по ID.
  • Added: Команды hardware detect и hardware info для диагностики оборудования и подбора оптимальной конфигурации.
  • Breaking: Сломаны HTTP-интерфейсы и изменён список поддерживаемых версий Python (теперь 3.11–3.14).
mineru-4.0.12-releasedminor
🕐 26 дн назад · релиз на GitHub ↗

MinerU 4.0.12: новый V1 API с асинхронными задачами, умный роутер, улучшение стабильности моделей и поддержка офлайн-документации.

  • Added: Добавлен V1 API с удобными эндпоинтами для асинхронных задач и синхронной обработки файлов с возвратом JSON/ZIP.
  • Added: Реализовано повторное использование загруженных файлов через SHA-256 и кэширование для ускорения обработки.
  • Added: Улучшен Router: умное распределение нагрузки по здоровью воркеров, поддержка резервирования задач и автоматическая очистка ресурсов.
  • Added: API-документация теперь доступна офлайн, поддерживает Bearer-авторизацию и работу за обратным прокси.
  • Fixed: Исправлена обработка кириллических и азиатских знаков препинания, а также сохранение гиперссылок в таблицах DOCX/PPTX.
  • Fixed: Улучшена стабильность работы моделей: защита от устаревших ответов и корректное управление потоками CPU в Torch.
mineru-4.0.11-releasedminorbreaking
🕐 28 дн назад · релиз на GitHub ↗

MinerU 4.0.11: отказ от OpenCV в пользу DocVortex, унификация API через виртуальный ID и исправление CLI.

  • Breaking: API: теперь используется единый виртуальный ID модели, зависящий от версии; клиенты должны обновляться и использовать параметр tier для выбора качества.
  • Added: Из кода удалены прямые зависимости от OpenCV; все операции с изображениями (OCR, формулы, таблицы) теперь выполняются через публичные интерфейсы DocVortex.
  • Fixed: CLI: исправлено поведение команды mineru parse для одиночных файлов — теперь разрешено перезаписывать существующий вывод, но запрещено перезаписывать исходный файл.
  • Added: Обновлен минимальный требуемый пакет docvortex до версии 0.5.12.
mineru-4.0.10-releasedpatch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена работа WebUI в небезопасных контекстах через резервную генерацию UUID и обновлён минимум зависимости docvortex.

  • Fixed: WebUI: добавлена резервная реализация UUID для работы в небезопасных контекстах (HTTP, не localhost), чтобы не ломались функции предпросмотра.
  • Added: Требование к версии библиотеки docvortex повышено до 0.5.4 и выше.
mineru-4.0.8-releasedminorbreaking
🕐 1 мес назад · релиз на GitHub ↗

В MinerU 4.0.8 внедрён нативный PDF-движок для ускорения рендеринга и обновлена зависимость docvortex.

  • Added: Добавлен нативный PDF-движок: переиспользование сессий рендеринга и прямое потребление данных без посимвольной сборки.
  • Breaking: Обновлена зависимость docvortex до версии 0.5.2 (требуется версия >=0.5.2).
mineru-4.0.7-releasedminor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка файлов MHTML/MHT и улучшена стабильность их предпросмотра в WebUI.

  • Added: Добавлена поддержка файлов MHTML/MHT: теперь доступна их парсинг и встроенный предпросмотр.
  • Fixed: Улучшена стабильность предпросмотра MHTML: исправлена работа стилей, локальных ссылок и редиректов.
  • Fixed: Обновлен WebUI: сохранение состояния интерфейса при переключении файлов, отмена устаревших предпросмотров PDF и адаптация для мобильных устройств.
  • Повышена минимальная требуемая версия зависимости docvortex до 0.4.24.
mineru-4.0.6-releasedminor
🕐 1 мес назад · релиз на GitHub ↗

Релиз MinerU 4.0.6: добавлен EPUB-просмотрщик в WebUI, исправлены критические ошибки при экспорте PDF и нормализации текста.

  • Added: В WebUI добавлен просмотрщик EPUB с навигацией по главам и улучшенной обработкой метаданных.
  • Fixed: Исправлено падение при экспорте PDF, если в китайских абзацах присутствовали встроенные формулы.
  • Fixed: Устранена регрессия, из-за которой блоки текста без информации о строках полностью отбрасывались при нормализации.
  • Added: Повышена минимальная требуемая версия зависимости docvortex до 0.4.22.
mineru-4.0.5-releasedminor
🕐 1 мес назад · релиз на GitHub ↗

Версия 4.0.5: добавлена поддержка CUDA ONNX для таблиц, унифицирована настройка потоков и обновлены требования к зависимостям.

  • Added: Добавлена опциональная поддержка CUDA ONNX для модели таблиц с автоматическим включением и замером времени.
  • Added: Унифицирована конфигурация потоков для ONNX-сессий с возможностью переопределения через переменные окружения.
  • Added: Обновлен формат именования сохраненных изображений и улучшена обработка их разрешения.
  • Added: Повышена минимальная требуемая версия библиотеки docvortex до 0.4.20.
mineru-4.0.4-releasedminor
🕐 1 мес назад · релиз на GitHub ↗

Версия 4.0.4: оптимизация работы с GPU, снижение шума в логах, исправление зависимостей и улучшение обработки длинных имён файлов.

  • Fixed: Оптимизирована логика использования видеопамяти GPU на устройствах с большим объёмом VRAM.
  • Fixed: Логи загрузки моделей, производительности и приоритета таблиц переведены из уровня info в debug.
  • Fixed: Флаг --log-level теперь влияет только на серверные логи, не затрагивая другие компоненты.
  • Fixed: Исправлено дублирование при сохранении файлов с именем длиннее 120 байт.
  • Added: Требование к mineru-vl-utils повышено до 2.0.5 для исправления сбоев lmdeploy.
mineru-4.0.3-releasedminorbreaking
🕐 1 мес назад · релиз на GitHub ↗

MinerU 4.0.3: поддержка векторной геометрии PDF, оптимизация AMD RDNA, исправления VLM и API.

  • Added: В контентную обработку добавлена поддержка векторной геометрии страниц PDF.
  • Added: В CLI добавлены флаги для работы с Docker-репозиториями и улучшена обработка алиасов аргументов.
  • Fixed: Улучшена работа VLM server: корректное соблюдение offline-режима, обработка окружения и оптимизация для AMD RDNA.
  • Breaking: Удален параметр language из API server и опция latex delimiters, теперь управляемая через конфиг.
  • Fixed: Ускорен возврат при сбое探测 парсинга и исправлена ошибка токенизатора LoRA.
mineru-4.0.2-releasedpatch
🕐 1 мес назад · релиз на GitHub ↗

В MinerU 4.0.2 улучшена безопасность HTML-превью, исправлено декодирование BOM и обновлены зависимости.

  • Added: Добавлена возможность предварительной настройки глобального уровня логирования перед операциями рендеринга и разбора.
  • Added: Внедрена замена OFD-превью на HTML-источники для просмотра документов.
  • Fixed: Устранена уязвимость SSRF: HTML-превью больше не загружают удалённые изображения, а внешние ссылки остаются кликабельными.
  • Fixed: Исправлена ошибка декодирования HTML-файлов с BOM в кодировках UTF-16 и UTF-32.
  • Added: Повышена минимальная требуемая версия зависимости docvortex до 0.4.12.
mineru-4.0.0-releasedmajorbreaking
🕐 1 мес назад · релиз на GitHub ↗

Масштабный релиз MinerU 4.0: переосмысленная архитектура с четырьмя уровнями качества, нативная поддержка множества форматов и локальная библиотека документов.

  • Added: Внедрены четыре уровня качества парсинга: flash, basic, standard и advanced, заменяющие старую логику выбора бэкенда.
  • Added: Добавлена нативная поддержка DOCX, PPTX, XLSX, EPUB, OFD и других форматов без конвертации в PDF.
  • Added: Реализована локальная библиотека документов с новыми CLI-командами для чтения, поиска и управления контекстом.
  • Added: Возможность независимой настройки движков для малых моделей и VLM, а также поддержка новых бандлов моделей.
  • Breaking: Ломающие изменения: обновлены CLI-команды, структура пакетов, конфигурация и API, устарела старая схема результатов.
mineru-3.4.5-releasedpatch
🕐 2 мес назад · релиз на GitHub ↗

Исправлено удаление таблиц из DOCX при наличии спецсимволов и улучшена обработка Unicode-пар в PDF.

  • Fixed: Исправлена проблема, при которой таблицы из DOCX файлов молча удалялись, если ячейки содержали специальные символы, отличные от текста.
  • Fixed: Реализовано восстановление суррогатных пар для улучшения корректности извлечения текста из PDF-документов.
mineru-3.4.4-releasedpatch
🕐 3 мес назад · релиз на GitHub ↗

Исправления: улучшен анализ шрифтов PDF (Latin/CJK) и обнаружение дубликатов символов для точного рендеринга текста.

  • Fixed: Улучшен анализ шрифтов PDF за счёт добавления обнаружения использования шрифтов Latin и CJK.
  • Fixed: Добавлено обнаружение дубликатов символов со смещением для повышения качества рендеринга текста (исправление #5238).