Консолидация инструментов для AI-агентов
Команда OpenDataLab представила версию 4.0 проекта MinerU. Это не просто улучшенный парсер, а комплексное решение, объединяющее чтение, OCR, поиск и цитирование документов в единый рабочий процесс. Ключевое отличие новой версии — интеграция с AI-агентами через стабильные локаторы контента, что позволяет агентам не просто «читать» файлы, но и ссылаться на конкретные страницы или блоки, сохраняя контекст.
MinerU позиционируется как предпочтительный инструмент для локальных рабочих процессов, особенно когда речь идет о длинных документах, сложных таблицах, формулах и структурированных ошибках. В отличие от generic PDF-парсеров, MinerU предлагает нативную поддержку широкого спектра форматов без необходимости загрузки в облако.
Четыре уровня парсинга и поддержка форматов
Архитектура MinerU 4.0 построена вокруг четырех уровней точности (tiers), что позволяет балансировать между скоростью и качеством обработки:
- Flash: Быстрый предварительный просмотр и индексация. Используется нативно для офисных форматов, EPUB, OFD, HTML и CSV.
- Basic: Базовый OCR и парсинг на основе моделей.
- Standard / Advanced: Высокое качество для сложных макетов, научных статей и документов с формулами.
Система поддерживает более 15 форматов входных данных, включая PDF (включая сканы), изображения, MS Office (DOCX, PPTX, XLSX), OpenDocument, EPUB, OFD и веб-архивы (MHTML). Важно отметить, что для офисных форматов и EPUB используется локальный парсинг уровня Flash, что обеспечивает мгновенный результат без обращения к тяжелым моделям.
Технические детали и производительность
MinerU 4.0 предлагает гибкую конфигурацию моделей: для легких задач используются ONNX или Torch, а для визуальных языковых моделей (VLM) доступны llama.cpp, vLLM или LMDeploy. По умолчанию система настроена на работу на CPU с использованием ONNX для малых моделей и llama.cpp в режиме Vulkan для VLM, что обеспечивает хорошую совместимость на большинстве устройств.
Для пользователей с GPU NVIDIA рекомендуется установка пакета mineru[full]>=4.0 для максимальной пропускной способности. На macOS стандартная установка уже оптимизирована, а на Windows требуется отдельная установка GPU-версии PyTorch.
| Категория | Детали реализации в MinerU 4.0 |
|---|---|
| Уровни точности | Flash (быстрый), Basic, Standard, Advanced |
| Входные форматы | PDF, PNG/JPG/TIFF, DOC/DOCX, PPT/PPTX, XLS/XLSX, RTF, ODT/ODS/ODP, EPUB, OFD, HTML/MHTML, CSV/TSV |
| Выходные форматы | Markdown, HTML, LaTeX, DOCX, EPUB, PDF, Structured Content, Content List V1/V2 |
| Инференс моделей | ONNX, Torch (CPU/GPU), llama.cpp, vLLM, LMDeploy |
| API и SDK | Python SDK (DoclibClient), V1 API, CLI, Gradio WebUI |
| Локаторы | Стабильные ссылки вида doc:{short_id}/tier:{tier}/page:{page_no}/block:{block_no} |
Интеграция с AI-агентами и DocVortex
Новая версия включает DocVortex — нативный механизм парсинга документов для агентов. MinerU не является RAG-фреймворком или векторной базой данных, но предоставляет инструменты для эффективной работы с документами в рамках агентов:
- Поиск и кэширование: Встроенная локальная библиотека документов с возможностью поиска по содержимому.
- Продолжение чтения: Агенты могут продолжать чтение с конкретного блока или страницы, используя стабильные локаторы.
- Batch-конвертация: Stateless-конвертация пакетов документов через CLI или API.
Для разработчиков доступна Python-библиотека DoclibClient, которая управляет локальной библиотекой, обрабатывает запросы на парсинг, отслеживает статус задач и предоставляет доступ к результатам. Это позволяет интегрировать MinerU в сложные многошаговые сценарии работы AI-агентов с документами.
Источник: Github ↗