Масштаб и методология: почему это важно
Компания Datalab представила OmniParseBench — первый открытый бенчмарк, оценивающий OCR-парсеры через 16 288 строгих тестов «да/нет». В отличие от предыдущих решений, таких как olmOCR-bench (признанного Datalab исчерпавшим потенциал) или ParseBench от LlamaIndex (где метрики разных способностей несовместимы), OmniParseBench использует унифицированный подход.
Результат формируется как среднее значение трех семейств: текст, таблицы и макет. Тесты проверяют наличие элементов, их порядок, точное совпадение цифр (с учетом форматирования) и структуру блоков. Важно, что оценка не требует API-ключей и работает офлайн, а вердикты не зависят от «мнения» модели-судьи, а определяются открытым кодом.
Лидеры рынка: цифры и сравнения
На момент запуска бенчмарка топ-3 систем разделились всего на 1,3 процентных пункта. Безоговорочным лидером стал Gemini 3.8 Flash, опередивший собственное решение Datalab. Ниже представлена сводная таблица результатов основных участников:
| Парсер | Headline Score | Текст | Таблицы | Макет |
|---|---|---|---|---|
| Gemini 3.8 Flash* | 92.9 | 91.3 | 95.2 | 92.2 |
| Datalab accurate | 92.7 | 90.8 | 91.8 | 95.6 |
| Datalab balanced | 91.6 | 90.0 | 89.2 | 95.5 |
| Reducto | 90.8 | 85.4 | 91.2 | 95.8 |
| LlamaParse | 90.4 | 88.2 | 92.6 | 90.4 |
| Claude Sonnet 5.5* | 88.7 | 93.1 | 95.4 | 77.5 |
| GPT-5.6 Sol | 87.8 | 85.4 | 91.6 | 86.5 |
| Tesseract | — | 17.6 | 0.0 | unsupported |
* Примечание: Gemini 3.8 Flash и Claude Sonnet 5.5 использовались при создании и верификации части тестов.
Глубокий анализ: сильные и слабые стороны
Общий балл может скрывать специфические проблемы. Например, Claude Sonnet 5.5 демонстрирует выдающиеся результаты в распознавании текста (93.1) и таблиц (95.4), но проваливается в оценке макета (77.5), что сильно снижает итоговый рейтинг. Напротив, Reducto лидирует в категории макета (95.8), но уступает в точности текста. Tesseract показал себя неэффективным для сложных задач, получив 0.0 в таблицах и «unsupported» в макете.
Технические детали и доступность
Датасет включает 2 937 страниц из 2 343 документов на 92 языках. Для англоязычных тестов выделено 10 089 проверок, для остальных языков — 1 931. Каждая проверка имеет тег по 5 осям (структура, рендеринг, роль, скрипт, язык), что позволяет инженерам фильтровать результаты под свои задачи. Код бенчмарка лицензирован под Apache 2.0, а данные — CC BY 4.0. Установка осуществляется через uv pip install omni-parse-bench и требует Python 3.11+.
Вывод для разработчиков
Datalab подчеркивает, что лучший бенчмарк — это ваши собственные документы. Однако OmniParseBench дает четкий ориентир: если вам нужна максимальная точность извлечения данных, Gemini 3.8 Flash является текущим стандартом, а Datalab accurate — надежной альтернативой с балансом скорости и качества.
Источник: MarkTechPost ↗