Масштаб и методология: 16 288 тестов на 2937 страницах
Лаборатория Datalab представила OmniParseBench — первый открытый бенчмарк для оценки парсеров документов. В отличие от стандартных метрик, система использует 16 288 мелких тестов «пройден/не пройден» (pass-or-fail) для проверки 2 937 страниц. В датасет включены сложные кейсы: сканированные формы, рукописный текст, математические формулы с arXiv и плотные таблицы.
Ключевая особенность подхода — проверка не только точности распознавания, но и семантики. Тесты разделены на три семейства:
- Text: наличие заголовков, порядок элементов, повторение ключевых слов.
- Table: корректность ячеек, заголовков строк/столбцов.
- Layout: пространственное расположение блоков (bounding box).
Верификация лидерборда: пересчет результатов
Авторы не просто доверяют опубликованным данным, а воспроизвели оценку, подав на вход «золотому» скору (scorer) специально созданный тестовый документ. Это позволило выявить ошибки в вердиктах. Были протестированы 27 парсеров, включая коммерческие решения и open-source модели. Для сравнения также были запущены Tesseract и Indra OCR на выборке из 50 страниц.
Ключевые выводы: статистическая ничья и зависимость от типа документа
Результаты пересчета показали, что два лидера рейтинга статистически не различаются между собой. Однако при разрезе по типам документов лидер меняется. Один из заявленных при запуске показателей не совпал с реальными файлами датасета, что подчеркивает важность воспроизводимости.
Технические детали и установка
Бенчмарк работает на базе omni-parse-bench 1.0.0rc1 (предварительная версия, так как стабильная 0.2.0 имеет другой API). Для корректной работы требуется фиксация ревизии датасета на Hugging Face (commit 961c0f8). Поддерживается интеграция с Tesseract (с моделями для множества языков) и Indra OCR.
| Параметр | Значение / Описание |
|---|---|
| Версия библиотеки | omni-parse-bench 1.0.0rc1 |
| Количество тестов | 16 288 (pass/fail) |
| Объем датасета | 2 937 страниц (PDF/сканы) |
| Тестированных парсеров | 27 (включая Tesseract, Indra) |
| Лицензия | Apache 2.0 |
| Ключевые метрики | Present, Order, Repeat, Table Cell, Layout Kind |
Почему это важно для разработчиков
OmniParseBench закрывает проблему субъективной оценки OCR-решений. Разработчики могут самостоятельно запустить тесты на своих моделях, используя Python-интерфейс, и получить объективную метрику качества, учитывающую не только «буквы», но и структуру документа. Это критично для задач извлечения данных из сложных форм и отчетов.
Источник: MarkTechPost ↗