В мире искусственного интеллекта, где каждый день появляются новые модели для обработки естественного языка и компьютерного зрения, возникает острая необходимость в объективных инструментах оценки. Особенно это касается задачи оптического распознавания символов (OCR) и парсинга документов. Долгое время индустрия полагалась на разрозненные метрики, которые часто не позволяли сравнить системы «яблоко с яблоком». Сегодня ситуация меняется: компания Datalab выпустила OmniParseBench — комплексный открытый бенчмарк, который предлагает инженерам и исследователям новый, более прозрачный способ оценки качества парсеров документов.
Это не просто еще один рейтинг в таблице лидеров. OmniParseBench решает фундаментальные проблемы существующих подходов, предлагая систему из 16 288 тестов «да/нет» на 2 937 страницах документов, охватывающих 92 языка. Такой масштаб и детализация позволяют ответить на гораздо более конкретный вопрос, чем просто «какая система лучше»: «Какой парсер лучше всего справится с документами, похожими на мои?»
В этой статье мы подробно разберем архитектуру бенчмарка, его методологию оценки, ключевые результаты запуска и то, как разработчики могут использовать этот инструмент в своих проектах. Мы также рассмотрим, почему существующие решения, такие как olmOCR-bench и ParseBench, были признаны недостаточными, и как OmniParseBench закрывает эти пробелы.
01Зачем нужен новый бенчмарк: проблемы существующих решений
Чтобы понять ценность OmniParseBench, необходимо рассмотреть контекст, в котором он был создан. Datalab выделяет две основные проблемы, присущие текущим бенчмаркам для оценки OCR и парсинга документов.
Первая проблема связана с olmOCR-bench. Хотя этот бенчмарк продемонстрировал эффективность тестов с проверкой «прошел/не прошел» (pass/fail unit tests), Datalab считает, что он достиг стадии насыщения. В текущем виде топ-системы разделяются не столько способностью к чтению и пониманию контента, сколько различиями в конвенциях вывода (output conventions) и переобучением (overfitting) на специфических наборах данных. Кроме того, каждый тест в olmOCR-bench находится в одной единственной категории, определяемой источником страницы. Это означает, что, например, рукописная таблица усредняется в ту категорию, в которую попала страница, что размывает точность оценки специфических структур.
Вторая проблема касается ParseBench от LlamaIndex. Этот бенчмарк разделяет задачу парсинга на пять различных возможностей (capabilities), каждая из которых оценивается своей собственной метрикой. Datalab аргументирует, что эти оценки не имеют единой единицы измерения, что делает их невозможными для прямого сравнения или чистого комбинирования в единый показатель качества. Инженеру сложно понять, как соотносятся, например, точность распознавания текста и точность восстановления структуры таблицы, если они измеряются в разных шкалах.
OmniParseBench был разработан, чтобы быть ясным, аудируемым и исследуемым. Он предлагает унифицированный подход, где каждый тест — это бинарный вопрос о конкретной странице, а итоговый балл — это доля пройденных тестов. Это устраняет неоднозначность и позволяет сравнивать системы на общей основе.
02Как работает система оценки: от бинарных тестов к итоговым баллам
Методология OmniParseBench построена на принципе детализированной проверки. Итоговый балл (headline score) является средним значением трех семейных оценок: текст (text), таблицы (tables) и макет (layout). Эти семейные оценки формируются на основе пяти типов тестов, которые проверяют различные аспекты структуры документа.
Пять типов тестов
- present (присутствие): Проверяет, появляется ли определенный текст, число или уравнение на странице. Относится к семейству «текст».
- order (порядок): Проверяет, идет ли текст A перед текстом B. Это критически важно для понимания последовательности чтения. Относится к семейству «текст».
- repeat (повторение): Проверяет, появляется ли строка ровно N раз. Полезно для выявления повторяющихся элементов, таких как колонтитулы или нумерация страниц. Относится к семейству «текст».
- table_cell (ячейка таблицы): Проверяет, находится ли ячейка под заданными заголовками и рядом с заданными соседями. Это сложный тест, требующий понимания двумерной структуры. Относится к семейству «таблицы».
- layout_kind (тип макета): Определяет, является ли блок, содержащий строку, заголовком, текстом или частью таблицы. Относится к семейству «макет».
Важной особенностью является строгость проверки чисел и уравнений. Числа должны совпадать цифра в цифру, хотя форматирование тысяч (например, 1,240 и 1240) учитывается как совпадение. Уравнения сравниваются по тому, как они рендерятся в KaTeX, что означает, что \frac{a}{b} и \dfrac{a}{b} считаются равными. Каждое решение классифицируется как «прошел» (pass), «не прошел» (fail), «неподдерживается» (unsupported) или «ошибка» (error). Последние два варианта исключаются из расчета итогового балла, что предотвращает искажение результатов из-за технических сбоев.
Ключевое отличие от многих других систем: здесь нет модели-судьи. Оценщик (scorer) — это открытый код, который детерминированно проверяет соответствие вывода парсера ожидаемому результату. Это обеспечивает полную воспроизводимость и прозрачность.
03Теги и производные: глубина анализа
OmniParseBench предлагает не только общий балл, но и возможность детального среза результатов. Каждый тест проверяет один или несколько аргументов, каждый из которых несет теги по пяти осям: структура, рендеринг, роль, скрипт и язык.
Скрипты используют коды ISO 15924, а языки — коды ISO 639-3. Важно отметить, что теги никогда не влияют на вердикт теста или итоговый балл. Они служат только для выбора тестов, что позволяет получить собственный балл для любого среза. Например, вы можете узнать, как система справляется именно с математическими формулами в китайском языке, игнорируя остальной контент.
Статистика по языкам показывает, что английский язык покрывает 10 089 тестов, в то время как 529 страниц из 321 документа (охватывающие 91 язык) содержат 1 931 тест. Таблицы покрывают 6 767 тестов на 1 000 страницах из 875 документов. Это обеспечивает сбалансированную, хотя и не идеальную, репрезентацию многоязычности.
Каждый тест также записывает свою производную (derivation) — то, как был установлен правильный ответ. Существует 10 видов производных, включая издательский JATS XML, текстовый слой PDF, авторские страницы, тесты olmOCR-bench, панели моделей и человеческий обзор. Это позволяет инженерам понимать надежность эталонных ответов.
04Результаты запуска: кто лидирует?
При запуске OmniParseBench Datalab представил результаты для ряда популярных систем парсинга. Важно отметить, что Datalab не занимает первое место в собственном бенчмарке, что подчеркивает объективность исследования. Однако их система Datalab accurate заняла второе место, уступив лишь Gemini 3.8 Flash.
Таблица лидеров
Ниже приведены ключевые показатели топ-систем. Обратите внимание, что баллы представлены в процентах пройденных тестов.
| Парсер | Итоговый балл | Текст | Таблицы | Макет |
|---|---|---|---|---|
| Gemini 3.8 Flash* | 92.9 | 91.3 | 95.2 | 92.2 |
| Datalab accurate | 92.7 | 90.8 | 91.8 | 95.6 |
| Datalab balanced | 91.6 | 90.0 | 89.2 | 95.5 |
| Reducto | 90.8 | 85.4 | 91.2 | 95.8 |
| LlamaParse | 90.4 | 88.2 | 92.6 | 90.4 |
| Mistral OCR | 89.5 | 82.8 | 91.9 | 93.8 |
| Claude Sonnet 5.5* | 88.7 | 93.1 | 95.4 | 77.5 |
| GPT-5.6 Sol | 87.8 | 85.4 | 91.6 | 86.5 |
| Extend | 83.3 | 64.1 | 92.5 | 93.8 |
| Azure | 83.0 | 74.6 | 81.7 | 92.8 |
| Tesseract | none | 17.6 | 0.0 | unsupported |
* Использовался при создании и проверке некоторых тестов.
Интересно наблюдать за специализацией систем. Claude Sonnet 5.5 показывает наивысший балл по тексту (93.1) и таблицам (95.4), но его общий балл снижается из-за низкой оценки макета (77.5). Reducto лидирует по макету (95.8), что делает его отличным выбором для задач, где важна структура документа. Tesseract, классический OCR-движок, показал крайне низкие результаты (17.6 по тексту, 0.0 по таблицам) и не смог обработать макет, что подчеркивает разрыв между традиционными методами и современными ИИ-решениями.
Datalab также построила графики, сопоставляющие итоговый балл со средней задержкой (latency) и ценой за 1000 страниц. Задержка измерялась на выборке из 200 страниц, отправленных по 8 штук за раз. Это позволяет инженерам выбирать систему не только по качеству, но и по экономическим и временным параметрам.
05Сравнение с другими бенчмарками
Чтобы понять место OmniParseBench в экосистеме, сравним его с другими известными решениями: olmOCR-bench, ParseBench и OmniDocBench.
Масштаб и охват
OmniParseBench включает 16 288 тестов на 2 937 страницах из 2 343 документов, охватывая 92 языка. Для сравнения, olmOCR-bench имеет 7 010 тестов на 1 403 PDF-файлах, а ParseBench — 169 011 правил на 2 078 страницах. OmniDocBench значительно меньше — всего 1 651 PDF-страница. OmniParseBench предлагает хороший баланс между масштабом и детализацией, особенно в части многоязычности.
Единица оценки
OmniParseBench использует бинарный тест «прошел/не прошел», где итоговый балл — это среднее значение трех семейств. olmOCR-bench также использует бинарные тесты, но без разделения на семейства. ParseBench использует пять измерений с разными метриками, что, как мы уже выяснили, затрудняет сравнение. OmniDocBench использует общее расстояние редактирования текста (text edit distance), TEDS для таблиц и CDM для формул.
Модель-судья и теги
OmniParseBench не использует модель-судью для оценки, в отличие от некоторых опций в ParseBench. Он также предоставляет детальную информацию о тегах для каждого аргумента и производную для каждого теста, чего нет в olmOCR-bench и OmniDocBench.
Лицензирование
Код OmniParseBench лицензирован под Apache 2.0, тесты — под CC BY 4.0 (с исключениями), а данные страниц лицензированы в зависимости от источника. Это обеспечивает высокую степень открытости и возможности коммерческого использования.
06Как запустить OmniParseBench: практическое руководство
OmniParseBech — это инструмент оценки, а не модель. Он устанавливается через пакетный менеджер uv и требует Python 3.11+. Оценка результатов работает офлайн и не требует API-ключей, что делает его безопасным и доступным для локального запуска.
Установка и запуск
Для базовой оценки без сети и API-ключей:
uv pip install omni-parse-bench
# score(): no network, no API keysДля работы с адаптерами поставщиков (vendor adapters), чтобы предсказывать результаты:
uv pip install 'omni-parse-bench[harness]'Для доступа к набору данных и запуска бенчмарка:
uv pip install 'omni-parse-bench[benchmark]'Для запуска самого бенчмарка:
opb benchmark --out runs --limit --providers datalab openai gpt 5.6 solПоставщикам требуются ключи, такие как DATALAB_API_KEY или OPENROUTER_API_KEY. CLI-интерфейс показывает план запросов и запрашивает разрешение перед вызовом любого поставщика. Запуски можно возобновлять (resumable), что удобно для больших объемов данных. Руководство по запросу (query guide) показывает, как сравнивать запуски по тегам, семействам или типам тестов.
07Что это значит на практике
Для инженеров и архитекторов ИИ-систем OmniParseBench представляет собой мощный инструмент для принятия решений. Вот несколько ключевых выводов:
- Выбор системы на основе потребностей. Если вам важна точность распознавания текста, Claude Sonnet 5.5 может быть лучшим выбором. Если важна структура макета, Reducto или Datalab balanced будут предпочтительнее. Универсальные решения, такие как Gemini 3.8 Flash и Datalab accurate, показывают сбалансированные результаты.
- Экономическая эффективность. Сопоставление баллов с ценой и задержкой позволяет выбрать оптимальное решение для масштабируемых проектов. Например, если разница в качестве между топ-системами невелика (всего 1.3 пункта), но разница в цене значительна, более дешевое решение может быть предпочтительнее.
- Многоязычность. Если ваши документы содержат текст на разных языках, OmniParseBench позволяет оценить производительность системы на конкретных языках, используя теги. Это особенно важно для глобальных компаний.
- Воспроизводимость. Открытый код и детерминированная оценка обеспечивают возможность воспроизведения результатов. Вы можете запустить бенчмарк на своих данных и получить точные метрики, которые будут релевантны для вашего конкретного случая использования.
В конечном итоге, OmniParseBench — это не просто еще один рейтинг. Это инструмент, который помогает инженерам задавать более точные вопросы о качестве своих систем и получать на них четкие, аудируемые ответы. В мире, где качество обработки документов критически важно для многих приложений, от автоматизации бизнес-процессов до анализа научных публикаций, такой инструмент становится незаменимым.
08Заключение
Datalab представила OmniParseBench как ответ на вызовы, с которыми сталкивается индустрия оценки OCR и парсинга документов. С его 16 288 тестами, охватывающими 92 языка, и прозрачной методологией оценки, этот бенчмарк устанавливает новый стандарт для сравнения систем. Хотя Datalab занимает второе место в собственном рейтинге, их открытость и готовность признать превосходство Gemini 3.8 Flash усиливают доверие к инструменту.
Для разработчиков и исследователей OmniParseBench предлагает возможность не только оценить существующие системы, но и создать собственные тесты на основе своих данных. Это делает его гибким и мощным инструментом для развития технологий обработки документов. В ближайшие годы мы, вероятно, увидим, как OmniParseBench станет де-факто стандартом для оценки качества парсеров, помогая индустрии двигаться к более точным и надежным решениям.
Код и данные доступны в открытом доступе, что позволяет каждому заинтересованному лицу начать работу с бенчмарком прямо сейчас. Это шаг вперед в направлении открытого и прозрачного развития искусственного интеллекта.
Источник: MarkTechPost ↗