AIKraft Agents
Главная/Блог/Гайд/Dharma Field Extractor: Превращаем…
Гайд4 мин чтения · 4 ноября 2026 г.

Dharma Field Extractor: Превращаем любые документы в JSON

Новая модель Dharma Field Extractor от Dharma-AI извлекает структурированные данные из документов с точностью, превосходящей флагманские LLM, при этом стоимость инференса ниже в десятки раз.

В эпоху, когда генеративный искусственный интеллект стал мейнстримом, многие компании сталкиваются с парадоксом: у нас есть мощные языковые модели, способные решать сложнейшие задачи, но для рутинной обработки документов они часто оказываются избыточными, дорогими и медленными. Классический подход к извлечению данных из документов (Document Information Extraction) долгое время делился на две части: традиционное распознавание текста (OCR) и последующую обработку этого текста с помощью больших языковых моделей (LLM). Однако этот конвейер имеет существенные недостатки. OCR выдает «сырой» текст, лишенный семантической структуры, а LLM, хотя и могут извлечь нужные поля, требуют огромных вычислительных ресурсов и времени на генерацию, что делает их непригодными для высоконагруженных систем в реальном времени.

Команда Dharma-AI предлагает элегантное решение этой проблемы, представив модель Dharma Field Extractor. Это специализированная модель, которая берет на себя задачу извлечения строго структурированных данных из изображений документов. В отличие от универсальных LLM, эта модель не пытается «понять» документ в целом, а фокусируется на извлечении конкретных полей в формате JSON, который можно сразу же передать в базу данных или корпоративную систему. Результаты тестирования показывают, что Dharma Field Extractor превосходит по точности такие флагманские модели, как Claude Opus 5 и GPT-5.6 Luna, при этом стоимость обработки одного документа для бизнеса снижается в разы.

01Проблема «сырого» текста и стоимость универсальных LLM

Чтобы понять ценность Dharma Field Extractor, необходимо рассмотреть типичный рабочий процесс обработки документов в бизнесе. Представьте, что каждое утро в бухгалтерию или медицинский отдел поступает партия документов: счета-фактуры, медицинские направления, договоры или удостоверения личности. Задача системы — не просто сохранить скан документа, а извлечь из него конкретные данные для дальнейшего использования.

Традиционный подход часто выглядит так: документ проходит через OCR-движок, который выдает строку за строкой весь текст, присутствующий на странице. Этот текст сохраняет форматирование оригинала, что идеально подходит, если вам нужно прочитать весь контракт целиком. Но если вам нужна только сумма счета, дата выставления и имя поставщика, OCR-вывод бесполезен. В нем нет меток, указывающих, какое число является суммой, а какое — датой. Разработчикам приходится писать сложные регулярные выражения или эвристики, которые часто ломаются при изменении макета документа.

Альтернатива — использовать универсальную LLM. Вы можете отправить изображение документа в API Claude или GPT с подробным промптом: «Извлеки имя поставщика, номер счета, дату и общую сумму». Модель справится с задачей. Однако здесь вступают в силу два критических фактора, ограничивающих масштабирование такого решения:

  1. Задержка (Latency): Универсальные LLM требуют значительного времени на анализ контекста и генерацию ответа. Для высоконагруженных систем, где нужно обработать тысячи документов в час, это становится узким местом.
  2. Стоимость: Тарификация по токенам вклочая токены размышления (reasoning tokens) у провайдеров вроде OpenAI или Anthropic делает обработку больших объемов данных крайне дорогой. Если вы обрабатываете большой объем документов в месяц, счет за API может стать неподъемным.

Dharma-AI утверждает, что для узкоспециализированной задачи извлечения полей не нужно использовать «пушку по воробьям». Вместо этого они создали модель, обученную исключительно на этой задаче, что позволяет достичь более высокой точности при значительно меньших затратах.

02Как работает Dharma Field Extractor: Два режима извлечения

Сердцем решения является модель Dharma Field Extractor, построенная на базе DharmaOCR-LITE v1.1. Архитектурно она спроектирована так, чтобы на вход принимать изображение документа, а на выходе выдавать валидный JSON-объект. Ключевая особенность системы — гибкость в том, как пользователь запрашивает данные. Модель поддерживает два режима работы, что делает её универсальной для разных сценариев использования.

1. Открытый режим (Open Mode)

В этом режиме пользователь не предоставляет схему (schema). Модель самостоятельно анализирует документ, определяет структуру полей на основе контекста и макета (например, понимает, что текст после двоеточия является значением поля, или что таблица имеет заголовки и строки). Она извлекает все найденные структурированные данные и возвращает их в виде словаря ключ-значение. Этот режим идеален, когда вы не знаете заранее, какие именно поля содержатся в документе, или когда макеты документов сильно варьируются.

2. Режим с заданной схемой (Schema-directed Mode)

Это более строгий и предсказуемый режим, необходимый для интеграции с существующими базами данных. Пользователь явно указывает желаемую структуру вывода, определяя имена ключей и типы данных (строка, число, булево значение). Например, вы можете запросить поля service_provider и client_company. Модель вернет JSON именно с этими ключами. Если поле отсутствует на документе, модель вернет null, а не попытается угадать или выдумать значение. Если вы запросите таблицу, модель заполнит её строка за строкой, сопоставляя ячейки с указанными ключами.

Такой подход гарантирует, что вывод модели всегда соответствует ожидаемой структуре, что критически важно для автоматизации бизнес-процессов, где любой лишний ключ или неверный тип данных может привести к сбою в downstream-системах.

03Обучение на мультидоменных данных: От английского к португальскому

Одной из сильных сторон Dharma Field Extractor является её способность работать с документами на разных языках и из разных сфер. Модель обучалась на тщательно отобранном набо

Источник: Hugging Face ↗