Решение проблемы извлечения данных
Команда Dharma-AI выпустила Dharma Field Extractor — специализированную модель на базе архитектуры DharmaOCR-LITE v1.1 (2 млрд параметров). В отличие от общих LLM, которые требуют сложного промптинга и стоят дорого, эта модель заточена на преобразование изображений документов в валидный JSON. Она поддерживает два режима работы:
- Open (Открытый): модель самостоятельно определяет поля на основе контекста и макета, возвращая все найденные ключи и значения.
- Schema-directed (По схеме): пользователь задает точную структуру (типы данных: string, number, boolean) и имена ключей. Если поле отсутствует в документе, модель возвращает
null, а не выдумывает данные.
Обучение и данные
Модель дообучена с помощью LoRA-адаптера на датасете из 43 384 примеров. Данные разделены на три потока:
- Англоязычные документы из открытых источников (чеки, счета, формы).
- Бразильские документы на португальском языке (реальные внутренние данные).
- Мультязычные данные (европейские и азиатские языки) для лучшей обобщающей способности.
Результаты бенчмарков
Тестирование проводилось на 546 документах (1 638 кейсов) с метрикой Field-level F1, учитывающей сходство Левенштейна и валидность JSON. Dharma Field Extractor показал результат 0.834, превзойдя все протестированные фронтенд-модели. Ниже приведено сравнение качества и стоимости обработки одного документа.
| Модель / Конфигурация | Метрика (F1 + Levenshtein + JSON) | Относительная стоимость |
|---|---|---|
| Dharma Field Extractor (2B) | 0.834 | ~1x (базовая) |
| Claude Opus 5 | 0.816 | ~6x дороже |
| GPT-5.6 Luna | 0.741 | ~6x дороже |
| GPT-5.6 Sol | Ниже 0.741 | ~147x дороже |
Экономика и развертывание
Ключевое преимущество — возможность self-hosted развертывания. Стоимость вычислений рассчитывалась на базе GPU NVIDIA L40S по цене $2.24 в час. Это делает модель экономически выгодной для высоконагруженных задач, где использование API фронтенд-моделей становится финансово нецелесообразным. Модель успешно справляется с рукописным текстом (Bates ID) и сложными вложенными структурами, такими как чек-листы с подгруппами.
Источник: Hugging Face blog ↗