Проблема масштабирования в юридической сфере
Архитектура ModernBERT, представленная ранее, уже обучена на корпусе данных, объем которого примерно в 500 раз превышает объем данных, использованных для оригинального BERT. Тем не менее, специфика юридического языка требует глубокой адаптации. Авторы исследования, опубликованного в arXiv (2606.28538), доказали, что даже такие мощные модели выигрывают от целевого дообучения (domain adaptation) на специализированных данных.
Методология и данные
В ходе работы исследователи Dominik Stammbach и Peter Henderson провели дообучение модели ModernBERT на корпусе всех судебных мнений (court opinions) США, используя задачу маскированного языкового моделирования (Masked Language Modeling). Ключевым выводом стало то, что подход «дообучения существующего чекпоинта» превзошел по эффективности обучение модели с нуля (pre-training from scratch) в условиях ограниченных вычислительных ресурсов.
Технические характеристики и метрики
Адаптированная модель получила способность обрабатывать последовательности длиной до 8 192 токенов, что критически важно для анализа объемных судебных документов. Модель демонстрирует значительные улучшения по всем наборам данных, связанным с судебными решениями США, по сравнению с «ванильной» (исходной) версией ModernBERT.
| Параметр | Значение / Характеристика |
|---|---|
| Базовая архитектура | ModernBERT |
| Объем исходных данных | ~500x больше, чем у оригинального BERT |
| Корпус для дообучения | Все судебные мнения судов США |
| Максимальная длина контекста | 8 192 токенов |
| Ключевое преимущество | Дообучение чекпоинта лучше обучения с нуля |
Практическое применение
Результирующие модели готовы к использованию в двух основных сценариях:
- Генерация эмбеддингов: Вычисление осмысленных векторных представлений юридических пассажей для семантического поиска.
- Реранкинг: Быстрое ранжирование сотен юридических документов по заданному поисковому запросу.
Авторы опубликовали все чекпоинты моделей в открытом доступе. Работа принята к публикации в Proceedings of the 21st International Conference on Artificial Intelligence and Law (ICAIL 2026), которая пройдет в Сингапуре с 9 по 12 июня 2026 года.
Источник: arXiv cs.CL ↗