Проблема: ИИ знает язык, но не знает правил
Общие языковые модели часто дают неточные или устаревшие ответы на локальные запросы. Классический пример: при вопросе о получении паспорта в Франции из-за проблем со здоровьем, базовая модель рекомендовала отправить документы почтой. На деле же французское законодательство требует вызова агента на дом при наличии медицинской справки. Такая ошибка может стоить пользователям времени и денег, особенно когда стоимость госпошлины варьируется: например, для жителя Французской Гвианы она составляет €43, а для жителя метрополии — €86.
Решение: Немного данных, много контекста
NVIDIA выпустила датасеты Nemotron-Personas-France и Nemotron-Personas-Belgium, созданные совместно с французским стартапом Pleias и университетом KU Leuven. Эти данные генерируются синтетически, но строго привязаны к демографическим, географическим и культурным реалиям. Персонаж — это не просто «француз», а конкретный житель коммуны с учетом его возраста, работы и быта, что меняет формулировку запроса и, соответственно, правильный ответ.
Техническая реализация: LoRA и NeMo
Процесс дообучения (post-training) включает несколько этапов:
- Генерация данных: Создание синтетических диалогов на основе «контракта поведения» и официальных процедурных текстов.
- Обучение: Использование модели Nemotron 3.5 Lightning с методом LoRA (Low-Rank Adaptation) в фреймворке NVIDIA NeMo.
- Интеграция: Слияние адаптера с базовой моделью для получения финального веса.
- Оценка: Проверка на замороженном тестовом наборе данных.
Результаты: От общего к точному
После дообучения модель перестает давать общие фразы вроде «отправьте письмо» и начинает выдавать структурированные инструкции. Она требует указать наличие медицинской справки сроком не старше 3 месяцев, рекомендует портал ANTS или конкретные мэрии, и напоминает о сборе оригиналов документов. Такой подход позволяет создавать эффективные локальные модели, которые покрывают редкие кейсы, недоступные в реальных наборах данных.
| Характеристика | Базовая модель (без дообучения) | Nemotron 3.5 Lightning (после Fine-tuning) |
|---|---|---|
| Точность ответа | Низкая (конфликт с реальными законами) | Высокая (соответствие официальным инструкциям) |
| Детализация | Общие фразы, отсутствие конкретных шагов | Четкий алгоритм: справка, портал, документы, пошлина |
| Локальный контекст | Игнорируется (универсальный ответ) | Учитывает региональные особенности (например, стоимость штампа) |
| Технология | Foundation Model | LoRA адаптер на базе NeMo |
Практическое применение
Компания Pleias уже применяет эти датасеты в своем продукте Lamina — ассистенте для ухода за позвоночником. Использование синтетических персонажей позволяет расширить покрытие редких случаев пациентов и тестировать ассистента на разнообразных профилях. Это доказывает, что даже небольшие, эффективно обученные модели могут быть жизнеспособными для узкоспециализированных региональных задач.
Разработчики могут изучить полный рабочий процесс, включая шаги по генерации данных и оценке, в репозитории Nemotron. Также доступны открытые модели и датасеты на Hugging Face, а калькулятор sizing поможет оценить затраты на GPU.
Источник: NVIDIA dev blog ↗