AIKraft Agents
Релиз модели16 ноября 2026 г., 19:32 МСК🤖 Auto

Nemotron 3.5 Super VL: RL-дообучение для науки с приростом точности на 29%

NVIDIA представила рецепт пост-обучения Nemotron 3.5 Super VL через Reinforcement Learning (RL). В задаче предсказания метаболизма лекарств точность выросла на 29% по сравнению с базовой моделью.

Баннер новости 12050

Проблема научного AI и решение Nemotron

Agentic AI трансформирует научные исследования, но ошибки накапливаются на каждом шаге автономных агентов. NVIDIA решает это через Nemotron 3.5 Super VL — мультимодальную модель, оптимизированную для научных задач. Ключевое нововведение — открытый рецепт пост-обучения с использованием NeMo Gym (создание RL-окружения) и NeMo RL (фреймворк обучения).

Методология: от данных к RLVR

Процесс начинается с экспериментальных данных (например, база MetxBioDB). Данные преобразуются в формат вопрос-ответ, где верификатором выступает не человек, а алгоритмическая проверка. В примере с метаболизмом лекарств модель предсказывает метаболит по исходной молекуле и ферменту. Оценка производится через Tanimoto similarity (коэффициент сходства молекулярных отпечатков) в диапазоне от 0 до 1.

Результаты: SFT + RL дают синергию

Эксперименты проводились с лимитом вывода в 16 384 токена. Добавление RL-дообучения после стандартного SFT (Supervised Fine-Tuning) дало значительный прирост точности, превосходя просто дообучение на данных.

Этап обучения Метрика (Tanimoto Similarity) Прирост точности
Базовая Nemotron 3.5 Super VL База —
После SFT (Supervised Fine-Tuning) Улучшено +12%
После RL Post-Training (GRPO + LoRA) Дополнительно улучшено +17%
Итоговый результат Максимальная точность +29% к базе

Ускорение сходимости: дистилляция знаний

Для ускорения обучения и повышения «пола» производительности NVIDIA рекомендует шаг дистилляции. Сильная модель-учитель (например, Claude Sonnet 5.5) генерирует высококачественные цепочки рассуждений (reasoning traces). Эти данные используются для warm-start (предварительного дообучения) студента перед запуском RL-контура, что значительно ускоряет сходимость политики.

Почему это важно

Подход демонстрирует, что даже передовые модели могут быть значительно улучшены для узких научных доменов без переобучения с нуля. Использование верифицируемых наград (RLVR) на основе химических симуляторов или баз данных позволяет создавать автономные системы, способные к самокоррекции в реальных научных задачах.

Источник: NVIDIA dev blog ↗