Проблема научного AI и решение Nemotron
Agentic AI трансформирует научные исследования, но ошибки накапливаются на каждом шаге автономных агентов. NVIDIA решает это через Nemotron 3.5 Super VL — мультимодальную модель, оптимизированную для научных задач. Ключевое нововведение — открытый рецепт пост-обучения с использованием NeMo Gym (создание RL-окружения) и NeMo RL (фреймворк обучения).
Методология: от данных к RLVR
Процесс начинается с экспериментальных данных (например, база MetxBioDB). Данные преобразуются в формат вопрос-ответ, где верификатором выступает не человек, а алгоритмическая проверка. В примере с метаболизмом лекарств модель предсказывает метаболит по исходной молекуле и ферменту. Оценка производится через Tanimoto similarity (коэффициент сходства молекулярных отпечатков) в диапазоне от 0 до 1.
Результаты: SFT + RL дают синергию
Эксперименты проводились с лимитом вывода в 16 384 токена. Добавление RL-дообучения после стандартного SFT (Supervised Fine-Tuning) дало значительный прирост точности, превосходя просто дообучение на данных.
| Этап обучения | Метрика (Tanimoto Similarity) | Прирост точности |
|---|---|---|
| Базовая Nemotron 3.5 Super VL | База | — |
| После SFT (Supervised Fine-Tuning) | Улучшено | +12% |
| После RL Post-Training (GRPO + LoRA) | Дополнительно улучшено | +17% |
| Итоговый результат | Максимальная точность | +29% к базе |
Ускорение сходимости: дистилляция знаний
Для ускорения обучения и повышения «пола» производительности NVIDIA рекомендует шаг дистилляции. Сильная модель-учитель (например, Claude Sonnet 5.5) генерирует высококачественные цепочки рассуждений (reasoning traces). Эти данные используются для warm-start (предварительного дообучения) студента перед запуском RL-контура, что значительно ускоряет сходимость политики.
Почему это важно
Подход демонстрирует, что даже передовые модели могут быть значительно улучшены для узких научных доменов без переобучения с нуля. Использование верифицируемых наград (RLVR) на основе химических симуляторов или баз данных позволяет создавать автономные системы, способные к самокоррекции в реальных научных задачах.
Источник: NVIDIA dev blog ↗
