Nemotron 3: Золото IOI и IMO за счет SFT, RL и GenCorrect

Результаты на олимпиадах

Команда NVIDIA представила результаты использования семейства моделей Nemotron на двух престижных соревнованиях. На IOI 2026 модель Nemotron-3-Ultra-CC набрала 535.4 из 600 баллов, что выше порога золотой медали (361.12) и лучшего результата человека (498.27). На IMO 2026 система, использующая комбинацию SFT и RL чекпоинтов, набрала 30 из 42 баллов, превысив официальный порог золотой медали (29).

Методология: от данных к инференсу

Ключевой вывод NVIDIA — успех достигается не только за счет размера модели, но и за счет «рецепта» специализации. Он включает четыре шага: выбор сильной базовой модели, курирование доменных данных, применение SFT/RL и использование цикла инференса (generate-evaluate-refine). Для IOI 2026 использовалась стратегия GenCorrect, которая итеративно улучшает ответы. Для IMO применялась система, где модели генерируют доказательства, оценивают их, критикуют и дорабатывают без использования внешних инструментов или интернета.

Детали обучения и масштабируемость

Для IOI были обучены две модели: Nemotron-3-Nano-CC (30B параметров, 3B активных) и Nemotron-3-Ultra-CC (550B параметров, 55B активных). Nano прошла путь от 130 до 468 баллов после SFT, RL и GenCorrect. Ultra-CC, получившая один эпоху SFT, превзошла полностью дообученную Nano. Для IMO датасет включал 414 890 примеров доказательств. RL-модель обучалась на 9 597 задачах, близких к пределу возможностей модели.

Открытые ресурсы

NVIDIA опубликовала модели, датасеты и код на Hugging Face. Коллекция Nemotron Labs IMO 2026 содержит чекпоинты SFT и RL, а также новый бенчмарк Nemotron-IMO-Bench. Для IOI доступна модель Nemotron-3-Ultra-CC и репозиторий NeMo-Skills с пайплайном инференса. Это позволяет сообществу воспроизвести результаты и создать свои специализированные решения.

Бенчмарки

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: Hugging Face blog ↗