Революция в эффективности обучения
Команды Perplexity и NVIDIA представили новый подход к обучению больших языковых моделей (LLM), получивший название JOLT. В отличие от традиционных методов, где для достижения высокого качества требуется дорогостоящий этап обучения с подкреплением (Reinforcement Learning, RL) с использованием человеческих предпочтений (RLHF), JOLT позволяет модели обучаться самостоятельно. Ключевое достижение — модель достигает качества, сопоставимого с RL, но использует в 6.5 раза меньше токенов на этапе обучения.
Как работает архитектура «Учитель-Студент»
Суть метода JOLT заключается в инновационной структуре, где одна и та же модель выполняет две роли одновременно: учителя и студента. Процесс выглядит следующим образом:
- Генерация: Модель (учитель) генерирует ответы на запросы.
- Обучение: Та же модель (студент) обучается на этих сгенерированных данных.
- Оценка: Система оценивает, насколько хорошо «студент» усвоил материал, и использует эту метрику для обновления весов «учителя».
Это создает замкнутый цикл самоусовершенствования, где модель сама определяет, какие данные наиболее полезны для её развития, исключая необходимость в дорогостоящей разметке людьми.
Сравнение эффективности: JOLT против традиционных методов
Главное преимущество JOLT — радикальное снижение вычислительных затрат. Обучение через подкрепление традиционно требует огромных объемов данных и вычислительной мощности. JOLT демонстрирует, что можно достичь сопоставимых результатов, значительно сократив объем необходимых токенов.
| Метрика | Традиционный RL (RLHF) | JOLT (Self-Teaching) |
|---|---|---|
| Качество модели | Высокое | Сопоставимое с RL |
| Затраты на токены | Базовый уровень | В 6.5 раз меньше |
| Необходимость разметки | Да (человеческие предпочтения) | Нет (автоматизировано) |
| Участники разработки | Различные | Perplexity & NVIDIA |
Почему это важно для индустрии
Снижение потребности в токенах и человеческой разметке означает, что создание высококачественных LLM становится значительно дешевле и доступнее. Это открывает путь к более быстрой итерации моделей и снижению барьера для входа в разработку передовых AI-систем. JOLT демонстрирует, что самообучающиеся архитектуры могут быть не только теоретически возможными, но и практически эффективными, превосходя многие существующие методы по соотношению цена/качество.
Источник: Towards AI pub ↗