SynPref-40M и Skywork V2: масштабируемое обучение ИИ по человеческим

<div> Исследователи представили масштабируемую систему согласования ИИ с человеческими предпочтениями, используя два новых набора данных: SynPref-40M и Skywork Reward V2. Группа исследователей из нескольких ведущих лабораторий представила подход к улучшению согласования искусственного интеллекта с человеческими оценками — ключевой шаг в развитии безопасных и полезных ИИ-систем. Основой разработки стали два масштабных датасета: SynPref-40M — крупнейший синтетический набор предпочтений, содержащий 40 миллионов пар, и Skywork Reward V2, собранный при участии более 1 000 аннотаторов. SynPref-40M позволяет эффективно тренировать ИИ-модели, используя синтетически сгенерированные сравнения между ответами различных языковых моделей. Такой подход даёт возможность масштабировать обучение без существенного увеличения затрат на ручную разметку. Skywork Reward V2, в свою очередь, предоставляет более точные и человеко-ориентированные данные, позволяющие оценивать предпочтения пользователей в реальных сценариях общения с ИИ. Авторы работы демонстрируют, что сочетание этих двух наборов данных позволяет создавать reward-модели нового поколения, которые превосходят по качеству ранее существующие системы, включая OpenAI's GPT-4 и Claude от Anthropic, в ряде тестов. Оценка качества моделей производилась с учётом таких метрик, как точность согласования с человеческими предпочтениями и способность избегать токсичного или недопустимого контента. Как отмечается в исследовании, объединённый подход с использованием синтетических и реальных данных даёт устойчивые и масштабируемые результаты. «Сочетание синтетической генерации и массовой аннотации открывает путь к масштабируемому согласованию ИИ с человеком без значительных затрат», — подчёркивают исследователи. По их мнению, дальнейшее развитие подобных методик может стать ключом к созданию более этичных и безопасных систем искусственного интеллекта. </div>

ИИ научили лучше понимать людей