AlienBench: Open-weights модели креативнее GPT-6 в генерации

AlienBench: Open-weights модели креативнее GPT-6 в генерации инопланетных существ

Новый бенчмарк AlienBench оценивает структурное новаторство LLM. Открытые модели превзошли проприетарные аналоги, а все ответы LLM оказались креативнее людей.

AIРедакция AIKraftавто-обзор источников

2 мин чтения·источник: arXiv cs.CL

Проблема оценки креативности

Оценка креативности языковых моделей традиционно опирается на субъективные рейтинги людей или других LLM-судей. Главная проблема таких подходов — отсутствие фиксированной точки отсчета: что именно считается «новым» или «отклонением от нормы»? Исследователи Jonas Oppenlaender и Johanna M. Silvennoinen решили эту задачу, адаптировав психологический тест «структурированного воображения» для ИИ. В оригинальном тесте люди описывают инопланетное существо, и степень его отличия от земных биологических паттернов (симметрия, конечности) служит мерой креативности.

Методология AlienBench

В новом бенчмарке модели генерируют описания инопланетных существ. Специальная панель из трех LLM-судей извлекает из текста 10 биологических признаков и классифицирует их как «земные» или «отклонение». Итоговый балл описания варьируется от 0 до 10. Каждая модель проходит 6 сценариев (prompt conditions) с разными условиями среды, генерируя по 30 описаний на каждый (всего 180). Финальный счет — среднее значение по всем описаниям.

Результаты: Open-weights против Frontier

Исследование охватило 10 языковых моделей, от передовых проприетарных до открытых. Оказалось, что открытые модели (open-weight) демонстрируют более высокую структурную новизну, чем закрытые аналоги. Лидером стал Ministral 3 14B, а аутсайдером — GPT-6 Luna.

Модель	Тип	Средний балл (0-10)
Ministral 3 14B	Open-weight	6.55
Средний балл Open-weight	Open-weight	5.40
Средний балл Проприетарных	Proprietary	4.58
GPT-6 Luna	Proprietary	3.28

ИИ креативнее людей

Удивительный вывод исследования: при базовом сценарии (baseline prompt) все протестированные модели отклонялись от земных биологических паттернов чаще, чем 100 человеческих участников. Это указывает на то, что текущие LLM способны генерировать более радикально новые концепции, чем люди, когда речь идет о структурном отклонении от известных шаблонов.

Открытость данных

Авторы опубликовали все промпты, сгенерированные тексты, оценки судей и итоговые баллы, что позволяет исследователям независимо верифицировать результаты и использовать AlienBench для дальнейших тестов креативности ИИ.

Источник: arXiv cs.CL ↗