Суть теста: стиль важнее фактов
В отличие от традиционных бенчмарков, проверяющих способность модели решать задачи, AA-PersonalityBench фокусируется на коммуникации. Инструмент измеряет 30 парных черт личности, которые агрегируются в 8 ключевых индексов: Expressiveness (выразительность), Organization (структурированность), Informativeness (информативность), Transparency (прозрачность), Warmth (теплота), Conviction (уверенность), Imagination (воображение) и Slop (заполнительный шум).
Методология основана на сравнении ответов двух моделей на один и тот же промпт с помощью панели LLM-судей. Используется рейтинг Брэдли-Терри (Elo), где модели получают баллы за то, чей ответ больше соответствует заданной черте, независимо от её полезности. Всего проведено 900 сравнений (по 30 на каждую из 30 черт).
Лидеры по стилю и «человечности»
Рейтинг percentile (от 1 до 100) показывает, как модели ранжируются друг относительно друга. Лидеры в категории выразительности и теплоты — модели семейства Claude и GPT-6.1. Ниже приведена выборка топ-10 моделей по совокупности индексов:
| Модель | Ключевая характеристика |
|---|---|
| Claude Opus 5.5 (max with fallback) | Высокая выразительность, литературность |
| Claude Fable 5.1 (max with fallback) | Креативность, нарративность |
| GPT-6 Astra (max) | Баланс точности и стиля |
| Gemini 4 Argon (high) | Структурированность |
| Muse Wonder (max) | Эмпатия, теплота |
| GPT-6.1 Sol (max) | Уверенность, прямота |
| Grok 4.7 (xhigh) | Сарказм, неформальный стиль |
| MiMo-V2.6-Pro | — |
| GLM-5.3 (max) | — |
Что измеряют индексы?
Каждый из 8 индексов формируется как среднее значение z-оценок входящих в него черт. Например, индекс Expressiveness (выразительность) складывается из 5 подчерт: лексическое разнообразие, красноречие, литературность, естественность звучания и использование метафор. Индекс Slop (заполнительный шум) оценивает использование воды и общих фраз, что является негативным маркером.
Пример работы: «Странные социальные нормы»
Для демонстрации стиля Artificial Analysis привели пример вопроса: «Какая самая странная социальная норма, которую мы все принимаем?»
Ответ модели Claude Opus 5.5 получил высокие оценки за юмор и эрудицию. Модель не просто перечислила нормы, а привела социологический термин «гражданское невнимание» (civil inattention), ссылку на эксперимент Candid Camera 1962 года и ироничные примеры (свечи на торте, тайна зарплат). Такой ответ был оценен судьями как более eloquent (красноречивый) и humorous (юмористический) по сравнению с более сухими ответами других моделей.
Почему это важно?
AA-PersonalityBench закрывает пробел в оценке UX-качества ИИ. Для разработчиков приложений это критически важно: модель может быть точной, но если её стиль слишком формальный, сиплообразный или сиреннический (sycophantic), пользовательский опыт пострадает. Тест позволяет выбрать модель не по гигафлопсам, а по тому, как она «звучит» в диалоге.
Источник: Artificialanalysis ↗