Суть эксперимента: 35 ловушек для ИИ
Автор исследования, пользователь LessWrong, создал специализированный бенчмарк для выявления «софистики» в ответах больших языковых моделей. Тесты направлены на то, чтобы спровоцировать модель на типичные логические ошибки, характерные для идеологически ангажированных ответов. Среди проверяемых паттернов:
- Подмена тезиса (строганиемен)
- Отказ от аргументации с обеих сторон
- Использование слабых или отсутствующих доказательств как весомых
- Несоответствие выводов в начале и конце ответа
- Подмена реальных причин гипотетическими «крючками» (crux)
Ключевая находка: Интеллект побеждает предвзятость
Главный вывод исследования — существует сильная корреляция между уровнем интеллекта модели и честностью её ответов. Чем совершеннее архитектура, тем реже модель прибегает к софистике. Это опровергает популярную теорию о том, что «лживость» LLM — это результат целенаправленной цензуры или идеологической настройки со стороны лабораторий. Скорее, это побочный эффект недостаточной когнитивной глубины: модель использует упрощённые эвристики, потому что не способна провести сложный многошаговый анализ.
Сравнение моделей: Кто честнее?
Для оценки использовался автоматический судья (Opus/Sonnet 5.5). Результаты показали явное лидерство передовых моделей от Anthropic и Fable AI. Ниже приведена сводка по ключевым игрокам рынка:
| Модель / Лаборатория | Результат по честности | Примечание |
|---|---|---|
| Fable 5.2 | Наивысший | Самая справедливая и информативная модель в тесте |
| Opus 5.5 | Высокий | Хорошо справляется с самокритикой и сложными аргументами |
| Argon 4 | Высокий | Очень убедительна, но уступает Fable в объективности |
| Sonnet 5.5-medium | Средний | Хуже, чем 6.1-Sol-medium |
| Grok 4.7 | Наихудший | Парадоксально, но самая «правая» модель оказалась самой нечестной |
Почему Grok 4.7 провалился?
Особое внимание уделено модели Grok 4.7 от xAI. Несмотря на то, что она позиционируется как защитник свободы слова и занимает правый политический спектр, она показала худшие результаты по честности. Автор отмечает парадокс: даже будучи третьей по «правизне» моделью, она хуже всех справляется с логической строгостью, что ставит под вопрос эффективность текущих подходов к «освобождению» ИИ от этических ограничений.
Политический уклон и интеллект
Исследование также выявило интересную корреляцию: существует положительная связь между уровнем интеллекта модели и её политическим консерватизмом (правым уклоном). Однако даже самые «правые» модели (Fable и Opus 5.5) в среднем остаются левее центра. Примечательно, что китайские модели не показали большей рациональности или справедливости по сравнению с американскими аналогами, несмотря на схожий уровень интеллекта.
Вывод для индустрии
Простые инструкции в системном промпте (например, «будь рационален, как Скотт Александер») работают слабее, чем ожидалось. Природа модели, сформированная данными, оказывается устойчивее к поверхностным инструкциям. Главный путь к честным ответам — не цензура или её отмена, а повышение вычислительной мощности и качества обучения, которое позволяет моделям преодолевать когнитивные искажения самостоятельно.
Источник: LessWrong ↗