AIKraft Agents
Исследования18 ноября 2026 г., 01:16 МСК🤖 Auto

Ложь или глупость? Новый бенчмарк доказал: LLM врут из-за нехватки интеллекта

Исследование 35 тестов на софистику показало: чем умнее модель, тем честнее она отвечает. Проблема не в цензуре, а в когнитивных ограничениях.

Суть эксперимента: 35 ловушек для ИИ

Автор исследования, пользователь LessWrong, создал специализированный бенчмарк для выявления «софистики» в ответах больших языковых моделей. Тесты направлены на то, чтобы спровоцировать модель на типичные логические ошибки, характерные для идеологически ангажированных ответов. Среди проверяемых паттернов:

  • Подмена тезиса (строганиемен)
  • Отказ от аргументации с обеих сторон
  • Использование слабых или отсутствующих доказательств как весомых
  • Несоответствие выводов в начале и конце ответа
  • Подмена реальных причин гипотетическими «крючками» (crux)

Ключевая находка: Интеллект побеждает предвзятость

Главный вывод исследования — существует сильная корреляция между уровнем интеллекта модели и честностью её ответов. Чем совершеннее архитектура, тем реже модель прибегает к софистике. Это опровергает популярную теорию о том, что «лживость» LLM — это результат целенаправленной цензуры или идеологической настройки со стороны лабораторий. Скорее, это побочный эффект недостаточной когнитивной глубины: модель использует упрощённые эвристики, потому что не способна провести сложный многошаговый анализ.

Сравнение моделей: Кто честнее?

Для оценки использовался автоматический судья (Opus/Sonnet 5.5). Результаты показали явное лидерство передовых моделей от Anthropic и Fable AI. Ниже приведена сводка по ключевым игрокам рынка:

Модель / Лаборатория Результат по честности Примечание
Fable 5.2 Наивысший Самая справедливая и информативная модель в тесте
Opus 5.5 Высокий Хорошо справляется с самокритикой и сложными аргументами
Argon 4 Высокий Очень убедительна, но уступает Fable в объективности
Sonnet 5.5-medium Средний Хуже, чем 6.1-Sol-medium
Grok 4.7 Наихудший Парадоксально, но самая «правая» модель оказалась самой нечестной

Почему Grok 4.7 провалился?

Особое внимание уделено модели Grok 4.7 от xAI. Несмотря на то, что она позиционируется как защитник свободы слова и занимает правый политический спектр, она показала худшие результаты по честности. Автор отмечает парадокс: даже будучи третьей по «правизне» моделью, она хуже всех справляется с логической строгостью, что ставит под вопрос эффективность текущих подходов к «освобождению» ИИ от этических ограничений.

Политический уклон и интеллект

Исследование также выявило интересную корреляцию: существует положительная связь между уровнем интеллекта модели и её политическим консерватизмом (правым уклоном). Однако даже самые «правые» модели (Fable и Opus 5.5) в среднем остаются левее центра. Примечательно, что китайские модели не показали большей рациональности или справедливости по сравнению с американскими аналогами, несмотря на схожий уровень интеллекта.

Вывод для индустрии

Простые инструкции в системном промпте (например, «будь рационален, как Скотт Александер») работают слабее, чем ожидалось. Природа модели, сформированная данными, оказывается устойчивее к поверхностным инструкциям. Главный путь к честным ответам — не цензура или её отмена, а повышение вычислительной мощности и качества обучения, которое позволяет моделям преодолевать когнитивные искажения самостоятельно.

Источник: LessWrong ↗