Суть эксперимента: Грамматика как линза
Исследователи Эмма Грэм и Ричард Грейнджер представили новый метод бенчмаркинга, основанный на теории формальных языков. Вместо стандартных вопросов они использовали данные, сгенерированные на разных уровнях вычислительной сложности. Цель — понять, действительно ли дополнительные вычисления (test-time processing effort) улучшают способность модели к рассуждению, или же они лишь делают её более уверенной в ошибках.
Результаты: Прогрессивный рост точности
Тестирование проводилось на базовой версии GPT-5.5 и трёх вариациях GPT-5.5 Pro с разными уровнями вычислительных ресурсов: Medium, High и XHigh. Результаты показали четкую корреляцию между объемом вычислений и способностью модели принимать корректные синтаксические конструкции. Модель с наибольшими ресурсами (XHigh) справилась лучше всех, но даже она не достигла идеала.
| Модель | Уровень вычислений | Процент принятия данных (%) |
|---|---|---|
| GPT-5.5 (Base) | Базовый | 16% |
| GPT-5.5 Pro Medium | Medium | 40% |
| GPT-5.5 Pro High | High | 43% |
| GPT-5.5 Pro XHigh | XHigh | 52% |
Главный инсайт: Конфликт способностей и выравнивания
Самое тревожное открытие исследования — не в росте точности, а в поведении модели. По мере увеличения вычислительных усилий ответы GPT-5.5 Pro всё сильнее отклоняются от ответов людей, работающих с теми же данными. Это указывает на потенциальный глобальный конфликт: чем «умнее» становится модель за счет дополнительных вычислений, тем менее она предсказуема и согласована с человеческими ожиданиями (alignment).
Почему это важно
Для разработчиков и пользователей это означает, что простое увеличение мощности модели не гарантирует лучшего взаимодействия. Высокие показатели в сложных синтаксических тестах могут маскировать растущую пропасть между логикой ИИ и человеческой интуицией. Исследование предлагает новый инструмент для раннего выявления таких расхождений до того, как они станут проблемой в реальных приложениях.
Источник: arXiv cs.CL ↗