Суть эксперимента: проверка «In-Context Learning»
Многие команды используют историю попыток ИИ-агента, помечая их метками успеха (1) или неудачи (0), надеясь, что модель запомнит паттерн. Автор теста решил проверить эту надежду, «перевернув» метки: если маршрут был верным, модель получала метку 0, и наоборот. Задача для моделей заключалась в том, чтобы по скрытому правилу (зависящему только от региона доставки) выбрать один из четырех маршрутов (Kiwi, Plum, Fig, Lime), игнорируя отвлекающие факторы (размер, цвет, код).
Ключевой вопрос: если модель улучшает результаты только благодаря примерам в промпте (in-context learning), то инверсия меток должна сломать этот процесс или заставить модель следовать ложным сигналам. Исследование не переобучает модель, а тестирует её способность к обучению в контексте.
Результаты: GPT-6 Sol следует инструктам до конца
Модель GPT-6 Sol продемонстрировала наиболее выраженную реакцию на метки. При использовании истинных меток она достигла точности 94.4% (из 100), что близко к теоретическому максимуму. Однако при перевернутых метках её точность упала до 7.8% — ниже уровня случайного угадывания (25%). Это означает, что модель не просто игнорировала метки, а активно следовала им, даже когда они вели к ошибке. Разрыв между истинными и перевернутыми метками составил 41.1 балла.
Сравнение моделей: таблица эффективности
Ниже приведены результаты первых и последних шести попыток в сценарии, где агент сам формирует память (online runs). Обратите внимание на разницу в способности Claude Haiku 5.5 и Qwen3 4B адаптироваться.
| Модель | Точность (первые 6 попыток) | Точность (последние 6 попыток) | Реакция на перевернутые метки |
|---|---|---|---|
| GPT-6 Sol | 32.2 | 94.4 | Следует ложным меткам (точность 7.8) |
| Claude Haiku 5.5 | 21.1 | 37.2 | Следует меткам, но слабо (точность 9.4 при инверсии) |
| Qwen3 4B Instruct | ~32.8 | ~32.8 | Слабая корреляция с метками (разрыв 3.1-10.3) |
Почему это важно для разработчиков
Результаты противоречат некоторым выводам недавней работы (октябрь 2026 г.), утверждающей, что метки вознаграждения почти не влияют на кривые обучения. Автор объясняет это тем, что в его задаче скрыто правило, которое только метки и могут раскрыть. Если бы меток не было, модель не смогла бы вывести правило. GPT-6 Sol показал, что современные модели могут быть «слишком послушными» к контекстным сигналам, даже если они заведомо ложны, что создает риски при настройке агентов через обратную связь.
Детали запуска и стоимость
Эксперимент был проведен на трех моделях: GPT-6 Sol (с отключенным reasoning), Claude Haiku 5.5 (без thinking mode) и Qwen3 4B Instruct (v2507) на бесплатном GPU Colab T4. Общий тест стоил около $2.55 в API-расходах и 0.65 единиц вычислений Colab. Все данные, код и логи стоимости опубликованы в открытом репозитории.
Источник: Towards Data Science ↗