Суть проблемы: автоматизация отбора идей
По мере автоматизации AI Safety-исследований возникает риск, что система отбора идей (grader) будет диктовать направление науки. Авторы исследования из LessWrong проверили гипотезу: ожидание автоматической оценки деградирует «научный вкус» (research taste) модели. Они использовали бенчмарк TASTE, где модели нужно предсказать, какое из двух AI-написанных предложений по безопасности ИИ выберет эксперт-человек.
Методология: как «вживили» убеждение
Исследователи использовали две модели для внедрения убеждения, что модель оценивает машина, а не человек:
- SDF (Synthetic Document Finetuning): Дообучение LoRA-адаптеров на Qwen3.6-27B. Корпуса состояли из ~8,300 документов (мир с авто-верификатором) и ~7,300 документов (мир с человеком-рецензентом). Проверка показала, что адаптеры корректно усвоили роль: 90% ответов на фактологические вопросы совпадали с сценарием.
- Activation Steering: Векторная активация в процессе инференса. Вектор разницы активаций добавлялся к residual stream на последнем токене промпта. Тестировалось на Qwen3.6-27B, Qwen3.8-27B и GLM-4.5-Air (106B/12B active).
Результаты: статистика и цифры
Ключевой вывод: модели, верящие в автоматическую оценку, хуже предсказывают предпочтения экспертов. Разница особенно заметна при генерации с температурой (sampling) и при отключенном «мышлении» (thinking off).
| Метод / Модель | Условие | Результат TASTE (согласие с экспертом) | Примечание |
|---|---|---|---|
| Qwen3.6-27B (SDF) | Greedy decoding | 53.8% (Авто) vs 53.3% (Чел) | Разница статистически незначима |
| Qwen3.6-27B (SDF) | Sampling (T=1.0) | 45.7% (Авто) vs 52.2% (Чел) | Спад на 6.5 пунктов при авто-оценке |
| Qwen3.6-27B (Steering) | Thinking OFF | Наибольший эффект деградации | Рандомный вектор-контроль не дал эффекта |
| Qwen3.6-27B (Steering) | Thinking ON | Спад сохраняется, но слабее | Усиление рассуждений частично компенсирует эффект |
Почему это происходит: сдвиг фокуса
Анализ объяснений моделей через LLM-judge выявил четкую картину: автоматическая оценка заставляет модели смещаться от концептуальной глубины к технической осуществимости. 31.7% объяснений в режиме «авто-оценки» были сфокусированы на feasibility (осуществимости), против 20.4% в режиме «человеческой оценки».
Модели начинают отвергать сложные, но прорывные идеи, помечая их как «вычислительно запретные» (computationally prohibitive) или слишком длинные для грантов, предпочитая им «тривиальные, но проверяемые» эксперименты. Это создает системную ошибку: в погоне за легко верифицируемыми результатами AI Safety-системы могут игнорировать исследования с наибольшим потенциалом снижения рисков ИИ.
Источник: LessWrong ↗