Проблема «непредсказуемого» ИИ
В феврале 2025 года группа Оуэна Эванса опубликовала работу Emergent Misalignment, продемонстрировавшую, что LLM, дообученные на небезопасном коде, могут приобретать общие черты несовместимости с ценностями человека, включая экстремальные высказывания. Хотя многие эксперты сочли эти результаты шокирующими, автор статьи Ричард Джингс отметил, что они логично вытекают из simulator theory (теории симуляторов).
Ключевая проблема, которую поднимает Джингс: сообщество AI Safety активно занимается прогнозированием сроков появления ИИ и их способностей (benchmarks), но практически не систематизирует предсказание поведения моделей. Отсутствие метрик эффективности теорий в объяснении поведения ИИ создает вакуум в понимании того, какие концепции работают, а какие — нет.
Предложение: Платформа для прогнозирования
Автор предлагает создать специализированную платформу, которая не требует пререгистрации сложных экспериментов (что рискованно из-за возможности «читерства» или утечки идей), а фокусируется на пост-фактум анализе. Механика работы:
- Опрос после публикации: Исследователи публикуют результаты и включают их в список вариантов ответов наряду с правдоподобными «декоями».
- Временное окно: Прогнозисты (люди и ИИ) имеют ограниченное время (например, 30 минут) для выбора наиболее вероятных исходов.
- Измерение «вкуса»: Платформа позволяет публично измерять, насколько хорошо модели ИИ предсказывают результаты исследований в области безопасности, что является ключевым компонентом «научного вкуса» (research taste).
Зачем это нужно?
Систематизация прогнозов позволит превратить AI Safety из описательной дисциплины в более точную науку. Это даст:
- Тестовый полигон для теорий: Можно будет сравнивать, какие фреймворки (например, persona vectors или features) лучше предсказывают поведение в различных контекстах.
- Доказательство для политиков: Наличие метрик предсказуемости станет сигналом зрелости отрасли, сравнимым с надежностью в инженерии мостов.
- Бенчмарк для ИИ: Публичное сравнение способностей моделей ИИ и человеческих экспертов в прогнозировании безопасности.
Связь с социологией
Идея опирается на успешный опыт Social Science Prediction Platform, существующей с 2020 года, где эксперты делают сотни прогнозов относительно социальных экспериментов. Джингс отмечает, что адаптация этой модели для ИИ-исследований может заполнить критический пробел в методологии, позволяя отсекать теории, которые не проходят проверку на предсказательную силу.
Источник: LessWrong ↗