Что такое "Twitch Plays: AI Interpretability"
Инициатива под названием "Let's Play Interpretability" представляет собой уникальный эксперимент по коллаборативному исследованию архитектуры больших языковых моделей. В центре проекта — модель Bonsai-8B от PrismML, квантованная до 1 бита. Зрители стрима на Twitch выступают в роли соавторов: они выбирают нейроны, предлагают тестовые предложения, проверяют гипотезы и помогают агенту на базе Claude Opus 5.5 строить карту активаций.
Цель — не просто развлечь аудиторию, а создать открытую экосистему для сбора данных. Любой желающий может склонировать репозиторий, запустить своего агента (например, Claude Code или Codex) и отправить Pull Request с результатами интерпретации, минуя стрим. Это позволяет масштабировать исследования за счет сообщества.
Почему именно Bonsai-8B?
Выбор модели обусловлен идеальным балансом между производительностью и доступностью. Bonsai-8B — это производная от Qwen3-8B, упакованная в 1 бит. Она занимает всего 1.15 ГБ на диске, что позволяет запускать её на потребительском оборудовании. Модель содержит 36 слоев и 12 288 нейронов в каждом, что дает в сумме 442 368 нейронов (или 884 736 "полюсов" для анализа).
| Платформа | Скорость (токенов/сек) | Примечание |
|---|---|---|
| Apple M4 Pro | 131 | Быстро для локального запуска |
| NVIDIA RTX 4090 | 368 | Оптимально для исследований |
| iPhone 17 Pro Max | ~44 | Работает даже на смартфоне |
Механика работы и валидация
Процесс интерпретации напоминает решение головоломки. Агент анализирует, на какие стимулы реагирует нейрон (например, "нерв" активирует, а "боль" подавляет), и формулирует гипотезу. Чтобы проверить её, система использует "инверсный решатель" (inverse solver) — оптимизатор, который ищет тексты, вызывающие активацию, не соответствующие описанию. Если такие тексты находятся, гипотеза признается неполной.
Все тесты фиксируются в Git до запуска. Метки (labels) считаются достоверными только если они превосходят "почти совпадающие" негативные примеры. GitHub автоматически пересчитывает результаты перед мержем, а первые PR проверяются человеком. Ошибки и неудачные гипотезы также сохраняются на карте, так как информация об отсутствии связи так же ценна, как и наличие связи.
Зачем это нужно?
Автор проекта, moridinamael, подчеркивает, что интерпретируемость ИИ — это новая наука, в которой нет устоявшихся экспертов. Делая процесс интерактивным и открытым, проект стремится:
- Снизить порог входа для исследователей AI Alignment.
- Найти универсальные паттерны в нейронных сетях, применимые к более крупным моделям.
- Разработать новые инструменты и воркфлоу для автоматической интерпретации.
Участие не требует знаний машинного обучения: в чате достаточно писать команды (например, !ai для общения с агентом или !what для справки), а для серьезного вклада — просто направить AI-агента на репозиторий.
Источник: LessWrong ↗