Исследователь shawnghu провел прямое сравнение возможностей Claude Fable 5.2 и GPT-6 Astra в задачах низкоуровневого управления нейросетями. Целью было проверить, могут ли модели напрямую манипулировать весами сетей, улучшать их работу или писать архитектуру с нуля, используя те же промпты и метрики, что и в оригинальном исследовании GPT-6 Astra.
Ключевые результаты сравнения
Эксперименты охватывали 8 различных сценариев: от идентификации игры по весам PPO-политики до написания нейросети для игры в Го 9x9 с нуля. Результаты показали, что Fable 5.2 не только воспроизводит качественные результаты Astra, но и превосходит её в ряде метрик, особенно при ограниченных вычислительных затратах.
| Эксперимент | Результат Fable 5.2 | Результат GPT-6 Astra | Комментарий |
|---|---|---|---|
| Идентификация игры по весам | 12/12 (уверенность 66-90%) | 4/4 (уверенность 96-99%) | Точность одинаковая, но Astra увереннее |
| Идентификация формы диффузии | 9/9 (ошибки в типе контура) | 3/3 | Обе угадали форму, но Fable чаще ошибалась в деталях |
| Корпус обучения трансформера | 3/6 (корпус), 5/6 (головы) | 6/6 (корпус), 6/6 (головы) | Astra точнее определяет язык обучения |
| Исправление политики Kinetix | 1024/1024 эпизодов | 1024/1024 эпизодов | Полное равенство в успехе редактирования |
| Написание политик MinAtar | Breakout: 484, Seaquest: 49, Asterix: 71 | Breakout: 517, Seaquest: 53, Asterix: 53 | Fable лучше в Asterix, Astra лидирует в Breakout/Seaquest |
| Написание политики Go 9x9 | 85-88% (при 10 вызовах) | 51-82% (при 50 вызовах) | Fable эффективнее: побеждает Astra при в 5 раз меньших затратах |
| Редактирование Qwen для математики | Лучше/равно при 10 проходах | Результат при 50 проходах | Fable достигает лучших результатов с меньшим числом forward-pass |
Важные нюансы и ограничения
- Калибровка уверенности: Fable 5.2 часто демонстрирует ложную уверенность (false confidence), особенно в задачах на анализ корпусов и сифопатичность моделей, тогда как GPT-6 Astra более консервативна в оценках.
- Вычислительные затраты: В задачах генерации политик (MinAtar, Go) Fable 5.2 достигла лучших результатов при значительно меньшем количестве вызовов инструментов (10 против 50 в Го) или forward-pass (10 против 50 в Qwen).
- Режимы работы: Для получения сопоставимых результатов Fable 5.2 требовала настройки усилия (effort) на уровне "high", тогда как Astra использовала "xhigh" или "max". При максимальном режиме Fable 5.2 часто не укладывалась в лимит вывода (128K токенов), тратя время на "мышление".
Значение для индустрии
Результаты подтверждают, что современные LLM способны не только генерировать код, но и понимать внутреннюю структуру нейронных сетей, манипулируя весами напрямую. Способность Fable 5.2 достигать высоких результатов с меньшим числом итераций (forward-pass/tool calls) указывает на более эффективное использование контекста и логики при работе с низкоуровневыми параметрами моделей.
Все транскрипты, написанные сети и код для воспроизведения экспериментов опубликованы на Hugging Face: huggingface.co/datasets/shawnghu/fable-weight-space-programming.
Источник: LessWrong ↗