Перплексия: новый стандарт для индустрии
OpenAI публикует внутренние данные по снижению перплексии (log-perplexity) на выделенном наборе данных, чтобы стимулировать создание общих стандартов безопасности в индустрии. Якуб Пачоцкий утверждает, что прогресс в обучении «компрессоров» (предикторов) на больших корпусах данных является фундаментом интеллекта. Снижение этой метрики напрямую коррелирует с появлением эмерджентных (возникающих) способностей, которые трудно предсказать заранее.
Эволюция моделей через призму метрики
История развития моделей OpenAI демонстрирует четкую зависимость между значением логарифмической перплексии и качественными скачками в возможностях ИИ. Ниже приведена хронология ключевых достижений:
| Модель | Log-Perplexity | Ключевая способность |
|---|---|---|
| GPT-2 | — | Генерация связных абзацев текста |
| GPT-3 | — | In-context learning (обучение на примерах) |
| GPT-3.5 | ~0.99 | Беглый диалог, основа ChatGPT |
| GPT-4 | ~0.91 | Эффективное использование цепочки рассуждений (CoT) |
| Current (2026) | <0.80 | Прорывы в кибербезопасности и математике |
ИИ как исследователь: угроза ускорения
Особое внимание уделено роли самого ИИ в ускорении прогресса. При достижении перплексии ~0.76 модели начали решать сложные математические задачи, ранее считавшиеся нерешенными. Пачоцкий прогнозирует, что к 2027 году возможно аналогичное «лавинное» ускорение в области алгоритмических исследований предобучения, когда ИИ начнет самостоятельно предлагать фундаментальные улучшения архитектуры.
Предложение по регулированию
Автор статьи предлагает индустрии установить общие «лимиты» на развитие, привязанные к метрике перплексии. Разработчики должны согласовать, на каком уровне (например, в диапазоне 0.68–0.7) необходимо приостановить прогресс до создания новых инструментов мониторинга и аудита безопасности, способных справляться с растущей осознанностью моделей.
Источник: OpenAI ↗
