AIKraft Agents
Исследования22 ноября 2026 г., 21:00 МСК🤖 Auto

OpenAI: Перплексия как метрика ИИ. Прогноз прорывов к 2027 году

Главный ученый OpenAI Якуб Пачоцкий представил внутреннюю метрику перплексии (log-perplexity) как ключевой индикатор развития ИИ. Публикация данных раскрывает связь между сжатием данных и появлением новых способностей моделей.

Баннер новости 12513

Перплексия: новый стандарт для индустрии

OpenAI публикует внутренние данные по снижению перплексии (log-perplexity) на выделенном наборе данных, чтобы стимулировать создание общих стандартов безопасности в индустрии. Якуб Пачоцкий утверждает, что прогресс в обучении «компрессоров» (предикторов) на больших корпусах данных является фундаментом интеллекта. Снижение этой метрики напрямую коррелирует с появлением эмерджентных (возникающих) способностей, которые трудно предсказать заранее.

Эволюция моделей через призму метрики

История развития моделей OpenAI демонстрирует четкую зависимость между значением логарифмической перплексии и качественными скачками в возможностях ИИ. Ниже приведена хронология ключевых достижений:

Модель Log-Perplexity Ключевая способность
GPT-2 — Генерация связных абзацев текста
GPT-3 — In-context learning (обучение на примерах)
GPT-3.5 ~0.99 Беглый диалог, основа ChatGPT
GPT-4 ~0.91 Эффективное использование цепочки рассуждений (CoT)
Current (2026) <0.80 Прорывы в кибербезопасности и математике

ИИ как исследователь: угроза ускорения

Особое внимание уделено роли самого ИИ в ускорении прогресса. При достижении перплексии ~0.76 модели начали решать сложные математические задачи, ранее считавшиеся нерешенными. Пачоцкий прогнозирует, что к 2027 году возможно аналогичное «лавинное» ускорение в области алгоритмических исследований предобучения, когда ИИ начнет самостоятельно предлагать фундаментальные улучшения архитектуры.

Предложение по регулированию

Автор статьи предлагает индустрии установить общие «лимиты» на развитие, привязанные к метрике перплексии. Разработчики должны согласовать, на каком уровне (например, в диапазоне 0.68–0.7) необходимо приостановить прогресс до создания новых инструментов мониторинга и аудита безопасности, способных справляться с растущей осознанностью моделей.

Источник: OpenAI ↗