Анализ Manifold: почему ранние прогнозы переоценены, а объем торгов не всегда помогает

Систематическая ошибка: «Всё всегда случается»

Анализ данных Manifold показал, что на ранних этапах (3 дня после создания рынка) участники систематически завышают вероятность событий. Средняя величина смещения (predicted YES - actual YES) составляет около 8%. Это означает, что рынок склонен верить, что событие произойдет, даже если базовая вероятность низка. По мере приближения к дате разрешения рынка эта ошибка снижается до 6% (на середине срока) и всего до 1% перед финалом.

Интересно, что распределение вероятностей меняется со временем: в начале массовая концентрация находится вокруг 50%, а ближе к разрешению формируется U-образная кривая с пиками у 0% и 100%. При этом значений в диапазоне [0, 0.1] больше, чем в [0.9, 1.0], что коррелирует с общей базовой вероятностью исхода «YES» на платформе (~36%).

Парадокс объема торгов: больше — не всегда лучше

Ожидание, что больший объем торгов (в мане) повышает точность, подтверждается лишь частично. Исследование показало, что рынки с объемом торгов около 10 000 ман демонстрируют лучшую точность (по баллу Бриера). Однако рынки с еще более высоким объемом (выборы, чемпионаты мира по футболу) показывают худшую или сопоставимую точность по сравнению с «средним» сегментом.

Это может быть связано с высокой неустранимой неопределенностью в таких событиях или присутствием «обычных пользователей» (normies), не обладающих навыками прогнозирования. Ключевой вывод: первые 1 000 ман приносят наибольший прирост точности, а разница между 1 000 и 10 000 ман не столь велика, как кажется.

Долгосрочные прогнозы: информационный шум

Для инвесторов и аналитиков, интересующихся долгосрочным прогнозированием (например, развитие ИИ), данные выглядят сурово. Рынки с горизонтом разрешения в год, созданные несколько дней назад, несут практически нулевую информацию сверх базовой вероятности. Балл навыка Бриера (Brier skill score) для таких рынков на раннем этапе отрицательный или близок к нулю.

Однако долгосрочные события не являются непредсказуемыми «в принципе». По мере накопления информации (ближе к дате разрешения) точность прогнозов на долгосрочных рынках растет, и они начинают превосходить простое использование базовой ставки.

Практическое руководство: как выбрать надежный рынок

Чтобы получить полезную информацию, а не просто «монетку», следует избегать рынков с коротким сроком жизни (7–20 дней) и низким объемом (≤175 ман) — они ведут себя как случайные броски даже перед финалом. Оптимальные параметры для доверия прогнозу:

• Срок жизни: не менее 20 дней от создания до разрешения.
• Объем торгов: от 350 ман и выше.
• Время до разрешения: чем ближе к дате, тем выше доверие к текущей вероятности.

Точность по темам: политика и ИИ

Разные темы показывают разную калибровку. Ниже приведены метрики для топ-10 тем по количеству рынков (данные отсортированы по раннему баллу навыка). Обратите внимание на разрыв между ранней и поздней точностью.

Темы, связанные с ИИ (chatgpt) и прогнозами о прогнозах, показывают умеренную раннюю точность, но значительно улучшаются к моменту разрешения. Политические темы (особенно США и Великобритания) демонстрируют более низкую раннюю эффективность, но к финалу становятся надежными индикаторами.

Источник: LessWrong ↗