Рынки предсказаний должны давать вам вероятности, а не результаты. Реальный мир неопределенен, и @Polymarket количественно оценивает эту неопределенность с помощью вероятностей. Так что если это не "Polymarket предсказал X, и X произошло/не произошло" — если он просто выводит вероятности — как вы измеряете, насколько предсказуем Polymarket на самом деле? У статистиков уже есть инструмент для этого, называемый Brier Score. Brier Scores в основном говорят вам: "когда вы говорите, что результат имеет вероятность ~60% произойти, происходят ли эти вещи 60% времени?" То же самое для 10%, то же самое для 90% и так далее. Вот как это выглядит для Polymarket, @Dune dashboard от @alexmccullaaa 👇 Для Brier Scores меньше — лучше. Все, что ниже 0.1, обычно фантастично. (Линии спортивных ставок, как правило, около 0.2). Brier Score Polymarket составляет 0.056, что означает, что он чрезвычайно точен в выявлении правильных вероятностей. Вывод: Polymarket очень точен, но это тонкий момент, что это значит и как это измеряется.

Дополнение -- технически то, что я описал в OP, это калибровка, в то время как Brier Score также измеряет четкость (т.е. делает ли модель уверенные прогнозы или страхуется, чтобы получить лучшие оценки). Для математически настроенных, Brier Score рассчитывается как MSE предсказанных вероятностей.