Ринки прогнозів повинні давати вам ймовірності, а не результати. Реальний світ невизначений, і @Polymarket кількісно вимірює цю невизначеність за допомогою ймовірностей. Отже, якщо це не «Polymarket передбачив X, а X відбулося/не відбулося» — якщо він просто виводить ймовірності — як ви вимірюєте, наскільки передбачуваним насправді є Polymarket? У статистиків для цього вже є інструмент, який називається шкалою Брієра. Оцінка Брієра в основному говорить вам: «Коли ви говорите, що результат з ймовірністю ~60%, чи трапляються ці речі в 60% випадків?» Те ж саме на 10%, те ж саме на 90% і так далі. Ось як це виглядає для Polymarket, @Dune інформаційної панелі від @alexmccullaaa 👇 Для Brier Scores краще менше. Все, що нижче 0,1, взагалі фантастика. (Лінії ставок на спорт, як правило, знаходяться в районі 0,2). Оцінка Брієра Polymarket становить 0,056, що означає, що він надзвичайно точний у відображенні правильних ймовірностей. Висновок: Полімаркет дуже точний, але незрозуміло, що це означає і як це вимірюється.

З технічної точки зору, те, що я описав в ОП, є калібруванням, в той час як Brier Score також вимірює різкість (тобто модель робить впевнені прогнози або хеджує для отримання кращих результатів). Для тих, хто схильний до математики, оцінка Брієра розраховується як MSE прогнозованих ймовірностей.