Os mercados de previsão devem dar-lhe probabilidades, não resultados. O mundo real é incerto, e @Polymarket quantifica essa incerteza com probabilidades. Portanto, se não é "Polymarket previu X e X aconteceu/não aconteceu"—se apenas gera probabilidades—como é que se mede quão preditivo o Polymarket realmente é? Os estatísticos já têm uma ferramenta para isso, chamada Brier Score. Os Brier Scores basicamente dizem: "quando você diz que um resultado tem ~60% de probabilidade de acontecer, essas coisas acontecem 60% das vezes?" O mesmo para 10%, o mesmo para 90%, e assim por diante. Aqui está como isso se parece para o Polymarket, painel @Dune por @alexmccullaaa 👇 Para os Brier Scores, quanto menor, melhor. Qualquer coisa abaixo de 0.1 é geralmente fantástica. (As linhas de apostas esportivas tendem a estar em torno de 0.2). O Brier Score do Polymarket é 0.056, o que significa que é extremamente preciso em apresentar probabilidades corretas. Conclusão: O Polymarket é muito preciso, mas é sutil o que isso significa e como é medido.

Adendo--tecnicamente o que descrevi em OP é calibração, enquanto o Brier Score também mede a nitidez (ou seja, o modelo está fazendo previsões confiantes ou está a hedging para obter melhores pontuações). Para os matematicamente inclinados, o Brier Score é calculado como MSE das probabilidades previstas.