I mercati delle previsioni dovrebbero darti probabilità, non risultati. Il mondo reale è incerto, e @Polymarket quantifica quell'incertezza con probabilità. Quindi, se non è "Polymarket ha previsto X e X è successo/non è successo"—se semplicemente restituisce probabilità—come misuri quanto sia predittivo Polymarket? Gli statistici hanno già uno strumento per questo, chiamato Brier Score. I Brier Scores ti dicono fondamentalmente: "quando dici che un risultato ha circa il 60% di probabilità di accadere, quelle cose accadono realmente il 60% delle volte?" Lo stesso vale per il 10%, lo stesso per il 90%, e così via. Ecco come appare per Polymarket, dashboard @Dune di @alexmccullaaa 👇 Per i Brier Scores, più è piccolo, meglio è. Qualsiasi cosa sotto 0.1 è generalmente fantastica. (Le linee di scommesse sportive tendono a essere intorno a 0.2). Il Brier Score di Polymarket è 0.056, il che significa che è estremamente accurato nel fornire probabilità corrette. Conclusione: Polymarket è molto accurato, ma è sottile ciò che significa e come viene misurato.

Addendum--tecnicamente ciò che ho descritto in OP è calibrazione, mentre il Brier Score misura anche la precisione (cioè, il modello sta facendo previsioni sicure o sta cercando di ottenere punteggi migliori). Per i matematici, il Brier Score è calcolato come MSE delle probabilità previste.