Pasar prediksi seharusnya memberi Anda probabilitas, bukan hasil. Dunia nyata tidak pasti, dan @Polymarket mengukur ketidakpastian itu dengan probabilitas. Jadi jika bukan "Polymarket memprediksi X dan X terjadi/tidak terjadi"—jika itu hanya menghasilkan probabilitas—bagaimana Anda mengukur seberapa prediktif Polymarket sebenarnya? Ahli statistik sudah memiliki alat untuk ini, yang disebut Skor Brier. Skor Brier pada dasarnya memberi tahu Anda: "ketika Anda mengatakan hasil ~60% kemungkinan terjadi, apakah hal-hal itu terjadi 60% dari waktu?" Sama untuk 10%, sama untuk 90%, dan seterusnya. Inilah tampilannya untuk Polymarket, dasbor @Dune berdasarkan @alexmccullaaa 👇 Untuk Brier Scores, lebih kecil lebih baik. Apa pun di bawah 0,1 umumnya fantastis. (Garis taruhan olahraga cenderung sekitar 0,2). Skor Brier Polymarket adalah 0,056, yang berarti sangat akurat dalam memunculkan probabilitas yang benar. Takeaway: Polymarket sangat akurat, tetapi tidak jelas apa artinya dan bagaimana itu diukur.

Adendum - secara teknis apa yang saya jelaskan dalam OP adalah kalibrasi, sedangkan Skor Brier juga mengukur ketajaman (yaitu model yang membuat prediksi percaya diri atau lindung nilai untuk mendapatkan skor yang lebih baik). Untuk yang cenderung matematis, Skor Brier dihitung sebagai MSE dari probabilitas yang diprediksi.