Cara membaca dashboard kinerja

Tujuan Dasbor

/kinerja PitchCopilot bukanlah halaman promosi, tetapi halaman catatan penelitian. Ini menempatkan laporan yang diterbitkan, hasil penyelesaian, kinerja konfigurasi inti, skor Brier, definisi hit, dan versi model dalam perspektif yang sama, memungkinkan pembaca untuk kembali dan memeriksa apakah model tersebut stabil. Untuk penelitian kuantitatif di bidang olahraga, performa publik lebih penting daripada pukulan individu, karena model apa pun mungkin terlihat sempurna dalam sejumlah kecil event, atau mungkin mengalami gangguan dalam jangka pendek.

Etos inti dari dasbor adalah pencatatan yang lengkap. Hit, miss, sampel yang belum terselesaikan, sampel yang tidak mencukupi, dan peralihan versi semuanya harus terlihat. Transparansi semacam ini memungkinkan pemain FPL mengetahui apakah kesimpulan tertentu kredibel, dan juga memungkinkan pembuat konten memiliki dasar yang dapat dilacak saat mengutipnya. Jika Anda belum memahami konsep dasarnya, Anda dapat membaca /guides/market-implied-pricing dan /guides/settlement-hit-definitions terlebih dahulu.

Lihat sampelnya dulu, baru persentasenya

Persentase hit paling mudah disalahartikan. Delapan dari sepuluh permainan dan seratus dua puluh dari dua ratus permainan mewakili tingkat stabilitas yang sangat berbeda. Saat membaca dasbor, lihat jumlah sampel, jangka waktu, dan versi model terlebih dahulu, sebelum melihat rasio hit atau hasil poin virtual. PitchCopilot akan memisahkan konfigurasi inti dari konfigurasi sekunder untuk menghindari pencampuran tingkat kepercayaan yang berbeda.

Skor Brier digunakan untuk mengukur kalibrasi probabilistik. Jika model menyatakan ada peluang 60% terjadinya suatu peristiwa, apakah hasil jangka panjangnya mendekati 60%? Ini lebih bernuansa daripada sekedar menebak benar atau salah. Kurva kalibrasi dapat mengungkapkan apakah model tersebut terlalu percaya diri, terlalu konservatif, atau bias secara sistematis pada kelompok tertentu. Jika Anda ingin mempelajari lebih lanjut bagian ini, Anda dapat membaca lebih lanjut /guides/brier-calibration.

Konfigurasi inti dan titik virtual

Studi titik virtual di dasbor membandingkan asumsi konfigurasi yang berbeda dengan cara yang terstandarisasi. Itu tidak mewakili aset nyata, tidak menjanjikan pengembalian, juga bukan instruksi operasi apa pun. PitchCopilot menggunakan konsep kumpulan dana virtual untuk memungkinkan keyakinan, penyebaran, dan eksposur risiko model di setiap peristiwa diukur.

Konfigurasi inti biasanya mewakili arah penelitian dengan model, data, dan perbedaan harga yang konsisten; konfigurasi sekunder mewakili sinyal tetapi tidak harus mencapai ambang batas utama. Saat membaca, jangan hanya mencari angka tertinggi saja, tapi tanyakan: Dari versi manakah hasil ini berasal? Apakah terkonsentrasi di beberapa liga? Apakah hal ini dipengaruhi oleh satu atau dua akibat ekstrem? Untuk konsep terkait, lihat /guides/core-vs-secondary-config dan /guides/asset-weight-allocation.

Tinjauan manual dan waktu rilis

Setiap laporan publik ditinjau secara manual sebelum dipublikasikan. Administrator memeriksa sumber data, kekuatan kesimpulan, presentasi hukum, tautan internal, dan keterbacaan. Proses ini menjadikan dasbor bukan sekadar tumpukan keluaran model, namun juga gudang penelitian yang telah diedit dan dipublikasikan. Ketika acara tersebut diselesaikan, definisi pukulan akan diterapkan sesuai dengan aturan yang sudah ada sebelumnya dan tidak akan diubah berdasarkan hasilnya.

Versi model juga merupakan petunjuk penting. Jika pemutakhiran mengubah bobot, metode kalibrasi, atau ambang pelepasan, dasbor akan memungkinkan pembaca membedakan antara sampel lama dan baru. Anda dapat melihat bagaimana transparansi versi dapat membantu evaluasi jangka panjang di /guides/model-version-transparency.

Tiga tingkat urutan membaca

Urutan tiga tingkat direkomendasikan untuk membaca dasbor kinerja. Tingkat pertama adalah integritas data: mengonfirmasi jumlah sampel, rentang waktu, apakah peristiwa telah diselesaikan, dan apakah versi model konsisten. Tingkat kedua adalah kualitas hasil: membandingkan konfigurasi inti, konfigurasi sekunder, skor Brier, dan fluktuasi titik virtual. Tingkat ketiga adalah kualitas interpretasi: kembali ke laporan asli dan periksa apakah penetapan harga yang tersirat di pasar, Divergensi, dan pengingat tinjauan manual pada saat itu dapat menjelaskan hasilnya.

Membaca dengan cara ini menghindari dua bias umum. Salah satunya adalah dengan hanya melihat nilai tertinggi baru-baru ini dan menganggap fluktuasi jangka pendek sebagai kemampuan jangka panjang; yang lainnya adalah hanya melihat satu kesalahan dan menyangkal keseluruhan versi. PitchCopilot berharap pembaca membentuk kebiasaan meneliti dengan menggunakan kinerja publik: setiap angka harus dimasukkan kembali ke dalam konteks sampel, versi, dan metode. Jika studi titik virtual bekerja dengan baik dalam jangka waktu tertentu, periksa juga apakah studi titik tersebut berasal dari beberapa peristiwa ekstrem; jika skor Brier meningkat tetapi tingkat keberhasilannya biasa-biasa saja, ini mungkin berarti kalibrasi probabilitas menjadi lebih baik, tetapi diperlukan lebih banyak sampel untuk penyortiran terarah.

Penulis juga harus menghindari pemotongan angka tunggal saat mereferensikan dasbor. Cara yang lebih baik untuk menulisnya adalah dengan menyatakan "bagaimana kinerja konfigurasi inti pada versi tertentu pada jendela tertentu" dan lampirkan tautan ke halaman atau panduan petunjuk. Hal ini memungkinkan pembaca untuk memeriksa kembali sendiri daripada harus menerima ringkasan bekas.

Pertanyaan Umum

Apakah semakin tinggi hit rate-nya, semakin baik?

tidak pasti. Ukuran sampel, tingkat kepercayaan, skor Brier, dan fluktuasi poin virtual semuanya perlu dipertimbangkan secara bersamaan.

Apakah laporan yang terlewat akan dihapus?

Tidak akan. Manfaat mempublikasikan kinerja adalah untuk menyimpan catatan lengkap sehingga pembaca dapat mengevaluasi keterbatasan model.

Bisakah saya mengutip dasbor?

Ya, tetapi disarankan untuk menyertakan tautan /kinerja dan menjelaskan jendela contoh dan versi model.

This translation is for convenience only; the Traditional Chinese version prevails.