Come leggere il dashboard delle prestazioni

Scopo della dashboard

/performance di PitchCopilot non è una pagina promozionale, ma una pagina di registrazione della ricerca. Mette i report pubblicati, i risultati degli insediamenti, le prestazioni della configurazione principale, i punteggi Brier, le definizioni dei risultati e le versioni del modello sotto la stessa prospettiva, consentendo ai lettori di tornare indietro e verificare se il modello è stabile. Per la ricerca quantitativa nello sport, la prestazione pubblica è più importante dei successi individuali, perché qualsiasi modello può sembrare perfetto in un numero limitato di eventi o potrebbe soffrire di rumore nel breve termine.

L'etica centrale del dashboard è la completa tenuta dei registri. Risultati positivi, mancati, campioni irrisolti, insufficienti e cambi di versione devono essere tutti visibili. Questo tipo di trasparenza consente ai giocatori della FPL di sapere se determinate conclusioni sono credibili e consente anche ai creatori di avere una base tracciabile quando le citano. Se non hai familiarità con i concetti di base, puoi prima leggere /guides/market-implied-pricing e /guides/settlement-hit-definitions.

Osserva prima il campione, poi la percentuale

La percentuale di successo è molto facilmente fraintesa. Otto giochi su dieci e centoventi su duecento rappresentano livelli di stabilità completamente diversi. Quando leggi la dashboard, osserva innanzitutto il conteggio dei campioni, l'intervallo temporale e la versione del modello, prima di esaminare la percentuale di successo o i risultati dei punti virtuali. PitchCopilot separerà le configurazioni principali dalle configurazioni secondarie per evitare di mescolare diversi livelli di confidenza.

I punteggi Brier vengono utilizzati per misurare la calibrazione probabilistica. Se il modello dice che esiste una probabilità del 60% che si verifichi un evento, il risultato a lungo termine è più vicino al 60%? Questo è più sfumato rispetto al semplice indovinare giusto o sbagliato. Le curve di calibrazione possono rivelare se il modello è troppo sicuro di sé, eccessivamente conservatore o sistematicamente distorto in alcuni campionati. Se vuoi saperne di più su questa parte, puoi leggere ulteriormente /guides/brier-calibration.

Configurazione principale e punti virtuali

Gli studi sui punti virtuali nei dashboard confrontano diversi presupposti di configurazione in modo standardizzato. Non rappresenta beni reali, non promette rendimenti, né costituisce alcuna istruzione operativa. PitchCopilot utilizza il concetto di pool di fondi virtuale per consentire di quantificare la fiducia del modello, la dispersione e l'esposizione al rischio in ciascun evento.

La configurazione principale rappresenta solitamente una direzione di ricerca con modelli, dati e differenze di prezzo coerenti; la configurazione secondaria rappresenta un segnale ma non necessariamente raggiunge la soglia principale. Durante la lettura, non cercare solo il numero più alto, ma chiediti: da quale versione proviene questo risultato? È concentrato in poche leghe? È stato influenzato da uno o due risultati estremi? Per i concetti correlati, fare riferimento a /guides/core-vs-secondary-config e /guides/asset-weight-allocation.

Revisione manuale e tempi di pubblicazione

Ogni rapporto pubblico viene rivisto manualmente prima della pubblicazione. Gli amministratori controllano le fonti dei dati, la forza delle conclusioni, la presentazione legale, i collegamenti interni e la leggibilità. Questo processo rende la dashboard non solo una pila di risultati del modello, ma un archivio di ricerche modificato e pubblicato. Una volta definito l'evento, la definizione del colpo verrà applicata secondo le regole preesistenti e non verrà modificata in base al risultato.

Anche la versione del modello è un indizio importante. Se un aggiornamento modifica pesi, metodi di calibrazione o soglie di rilascio, il dashboard consentirà ai lettori di distinguere tra campioni vecchi e nuovi. Puoi vedere come la trasparenza della versione può aiutare nella valutazione a lungo termine in /guides/model-version-transparency.

Tre livelli di ordine di lettura

Si consiglia un ordine a tre livelli per la lettura dei dashboard delle prestazioni. Il primo livello è l’integrità dei dati: confermare il numero di campioni, l’intervallo di tempo, se l’evento è stato risolto e se le versioni del modello sono coerenti. Il secondo livello è la qualità dei risultati: confronto tra configurazioni principali, configurazioni secondarie, punteggi Brier e fluttuazioni dei punti virtuali. Il terzo livello è la qualità dell'interpretazione: tornare al rapporto originale e verificare se i prezzi impliciti nel mercato, la divergenza e i promemoria di revisione manuale in quel momento possono spiegare i risultati.

Leggere in questo modo evita due pregiudizi comuni. Il primo è guardare solo ai massimi recenti e considerare le fluttuazioni a breve termine come capacità a lungo termine; l'altro è guardare solo i singoli errori e negare l'intera versione. PitchCopilot spera che i lettori creino un'abitudine alla ricerca utilizzando la performance pubblica: ogni numero deve essere ricollocato nel contesto di campioni, versioni e metodi. Se lo studio del punto virtuale funziona bene in un certo periodo di tempo, controlla anche se proviene da alcuni eventi estremi; se il punteggio Brier migliora ma il tasso di successo è mediocre, può significare che la calibrazione della probabilità sta migliorando, ma sono necessari più campioni per l'ordinamento direzionale.

Gli autori dovrebbero inoltre evitare di troncare singoli numeri quando fanno riferimento ai dashboard. Un modo migliore per scriverlo è indicare "come funziona la configurazione di base in una determinata versione in una determinata finestra" e allegare un collegamento a una pagina o guida pratica. Ciò consente ai lettori di ricontrollare da soli invece di dover accettare riassunti di seconda mano.

Domande frequenti

Maggiore è la percentuale di successo, meglio è?

incerto. La dimensione del campione, i livelli di confidenza, i punteggi Brier e le fluttuazioni dei punti virtuali devono essere esaminati insieme.

I rapporti mancati verranno rimossi?

Non. Il vantaggio di rendere pubbliche le prestazioni è quello di mantenere un registro completo in modo che i lettori possano valutare i limiti del modello.

Posso citare il dashboard?

Sì, ma si consiglia di includere un collegamento /performance e descrivere la finestra di esempio e la versione del modello.

This translation is for convenience only; the Traditional Chinese version prevails.