Regole di regolamento e definizioni di successo

Perché dobbiamo prima definirlo?

Se un rapporto quantitativo sportivo non prevede regole di liquidazione ex ante, può facilmente diventare in seguito un’interpretazione arbitraria. PitchCopilot confermerà la definizione di successo di ciascuna configurazione principale e configurazione secondaria prima del rilascio e si stabilirà in base alle regole dopo la partita. Ciò consente di verificare la performance del pubblico e fa anche sapere ai lettori che i tassi di successo non vengono semplicemente riscritti dopo il fatto.

Le regole di regolamento includono fonti dei risultati, intervalli di tempo, condizioni valide, rinvio o cancellazione di eventi e metodi statistici a diversi livelli di configurazione. Se hai appena iniziato a leggere, ti consigliamo di leggere prima /guides/reading-performance-dashboard e poi utilizzare questo articolo per comprendere i numeri di /performance.

Come determinare il successo

Il risultato non è un vago "la direzione è più o meno la stessa". Se viene segnalato che la configurazione principale corrisponde a un determinato risultato della partita, intervallo di goal o direzione della squadra, durante la liquidazione verrà utilizzato un controllo predefinito. Se l’evento viene annullato, la fonte dei dati è anomala o il risultato non può essere confermato, la piattaforma dovrebbe contrassegnarlo come non risolto o escluso invece di classificarlo forzatamente.

Il processo di pubblicazione della revisione manuale di PitchCopilot controlla queste definizioni prima che il rapporto venga pubblicato. Gli amministratori devono confermare che le dichiarazioni prodotte dal modello possano essere convertite in voci fatturabili ed evitare di utilizzare descrizioni eccessivamente vaghe. Questo è il motivo per cui il rapporto distingue tra configurazioni principali, configurazioni secondarie e osservazioni: non tutte le informazioni sono adatte per una soluzione.

Esempi, finestre e versioni

Quando leggi il tasso di successo, guarda anche il numero di campioni, la finestra temporale e la versione del modello. I tassi di successo a breve termine sono facilmente influenzati da risultati estremi; i campioni a lungo termine riflettono maggiormente la qualità della calibrazione. Se sono presenti modifiche sostanziali alla versione, i vecchi campioni e i nuovi campioni devono essere interpretati separatamente. Ulteriori letture sono disponibili su /guides/model-version-transparency.

I punti Brier e la percentuale di field goal si completano a vicenda. Il tasso di successo risponde "se la definizione è soddisfatta" e il punteggio Brier risponde "se la confidenza della probabilità è appropriata". Se il modello presenta molti riscontri con confidenza bassa ma ha prestazioni scarse negli intervalli con confidenza alta, significa che potrebbe essere necessario modificare la classificazione del modello. Fare riferimento a /guides/brier-calibration per questa parte.

Come liquidare i punti virtuali

Gli studi sui punti virtuali convertono diverse configurazioni in unità standardizzate, facilitando il confronto delle prestazioni a lungo termine. Non rappresenta patrimonio immobiliare e non costituisce alcuna promessa di reddito. Durante la liquidazione, il sistema aggiornerà il record del pool di fondi virtuali in base al livello di allocazione, al peso e alle regole precedenti e presenterà i risultati nella performance pubblica.

Il valore di questo approccio è quello di consentire ai lettori di vedere se il modello può mantenere la coerenza tra rischio e fiducia. Se la configurazione principale fluttua troppo a lungo termine, o la configurazione di seconda scelta è più stabile, il team deve tornare alla metodologia per verificare il peso e la soglia di rilascio.

Come affrontare le situazioni grigie

Situazioni grigie si verificano spesso negli eventi sportivi, come il rinvio delle partite, la sospensione anticipata, le correzioni ufficiali post-partita, le differenze di orario nelle fonti dei dati o importanti cambiamenti di formazione dopo la pubblicazione del rapporto. Il principio di PitchCopilot è quello di affrontare le regole in anticipo, piuttosto che cambiarle a causa di risultati favorevoli o sfavorevoli. Se la regola non può coprirlo, dovrebbe essere contrassegnato e spiegato per evitare di inserire campioni incerti nel tasso di successo.

La revisione manuale verifica inoltre se gli estratti conto sono liquidabili prima della pubblicazione. Dichiarazioni come "potrebbe giocare a tutto campo" possono servire da contesto, ma per passare alla prestazione devono essere tradotte in chiare aree di goal o definizioni di configurazione. Ciò mantiene il rapporto leggibile e ispezionabile.

I lettori dovrebbero anche essere consapevoli delle esclusioni dei campioni quando visualizzano i dati sulle prestazioni. Le esclusioni non significano necessariamente risultati nascosti, a volte perché le condizioni dell'evento non soddisfano più le ipotesi al momento della pubblicazione. Le piattaforme affidabili dovrebbero indicare chiaramente i motivi delle esclusioni e assegnare i rispettivi posti a risultati positivi, mancati e mancati. Questo tipo di trasparenza è più importante del semplice perseguimento di un buon tasso di successo.

Promemoria di lettura aggiuntivo

Le regole di regolamento consentono inoltre alle squadre di imparare. Se un certo tipo di configurazione cade spesso in situazioni grigie, significa che la dichiarazione di rilascio potrebbe essere troppo vaga; se ci sono troppi campioni esclusi di un certo tipo, significa che è necessario migliorare la pipeline dei dati o la selezione degli eventi. La liquidazione non è la fine, ma il punto di partenza per la prossima revisione del metodo.

Ultimo controllo

Una buona abitudine per i lettori è annotare la definizione del proprio successo prima della partita. Confronta la prestazione del pubblico dopo la partita e rispiega il risultato solo se può essere evitato. Questo è anche il luogo in cui la ricerca quantitativa è più controllabile delle revisioni soggettive.

Domande frequenti

Le osservazioni verranno incluse nel tasso di successo?

Di solito no. Gli elementi di osservazione sono promemoria della ricerca e non hanno necessariamente condizioni di risoluzione chiare.

Come affrontare il rinvio dell'evento?

Dovrebbe essere contrassegnato come non definito o in attesa di risultato secondo le regole precedenti e non dovrebbe essere arbitrariamente modificato in "hit or miss".

Perché il tasso di successo dovrebbe essere diviso in core e secondario?

Poiché i livelli di confidenza sono diversi, mescolarli insieme offuscherà la qualità del modello.

This translation is for convenience only; the Traditional Chinese version prevails.