Comment lire le tableau de bord des performances

Objectif du tableau de bord

Le /performance de PitchCopilot n'est pas une page promotionnelle, mais une page d'enregistrement de recherche. Il place les rapports publiés, les résultats de règlement, les performances de la configuration de base, les scores Brier, les définitions des hits et les versions du modèle sous la même perspective, permettant aux lecteurs de revenir en arrière et de vérifier si le modèle est stable. Pour la recherche quantitative dans le domaine du sport, la performance publique est plus importante que les succès individuels, car n'importe quel modèle peut paraître parfait dans un petit nombre d'événements ou souffrir de bruit à court terme.

La philosophie fondamentale du tableau de bord est la tenue complète des dossiers. Les succès, les échecs, les échantillons non résolus et insuffisants et les changements de version doivent tous être visibles. Ce type de transparence permet aux acteurs du FPL de savoir si certaines conclusions sont crédibles, et permet également aux créateurs d'avoir une base traçable lorsqu'ils les citent. Si vous n'êtes pas familier avec les concepts de base, vous pouvez d'abord lire /guides/market-implied-pricing et /guides/settlement-hit-definitions.

Regardez d'abord l'échantillon, puis le pourcentage

Le pourcentage de réussite est le plus facilement mal interprété. Huit jeux sur dix et cent vingt jeux sur deux cents représentent des niveaux de stabilité complètement différents. Lorsque vous lisez le tableau de bord, examinez d'abord le nombre d'échantillons, la fenêtre de temps et la version du modèle, avant d'examiner le taux de réussite ou les résultats des points virtuels. PitchCopilot séparera les configurations principales des configurations secondaires pour éviter de mélanger différents niveaux de confiance.

Les scores Brier sont utilisés pour mesurer l’étalonnage probabiliste. Si le modèle indique qu'il y a 60 % de chances qu'un événement se produise, le résultat à long terme est-il plus proche de 60 % ? C’est plus nuancé que simplement deviner le bien ou le mal. Les courbes d'étalonnage peuvent révéler si le modèle est trop confiant, trop conservateur ou systématiquement biaisé dans certaines ligues. Si vous souhaitez en savoir plus sur cette partie, vous pouvez lire davantage /guides/brier-calibration.

Configuration de base et points virtuels

Les études de points virtuels dans les tableaux de bord comparent différentes hypothèses de configuration de manière standardisée. Il ne représente pas d'actifs réels, ne promet pas de rendement et ne constitue pas non plus une instruction d'opération. PitchCopilot utilise le concept de pool de fonds virtuel pour permettre de quantifier la confiance, la dispersion et l'exposition au risque du modèle dans chaque événement.

La configuration de base représente généralement une direction de recherche avec des modèles, des données et des différences de prix cohérents ; la configuration secondaire représente un signal mais n'atteint pas nécessairement le seuil principal. Lors de la lecture, ne cherchez pas seulement le nombre le plus élevé, mais demandez-vous : de quelle version provient ce résultat ? Est-ce concentré sur quelques lieues ? A-t-il été affecté par un ou deux résultats extrêmes ? Pour les concepts associés, veuillez vous référer à /guides/core-vs-secondary-config et /guides/asset-weight-allocation.

Révision manuelle et temps de publication

Chaque rapport public est examiné manuellement avant publication. Les administrateurs vérifient les sources des données, la force des conclusions, la présentation juridique, les liens internes et la lisibilité. Ce processus fait du tableau de bord non seulement une pile de résultats de modèle, mais un référentiel de recherche édité et publié. Une fois l'événement réglé, la définition des hits sera appliquée selon les règles préexistantes et ne sera pas modifiée en fonction du résultat.

La version du modèle est également un indice important. Si une mise à niveau modifie les poids, les méthodes d'étalonnage ou les seuils de publication, le tableau de bord permettra aux lecteurs de faire la distinction entre les anciens et les nouveaux échantillons. Vous pouvez voir comment la transparence des versions peut aider à l'évaluation à long terme sur /guides/model-version-transparency.

Trois niveaux d'ordre de lecture

Un ordre à trois niveaux est recommandé pour la lecture des tableaux de bord de performances. Le premier niveau est l'intégrité des données : confirmer le nombre d'échantillons, la plage horaire, si l'événement a été réglé et si les versions du modèle sont cohérentes. Le deuxième niveau est la qualité des résultats : comparaison des configurations de base, des configurations secondaires, des scores du Brier et des fluctuations de points virtuels. Le troisième niveau est la qualité de l'interprétation : revenez au rapport original et vérifiez si les prix implicites du marché, les divergences et les rappels de révision manuelle à ce moment-là peuvent expliquer les résultats.

Lire de cette façon évite deux préjugés courants. La première consiste à considérer uniquement les sommets récents et à considérer les fluctuations à court terme comme des capacités à long terme ; l'autre consiste à examiner uniquement les échecs isolés et à nier la version complète. PitchCopilot espère que les lecteurs prendront l'habitude de rechercher en utilisant la performance publique : chaque numéro doit être replacé dans le contexte d'échantillons, de versions et de méthodes. Si l'étude de points virtuels fonctionne bien sur une certaine période de temps, vérifiez également si elle provient de quelques événements extrêmes ; si le score de Brier s'améliore mais que le taux de réussite est médiocre, cela peut signifier que l'étalonnage des probabilités s'améliore, mais que davantage d'échantillons sont nécessaires pour le tri directionnel.

Les auteurs doivent également éviter de tronquer des chiffres uniques lorsqu’ils font référence à des tableaux de bord. Une meilleure façon de l'écrire est d'indiquer « comment la configuration de base fonctionne sous une certaine version à partir d'une certaine fenêtre » et de joindre un lien vers une page de procédure ou un guide. Cela permet aux lecteurs de vérifier eux-mêmes plutôt que de devoir accepter des résumés de seconde main.

FAQ

Plus le taux de réussite est élevé, mieux c'est ?

incertain. La taille de l’échantillon, les niveaux de confiance, les scores du Brier et les fluctuations des points virtuels doivent tous être examinés ensemble.

Les rapports manqués seront-ils supprimés ?

Ne le fera pas. L’intérêt de rendre publiques les performances est de conserver un enregistrement complet afin que les lecteurs puissent évaluer les limites du modèle.

Puis-je citer le tableau de bord ?

Oui, mais il est recommandé d'inclure un lien /performance et de décrire l'exemple de fenêtre et la version du modèle.

This translation is for convenience only; the Traditional Chinese version prevails.