Como ler o painel de desempenho

Objetivo do painel

A /performance do PitchCopilot não é uma página promocional, mas uma página de registro de pesquisa. Ele coloca relatórios publicados, resultados de liquidação, desempenho de configuração principal, pontuações de Brier, definições de acertos e versões de modelo sob a mesma perspectiva, permitindo que os leitores voltem e verifiquem se o modelo é estável. Para pesquisas quantitativas em esportes, o desempenho público é mais importante do que os golpes individuais, porque qualquer modelo pode parecer perfeito em um pequeno número de eventos ou pode sofrer ruído no curto prazo.

O espírito central do painel é a manutenção completa de registros. Acertos, erros, amostras não resolvidas e insuficientes e mudanças de versão precisam estar visíveis. Este tipo de transparência permite que os jogadores da FPL saibam se certas conclusões são credíveis e também permite que os criadores tenham uma base rastreável ao citá-las. Se você não estiver familiarizado com os conceitos básicos, leia primeiro /guides/market-implied-pricing e /guides/settlement-hit-definitions.

Veja primeiro a amostra e depois a porcentagem

A porcentagem de acertos é mais facilmente mal interpretada. Oito em cada dez jogos e cento e vinte em duzentos jogos representam níveis de estabilidade completamente diferentes. Ao ler o painel, observe primeiro a contagem de amostras, a janela de tempo e a versão do modelo, antes de observar a taxa de acerto ou os resultados de pontos virtuais. O PitchCopilot separará as configurações principais das configurações secundárias para evitar misturar diferentes níveis de confiança.

As pontuações de Brier são usadas para medir a calibração probabilística. Se o modelo diz que há 60% de probabilidade de ocorrer um evento, o resultado a longo prazo está mais próximo de 60%? Isso tem mais nuances do que simplesmente adivinhar o certo ou o errado. As curvas de calibração podem revelar se o modelo é excessivamente confiante, excessivamente conservador ou sistematicamente tendencioso em determinadas ligas. Se quiser saber mais sobre esta parte, você pode ler mais /guides/brier-calibration.

Configuração central e pontos virtuais

Estudos de pontos virtuais em dashboards comparam diferentes suposições de configuração de forma padronizada. Não representa ativos reais, não promete retornos, nem é qualquer instrução de operação. O PitchCopilot utiliza o conceito de pool de fundos virtual para permitir quantificar a confiança, a dispersão e a exposição ao risco do modelo em cada evento.

A configuração central geralmente representa uma direção de pesquisa com modelos, dados e diferenças de preços consistentes; a configuração secundária representa um sinal, mas não atinge necessariamente o limite principal. Ao ler, não procure apenas o número mais alto, mas pergunte: De qual versão vem esse resultado? Está concentrado em algumas ligas? Foi afetado por um ou dois resultados extremos? Para conceitos relacionados, consulte /guides/core-vs-secondary-config e /guides/asset-weight-allocation.

Revisão manual e tempo de publicação

Cada relatório público é revisado manualmente antes da publicação. Os administradores verificam as fontes de dados, a força das conclusões, a apresentação legal, os links internos e a legibilidade. Esse processo torna o painel não apenas uma pilha de resultados do modelo, mas um repositório de pesquisas editado e publicado. Quando o evento for liquidado, a definição de acerto será aplicada de acordo com as regras pré-existentes e não será alterada com base no resultado.

A versão do modelo também é uma pista importante. Se uma atualização alterar pesos, métodos de calibração ou limites de liberação, o painel permitirá que os leitores distingam entre amostras antigas e novas. Você pode ver como a transparência da versão pode ajudar na avaliação de longo prazo em /guides/model-version-transparency.

Três níveis de ordem de leitura

Um pedido de três níveis é recomendado para leitura de painéis de desempenho. O primeiro nível é a integridade dos dados: confirmação do número de amostras, intervalo de tempo, se o evento foi resolvido e se as versões do modelo são consistentes. O segundo nível é a qualidade dos resultados: comparação de configurações principais, configurações secundárias, pontuações de Brier e flutuações de pontos virtuais. O terceiro nível é a qualidade da interpretação: volte ao relatório original e verifique se os preços implícitos no mercado, a divergência e os lembretes de revisão manual naquele momento podem explicar os resultados.

Ler dessa forma evita dois preconceitos comuns. Uma delas é olhar apenas para os máximos recentes e considerar as flutuações de curto prazo como capacidades de longo prazo; a outra é olhar apenas para erros únicos e negar a versão inteira. A PitchCopilot espera que os leitores criem o hábito de pesquisar usando a performance pública: cada número deve ser colocado de volta no contexto de amostras, versões e métodos. Se o estudo do ponto virtual tiver um bom desempenho em um determinado período de tempo, verifique também se ele provém de alguns eventos extremos; se a pontuação de Brier melhorar, mas a taxa de acerto for medíocre, isso pode significar que a calibração de probabilidade está melhorando, mas são necessárias mais amostras para a classificação direcional.

Os autores também devem evitar truncar números únicos ao fazer referência a painéis. A melhor maneira de escrevê-lo é declarar "como a configuração principal funciona em uma determinada versão a partir de uma determinada janela" e anexar um link para uma página ou guia de instruções. Isso permite que os leitores verifiquem por conta própria, em vez de aceitar resumos de segunda mão.

Perguntas frequentes

Quanto maior a taxa de acerto, melhor?

incerto. O tamanho da amostra, os níveis de confiança, as pontuações de Brier e as flutuações de pontos virtuais precisam ser analisados ​​em conjunto.

Os relatórios perdidos serão removidos?

Não vai. O valor de tornar público o desempenho é manter um registro completo para que os leitores possam avaliar as limitações do modelo.

Posso citar o painel?

Sim, mas é recomendado incluir um link /performance e descrever a janela de amostra e a versão do modelo.

This translation is for convenience only; the Traditional Chinese version prevails.