Regras de liquidação e definições de acertos

Por que precisamos defini-lo primeiro?

Se um relatório quantitativo desportivo não tiver regras de resolução ex-ante, pode facilmente tornar-se posteriormente uma interpretação arbitrária. O PitchCopilot confirmará a definição de acerto de cada configuração principal e secundária antes do lançamento e liquidará de acordo com as regras após o jogo. Isto permite que o desempenho público seja verificado e também permite que os leitores saibam que as taxas de acerto não são simplesmente reescritas após o fato.

As regras de liquidação incluem fontes de resultados, intervalos de tempo, condições válidas, adiamento ou cancelamento de eventos e métodos estatísticos em diferentes níveis de configuração. Se você está apenas começando a ler, é recomendável ler /guides/reading-performance-dashboard primeiro e, em seguida, usar este artigo para entender os números de /performance.

Como determinar o acerto

O hit não é um vago “a direção é quase a mesma”. Se for informado que a configuração principal corresponde a um determinado resultado da partida, intervalo de gols ou direção do time, uma verificação pré-definida será usada durante a liquidação. Se o evento for cancelado, a fonte de dados for anormal ou o resultado não puder ser confirmado, a plataforma deverá marcá-lo como não resolvido ou excluído em vez de classificá-lo à força.

O processo de publicação de revisão manual do PitchCopilot verifica essas definições antes de o relatório ser publicado. Os administradores precisam confirmar se os extratos gerados pelo modelo podem ser convertidos em itens faturáveis ​​e evitar o uso de descrições excessivamente vagas. É por isso que o relatório distingue entre configurações centrais, configurações secundárias e observações: nem todas as informações são adequadas para liquidação.

Amostras, janelas e versões

Ao ler a taxa de acerto, observe também o número de amostras, a janela de tempo e a versão do modelo. As taxas de acerto de curto prazo são facilmente afetadas por resultados extremos; amostras de longo prazo refletem melhor a qualidade da calibração. Se houver grandes alterações na versão, os exemplos antigos e os novos deverão ser interpretados separadamente. Leitura adicional está disponível em /guides/model-version-transparency.

Os pontos Brier e a porcentagem de arremessos se complementam. A taxa de acerto responde “se a definição foi atendida” e a pontuação de Brier responde “se a confiança da probabilidade é apropriada”. Se o modelo tiver muitos acertos de baixa confiança, mas tiver um desempenho ruim no intervalo de alta confiança, isso significa que a classificação do modelo pode precisar ser ajustada. Consulte /guides/brier-calibration para esta peça.

Como liquidar pontos virtuais

Os estudos de pontos virtuais convertem diferentes configurações em unidades padronizadas, facilitando a comparação do desempenho a longo prazo. Não representa bens reais e não constitui qualquer promessa de rendimento. Durante a liquidação, o sistema atualizará o registro do fundo virtual de acordo com o nível de alocação, peso e regras prévias, e apresentará os resultados no desempenho público.

O valor desta abordagem é permitir que os leitores vejam se o modelo consegue manter a consistência entre risco e confiança. Se a configuração principal flutuar muito por um longo período, ou a configuração de segunda escolha for mais estável, a equipe precisará retornar à metodologia para verificar o peso e o limite de liberação.

Como lidar com situações cinzentas

Situações cinzentas ocorrem frequentemente em eventos esportivos, como adiamento de jogos, suspensão antecipada, correções oficiais pós-jogo, diferenças de horário nas fontes de dados ou grandes mudanças na escalação após a divulgação do relatório. O princípio do PitchCopilot é lidar com as regras de antemão, ao invés de alterá-las devido a resultados favoráveis ​​ou desfavoráveis. Se a regra não puder cobrir isso, ela deverá ser marcada e explicada para evitar inserir amostras incertas na taxa de acerto.

A revisão manual também verifica se as demonstrações são liquidáveis ​​antes da publicação. Narrativas como “poderia jogar de forma muito aberta” podem servir como contexto, mas para passarem ao desempenho, devem ser traduzidas em áreas claras de pontuação ou definições de configuração. Isso mantém o relatório legível e inspecionável.

Os leitores também devem estar cientes das exclusões de amostras ao ver os números de desempenho. As exclusões não significam necessariamente resultados ocultos, por vezes porque as condições do evento já não satisfazem os pressupostos no momento da publicação. As plataformas confiáveis ​​devem indicar claramente os motivos das exclusões e atribuir acertos, erros e não liquidação aos seus respectivos locais. Esse tipo de transparência é mais importante do que simplesmente buscar uma bela taxa de acerto.

Lembrete de leitura adicional

As regras de liquidação também permitem que as equipes aprendam. Se um certo tipo de configuração frequentemente cai em situações cinzentas, isso significa que a declaração de lançamento pode ser muito vaga; se houver muitas amostras excluídas de um determinado tipo, significa que o pipeline de dados ou a seleção de eventos precisam ser melhorados. A liquidação não é o fim, mas o ponto de partida para a próxima revisão do método.

Última verificação

O melhor hábito para os leitores é anotar sua própria definição de acerto antes do jogo. Compare o desempenho do público após o jogo e explique novamente apenas quando o resultado puder ser evitado. É também aqui que a pesquisa quantitativa é mais verificável do que as revisões subjetivas.

Perguntas frequentes

As observações serão incluídas na taxa de acerto?

Geralmente não. Os itens de observação são lembretes de pesquisa e não possuem necessariamente condições de liquidação claras.

Como lidar com o adiamento do evento?

Deve ser marcado como não resolvido ou aguardando resultado de acordo com as regras anteriores, e não deve ser alterado arbitrariamente para acerto ou erro.

Por que a taxa de acerto deve ser dividida em principal e secundária?

Como os níveis de confiança são diferentes, misturá-los irá confundir a qualidade do modelo.

This translation is for convenience only; the Traditional Chinese version prevails.