Jak czytać dashboard wydajności

Cel pulpitu nawigacyjnego

/ Performance PitchCopilot nie jest stroną promocyjną, ale stroną z wynikami badań. Stawia opublikowane raporty, wyniki rozliczeń, wydajność konfiguracji rdzenia, wyniki Briera, definicje trafień i wersje modelu z tej samej perspektywy, umożliwiając czytelnikom powrót i sprawdzenie, czy model jest stabilny. W przypadku badań ilościowych w sporcie ważniejsze są występy publiczne niż pojedyncze trafienia, ponieważ każdy model może wyglądać idealnie w niewielkiej liczbie wydarzeń lub w krótkim okresie może ucierpieć z powodu hałasu.

Podstawowym założeniem dashboardu jest pełne prowadzenie dokumentacji. Trafienia, chybienia, nierozwiązane, niewystarczające próbki i zmiany wersji muszą być widoczne. Ten rodzaj przejrzystości pozwala graczom FPL wiedzieć, czy określone wnioski są wiarygodne, a także pozwala twórcom mieć możliwą do prześledzenia podstawę podczas ich cytowania. Jeśli nie znasz podstawowych pojęć, możesz najpierw przeczytać /guides/market-implied-pricing i /guides/settlement-hit-definitions.

Najpierw spójrz na próbkę, a potem na procent

Procent trafień najłatwiej jest błędnie zinterpretować. Osiem z dziesięciu gier i sto dwadzieścia z dwustu gier reprezentuje zupełnie inny poziom stabilności. Czytając panel, spójrz najpierw na liczbę próbek, okno czasowe i wersję modelu, a następnie sprawdź współczynnik trafień lub wyniki punktów wirtualnych. PitchCopilot oddzieli konfiguracje podstawowe od konfiguracji drugorzędnych, aby uniknąć mieszania różnych poziomów ufności.

Skala Briera służy do pomiaru kalibracji probabilistycznej. Jeśli model mówi, że prawdopodobieństwo wystąpienia zdarzenia wynosi 60%, czy wynik długoterminowy jest bliższy 60%? Jest to bardziej zniuansowane niż zwykłe zgadywanie, czy coś jest dobre, czy złe. Krzywe kalibracji mogą ujawnić, czy model jest zbyt pewny siebie, zbyt konserwatywny lub systematycznie stronniczy w niektórych klasach. Jeśli chcesz dowiedzieć się więcej na temat tej części, możesz przeczytać dalej /guides/brier-calibration.

Konfiguracja rdzenia i punkty wirtualne

Badania punktów wirtualnych w dashboardach porównują w ujednolicony sposób różne założenia konfiguracyjne. Nie przedstawia rzeczywistych aktywów, nie obiecuje zwrotu ani nie jest instrukcją obsługi. PitchCopilot wykorzystuje koncepcję wirtualnej puli funduszy, aby umożliwić ilościowe określenie pewności, rozproszenia i ekspozycji modelu na ryzyko w każdym przypadku.

Konfiguracja podstawowa zazwyczaj reprezentuje kierunek badań ze spójnymi modelami, danymi i różnicami cenowymi; konfiguracja wtórna reprezentuje sygnał, ale niekoniecznie osiąga główny próg. Czytając, nie szukaj tylko największej liczby, ale zadaj sobie pytanie: Z której wersji pochodzi ten wynik? Czy jest skoncentrowany w kilku ligach? Czy miał na to wpływ jeden lub dwa ekstremalne skutki? Powiązane koncepcje można znaleźć w /guides/core-vs-wtórny-config i /guides/asset-weight-allocation.

Czas ręcznej recenzji i publikacji

Każdy raport publiczny jest ręcznie sprawdzany przed publikacją. Administratorzy sprawdzają źródła danych, siłę wniosków, prezentację prawną, linki wewnętrzne i czytelność. Proces ten sprawia, że ​​dashboard nie jest tylko stosem wyników modelu, ale edytowanym i opublikowanym repozytorium badań. Po rozstrzygnięciu wydarzenia definicja trafienia zostanie zastosowana zgodnie z wcześniej obowiązującymi zasadami i nie będzie zmieniana w zależności od wyniku.

Ważną wskazówką jest także wersja modelu. Jeśli aktualizacja zmieni ciężary, metody kalibracji lub progi dopuszczenia, pulpit nawigacyjny pozwoli czytelnikom rozróżnić stare i nowe próbki. Możesz zobaczyć, jak przejrzystość wersji może pomóc w długoterminowej ocenie, na /guides/model-version-transparency.

Trzy poziomy kolejności czytania

Do odczytywania pulpitów nawigacyjnych wydajności zaleca się trójpoziomową kolejność. Pierwszy poziom to integralność danych: potwierdzenie liczby próbek, zakresu czasowego, tego, czy zdarzenie zostało rozliczone oraz czy wersje modeli są spójne. Drugi poziom to jakość wyników: porównywanie konfiguracji rdzeniowych, konfiguracji wtórnych, wyników Briera i wirtualnych fluktuacji punktów. Trzeci poziom to jakość interpretacji: wróć do pierwotnego raportu i sprawdź, czy obecne w danym momencie implikowane ceny rynkowe, przypomnienia o rozbieżnościach i ręcznym przeglądzie mogą wyjaśnić wyniki.

Czytanie w ten sposób pozwala uniknąć dwóch powszechnych uprzedzeń. Jednym z nich jest patrzenie jedynie na niedawne szczyty i traktowanie krótkoterminowych wahań jako możliwości długoterminowych; drugim jest spojrzenie tylko na pojedyncze chybienia i zaprzeczenie całej wersji. PitchCopilot ma nadzieję, że czytelnicy wyrobią w sobie nawyk badawczy poprzez korzystanie z publicznych występów: każdą liczbę należy ponownie umieścić w kontekście próbek, wersji i metod. Jeżeli wirtualne badanie punktowe sprawdza się dobrze w określonym przedziale czasu, sprawdź także, czy nie wynika to z kilku ekstremalnych zdarzeń; jeśli wynik Briera poprawia się, ale współczynnik trafień jest przeciętny, może to oznaczać, że kalibracja prawdopodobieństwa jest coraz lepsza, ale do sortowania kierunkowego potrzeba więcej próbek.

Autorzy powinni także unikać obcinania pojedynczych liczb podczas odwoływania się do dashboardów. Lepszym sposobem napisania tego jest określenie „jak działa podstawowa konfiguracja w określonej wersji i w określonym oknie” i dołączenie łącza do strony lub przewodnika z instrukcjami. Dzięki temu czytelnicy mogą samodzielnie sprawdzić informacje, zamiast akceptować streszczenia z drugiej ręki.

Często zadawane pytania

Czy im wyższy współczynnik trafień, tym lepiej?

niepewny. Wielkość próby, poziomy ufności, wyniki Briera i wirtualne wahania punktów należy rozpatrywać łącznie.

Czy pominięte raporty zostaną usunięte?

Przyzwyczajenie. Wartość upubliczniania wyników polega na prowadzeniu pełnego rejestru, aby czytelnicy mogli ocenić ograniczenia modelu.

Czy mogę zacytować dashboard?

Tak, ale zalecane jest dodanie linku / Performance oraz opisanie przykładowego okna i wersji modelu.

This translation is for convenience only; the Traditional Chinese version prevails.