Kalkulator Istotności Testu A/B

Oznacza to, że obserwowana różnica między wskaźnikami konwersji kontroli i wariantu jest mało prawdopodobna, aby zdarzyła się przez sam losowy przypadek, przy twoim wybranym poziomie ufności. Nie oznacza to, że efekt jest duży lub praktycznie ważny, mała, prawdziwa różnica może być statystycznie istotna przy wystarczającej liczbie odwiedzających, podczas gdy duża wyglądająca różnica z małej próbki może nie być.

To klasyczna pułapka małej próbki: przy niewielu odwiedzających, sam losowy szum może łatwo wyprodukować duże wyglądające wahania wskaźnika konwersji, które znikają przy większej ilości danych. Wartość p uwzględnia wielkość próbki, nie tylko wielkość różnicy, różnica 10% kontra 30% przy 10 odwiedzających każda niesie znacznie mniej dowodów niż te same procenty przy 10 000 odwiedzających każda.

To prawdopodobieństwo zobaczenia różnicy co najmniej tak dużej między dwiema grupami, gdyby faktycznie nie było między nimi prawdziwej różnicy ("hipoteza zerowa"). Mała wartość p (poniżej twojego progu istotności, jak 0,05 dla 95% ufności) oznacza, że obserwowane dane byłyby mało prawdopodobne przy tym założeniu braku różnicy, co jest dowodem, nie dowodem ostatecznym, że istnieje prawdziwa różnica.

To zakres prawdopodobnych wartości dla prawdziwej różnicy we wskaźniku konwersji między wariantem a kontrolą, nie tylko pojedyncze punktowe oszacowanie. Jeśli przedział nie przekracza zera, to zgadza się z istotnym wynikiem; jeśli przekracza zero (oznaczając, że "brak różnicy" jest prawdopodobnym wynikiem), to zgadza się z nieistotnym, a szerokość przedziału odzwierciedla, jak precyzyjne jest oszacowanie.

Ogólnie nie, nazywa się to "podglądaniem" i zawyża twój prawdziwy wskaźnik fałszywie dodatnich wyników poza wybrany przez ciebie poziom ufności, ponieważ wielokrotne sprawdzanie daje losowemu szumowi więcej szans na przekroczenie progu istotności. Zdecyduj z góry o wielkości próbki lub czasie trwania (kalkulator wielkości próbki w tym pomaga) i sprawdzaj wyniki dopiero po jego osiągnięciu, zamiast zatrzymywać się w momencie zobaczenia istotności.

Używa standardowego testu z dla dwóch proporcji, tego samego podstawowego podejścia, którego używa większość platform testów A/B dla binarnych metryk konwersji. Dokładne liczby mogą się nieznacznie różnić między narzędziami w zależności od korekt ciągłości, założeń jednostronnych kontra dwustronnych, lub metod bayesowskich, których niektóre platformy używają zamiast tego, więc traktuj to jako solidną ogólną kontrolę krzyżową zamiast oczekiwać identycznej wartości p na każdej platformie.