Kalkulator Wielkości Próby Testu A/B

To najmniejsza prawdziwa różnica między twoją kontrolą a wariantem, którą faktycznie chcesz, aby test mógł wykryć. Ustawienie jej zbyt małej (pogoń za drobnymi ulepszeniami) wymaga ogromnej wielkości próbki, podczas gdy ustawienie jej zbyt dużej oznacza, że test może przegapić naprawdę znaczące, ale mniejsze ulepszenie. Tryb bezwzględny dodaje punkty procentowe bezpośrednio do wartości bazowej (10% + 2pp = 12%); tryb względny skaluje wartość bazową o procent (10% x 1,20 = 12%).

Poziom ufności kontroluje twoją tolerancję na fałszywie dodatni wynik, ogłaszanie zwycięzcy, gdy tak naprawdę nie ma różnicy (poziom ufności 95% oznacza 5% szansy, że to się stanie). Moc statystyczna kontroluje twoją tolerancję na fałszywie ujemny wynik, przeoczenie prawdziwej różnicy, która faktycznie tam jest (moc 80% oznacza 80% szansy na poprawne wykrycie efektu, jeśli istnieje, 20% szansy na przeoczenie go).

Każde dodatkowe porównanie z kontrolą to kolejna szansa na przeniknięcie fałszywie dodatniego wyniku, więc testowanie większej liczby wariantów przy tym samym poziomie ufności na porównanie po cichu podnosi twój prawdziwy ogólny wskaźnik błędu. Korekta Bonferroniego zaostrza poziom ufności dla każdego pojedynczego porównania, więc łączne ryzyko dla wszystkich nadal odpowiada twojemu pierwotnie wybranemu poziomowi ufności, kosztem potrzeby większej próbki na wariant.

Niezawodne wykrywanie małych efektów jest z natury kosztowne pod względem wielkości próby, wymagana wielkość rośnie mniej więcej z odwrotnością kwadratu efektu, który próbujesz wykryć, więc zmniejszenie MDE o połowę mniej więcej czterokrotnie zwiększa potrzebną wielkość próby. To prawdziwe ograniczenie statystyczne, nie wada w obliczeniach, to ten sam kompromis, z jakim mierzy się każda platforma testowania A/B.

Dzieli całkowitą potrzebną wielkość próbki dla wszystkich wariantów przez twoją dzienną liczbę odwiedzających (podzieloną tak, jak twój ruch jest faktycznie podzielony między warianty) i zaokrągla w górę do najbliższego pełnego dnia. To oszacowanie planistyczne zakładające stały, spójny ruch, faktyczny czas trwania testu może być dłuższy, jeśli ruch spadnie lub jeśli chcesz też uwzględnić cykle tygodniowe w zachowaniu użytkowników.

Zakłada standardowy test z dla dwóch proporcji porównujący wskaźniki konwersji, najczęstsze podejście dla typowych testów A/B mierzących wynik binarny jak "skonwertował lub nie". Jeśli zamiast tego mierzysz ciągłą metrykę, jak przychód lub czas na stronie, zastosowanie miałaby inna formuła wielkości próbki oparta na wariancji tej metryki.