A/B-Test-Steekproefgroottecalculator

Het is het kleinste echte verschil tussen je controle en variant dat je daadwerkelijk wilt dat de test kan detecteren. Het te klein instellen (jagen op minieme verbeteringen) vereist een enorme steekproefgrootte, terwijl het te groot instellen betekent dat de test een echt betekenisvolle maar kleinere verbetering zou kunnen missen. Absolute modus telt procentpunten direct op bij de basislijn (10% + 2pp = 12%); relatieve modus schaalt de basislijn met een percentage (10% x 1,20 = 12%).

Betrouwbaarheidsniveau bepaalt je tolerantie voor een vals-positief, een winnaar aanwijzen terwijl er eigenlijk geen verschil is (een betrouwbaarheidsniveau van 95% betekent een kans van 5% dat dat gebeurt). Statistische power bepaalt je tolerantie voor een vals-negatief, een echt verschil missen dat er daadwerkelijk is (80% power betekent een kans van 80% om het effect correct te detecteren als het bestaat, een kans van 20% om het te missen).

Elke extra vergelijking tegen de controle is nog een kans voor een vals-positief om erdoorheen te glippen, dus meer varianten testen op hetzelfde per-vergelijking-betrouwbaarheidsniveau verhoogt stilletjes je werkelijke algehele foutpercentage. De Bonferroni-correctie verstrengt het betrouwbaarheidsniveau voor elke individuele vergelijking zodat het gecombineerde risico over allemaal nog steeds overeenkomt met je oorspronkelijk gekozen betrouwbaarheidsniveau, ten koste van een grotere steekproefgrootte per variant.

Kleine effecten betrouwbaar detecteren is inherent duur in termen van steekproefgrootte, de vereiste grootte groeit ruwweg met het omgekeerde kwadraat van het effect dat je probeert te detecteren, dus de MDE halveren vervierdubbelt ruwweg de benodigde steekproefgrootte. Dit is een echte statistische beperking, geen fout in de berekening, het is dezelfde afweging waar elk A/B-testplatform mee te maken heeft.

Het deelt de totale benodigde steekproefgrootte over alle varianten door je dagelijkse bezoekersaantal (verdeeld hoe je verkeer ook daadwerkelijk verdeeld is over varianten) en rondt af naar boven naar de dichtstbijzijnde hele dag. Het is een planningsschatting die uitgaat van stabiel, consistent verkeer, de werkelijke testduur kan langer duren als het verkeer daalt of als je ook rekening wilt houden met wekelijkse cycli in gebruikersgedrag.

Het gaat uit van een standaard twee-proportie-z-test die conversiepercentages vergelijkt, de meest gebruikelijke aanpak voor typische A/B-tests die een binaire uitkomst meten zoals "geconverteerd of niet". Als je in plaats daarvan een continue metriek meet, zoals omzet of tijd op pagina, zou een andere steekproefgrootteformule gebaseerd op de variantie van die metriek van toepassing zijn.