A/B-Test-Significantiecalculator

Het betekent dat het waargenomen verschil tussen je controle- en variant-conversiepercentages onwaarschijnlijk alleen door willekeurig toeval is gebeurd, bij je gekozen betrouwbaarheidsniveau. Het betekent niet dat het effect groot of praktisch belangrijk is, een klein, echt verschil kan statistisch significant zijn met genoeg bezoekers, terwijl een groot ogend verschil uit een kleine steekproef dat misschien niet is.

Dit is de klassieke valkuil van kleine steekproeven: met weinig bezoekers kan willekeurige ruis alleen al grote schommelingen in conversiepercentage produceren die verdwijnen met meer data. De p-waarde houdt rekening met steekproefgrootte, niet alleen de grootte van het verschil, een verschil van 10% vs 30% op elk 10 bezoekers draagt veel minder bewijs dan dezelfde percentages op elk 10.000 bezoekers.

Het is de kans om een verschil te zien van minstens deze grootte tussen de twee groepen als er eigenlijk geen echt verschil tussen hen was (de "nulhypothese"). Een kleine p-waarde (onder je significantiedrempel, zoals 0,05 voor 95% betrouwbaarheid) betekent dat de waargenomen gegevens onwaarschijnlijk zouden zijn onder die geen-verschil-aanname, wat bewijs is, geen bewijs, dat een echt verschil bestaat.

Het is een bereik plausibele waarden voor het werkelijke verschil in conversiepercentage tussen variant en controle, niet alleen een enkele puntschatting. Als het interval geen nul kruist, komt dat overeen met een significant resultaat; als het wel nul kruist (wat betekent dat "geen verschil" een plausibele uitkomst is), komt dat overeen met een niet-significant resultaat, en de breedte van het interval weerspiegelt hoe precies de schatting is.

Over het algemeen niet, dit heet "peeken" en het verhoogt je echte vals-positief-percentage voorbij je gekozen betrouwbaarheidsniveau, omdat herhaaldelijk controleren willekeurige ruis meer kansen geeft om de significantiedrempel te overschrijden. Beslis vooraf over een steekproefgrootte of duur (een steekproefgroottecalculator helpt hierbij) en controleer resultaten pas zodra dat is bereikt, in plaats van te stoppen zodra je significantie ziet.

Het gebruikt een standaard twee-proportie-z-test, dezelfde onderliggende aanpak die de meeste A/B-testplatforms gebruiken voor binaire conversiemetrieken. Exacte getallen kunnen licht verschillen tussen tools afhankelijk van continuïteitscorrecties, eenzijdige vs. tweezijdige aannames, of Bayesiaanse methoden die sommige platforms in plaats daarvan gebruiken, dus behandel dit als een solide algemene kruiscontrole in plaats van een identieke p-waarde te verwachten met elk platform.