A/B-Test-Signifikanzrechner

Es bedeutet, dass die beobachtete Differenz zwischen den Konversionsraten deiner Kontrolle und Variante bei deinem gewählten Konfidenzniveau unwahrscheinlich allein durch Zufall entstanden ist. Es bedeutet nicht, dass der Effekt groß oder praktisch bedeutsam ist – ein winziger, realer Unterschied kann bei genügend Besuchern statistisch signifikant sein, während ein groß aussehender Unterschied bei einer kleinen Stichprobe es möglicherweise nicht ist.

Dies ist die klassische Kleine-Stichprobe-Falle: Bei wenigen Besuchern kann bloßes Zufallsrauschen leicht groß aussehende Schwankungen der Konversionsrate erzeugen, die mit mehr Daten verschwinden. Der p-Wert berücksichtigt die Stichprobengröße, nicht nur die Größe der Differenz – eine Differenz von 10 % gegenüber 30 % bei jeweils 10 Besuchern liefert weit weniger Beweiskraft als dieselben Prozentsätze bei jeweils 10.000 Besuchern.

Es ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zwischen den beiden Gruppen zu beobachten, wenn tatsächlich kein realer Unterschied zwischen ihnen bestünde (die „Nullhypothese"). Ein kleiner p-Wert (unter deinem Signifikanzschwellenwert, wie 0,05 für 95 % Konfidenz) bedeutet, dass die beobachteten Daten unter dieser Kein-Unterschied-Annahme unwahrscheinlich wären, was ein Beweis, aber kein Nachweis dafür ist, dass ein realer Unterschied besteht.

Es ist ein Bereich plausibler Werte für die tatsächliche Differenz der Konversionsrate zwischen Variante und Kontrolle, nicht nur eine einzelne Punktschätzung. Kreuzt das Intervall die Null nicht, stimmt das mit einem signifikanten Ergebnis überein; kreuzt es die Null (was bedeutet, dass „kein Unterschied" ein plausibles Ergebnis ist), stimmt das mit einem nicht-signifikanten überein, und die Breite des Intervalls spiegelt wider, wie präzise die Schätzung ist.

Im Allgemeinen nicht – das nennt man „Peeking" und es erhöht deine reale Fehlalarmrate über dein gewähltes Konfidenzniveau hinaus, weil wiederholtes Überprüfen dem Zufallsrauschen mehr Chancen gibt, die Signifikanzschwelle zu überschreiten. Lege im Voraus eine Stichprobengröße oder Dauer fest (ein Stichprobengrößenrechner hilft dabei) und überprüfe die Ergebnisse erst, wenn diese erreicht ist, statt in dem Moment aufzuhören, in dem du Signifikanz siehst.

Es wird ein standardmäßiger Zwei-Stichproben-z-Test verwendet, derselbe zugrunde liegende Ansatz, den die meisten A/B-Testing-Plattformen für binäre Konversionsmetriken verwenden. Exakte Zahlen können je nach Kontinuitätskorrekturen, einseitigen vs. zweiseitigen Annahmen oder Bayes'schen Methoden, die manche Plattformen stattdessen verwenden, leicht zwischen Tools abweichen, also betrachte dies als eine solide allgemeine Gegenprüfung, statt einen identischen p-Wert zu jeder Plattform zu erwarten.