A/B-Test-Stichprobengrößenrechner

Es ist der kleinste reale Unterschied zwischen deiner Kontrolle und Variante, den der Test tatsächlich erkennen können soll. Wird er zu klein angesetzt (Jagd nach winzigen Verbesserungen), erfordert das eine riesige Stichprobengröße, während er zu groß angesetzt bedeutet, dass der Test eine wirklich bedeutsame, aber kleinere Verbesserung übersehen könnte. Der absolute Modus addiert Prozentpunkte direkt zur Basis (10 % + 2pp = 12 %); der relative Modus skaliert die Basis um einen Prozentsatz (10 % x 1,20 = 12 %).

Das Konfidenzniveau steuert deine Toleranz für einen Fehlalarm (falsch positiv) – einen Gewinner zu erklären, obwohl es wirklich keinen Unterschied gibt (ein Konfidenzniveau von 95 % bedeutet eine Wahrscheinlichkeit von 5 % dafür). Die statistische Power steuert deine Toleranz für einen falsch negativen Fehler – einen tatsächlich vorhandenen realen Unterschied zu übersehen (80 % Power bedeutet eine 80%ige Wahrscheinlichkeit, den Effekt korrekt zu erkennen, falls er existiert, und eine 20%ige Wahrscheinlichkeit, ihn zu übersehen).

Jeder zusätzliche Vergleich mit der Kontrolle ist eine weitere Chance für einen unbemerkten Fehlalarm, sodass das Testen weiterer Varianten beim gleichen Konfidenzniveau pro Vergleich deine wahre Gesamtfehlerrate still erhöht. Die Bonferroni-Korrektur verschärft das Konfidenzniveau für jeden einzelnen Vergleich, sodass das kombinierte Risiko über alle hinweg weiterhin deinem ursprünglich gewählten Konfidenzniveau entspricht, auf Kosten einer größeren benötigten Stichprobengröße pro Variante.

Kleine Effekte zuverlässig zu erkennen ist von Natur aus teuer in Bezug auf die Stichprobengröße – die erforderliche Größe wächst ungefähr mit dem inversen Quadrat des Effekts, den du zu erkennen versuchst, sodass eine Halbierung des MDE die benötigte Stichprobengröße etwa vervierfacht. Dies ist eine reale statistische Einschränkung, kein Fehler in der Berechnung, es ist der gleiche Kompromiss, dem jede A/B-Testing-Plattform gegenübersteht.

Es teilt die insgesamt benötigte Stichprobengröße über alle Varianten durch deine tägliche Besucherzahl (aufgeteilt so, wie dein Traffic tatsächlich auf die Varianten verteilt ist) und rundet auf den nächsten vollen Tag auf. Es handelt sich um eine Planungsschätzung, die einen stetigen, gleichmäßigen Traffic annimmt; die tatsächliche Testdauer kann länger ausfallen, wenn der Traffic einbricht oder wenn du auch wöchentliche Zyklen im Nutzerverhalten berücksichtigen möchtest.

Es wird ein standardmäßiger Zwei-Stichproben-z-Test zum Vergleich von Konversionsraten angenommen, der gängigste Ansatz für typische A/B-Tests, die ein binäres Ergebnis wie „konvertiert oder nicht“ messen. Wenn du stattdessen eine kontinuierliche Kennzahl misst, wie Umsatz oder Verweildauer, würde eine andere Stichprobengrößenformel basierend auf der Varianz dieser Kennzahl gelten.