Calcolatore Significatività Test A/B

Significa che la differenza osservata tra i tuoi tassi di conversione controllo e variante è improbabile che sia avvenuta per solo caso casuale, al livello di confidenza scelto. Non significa che l'effetto sia grande o praticamente importante, una piccola differenza reale può essere statisticamente significativa con abbastanza visitatori, mentre una differenza dall'aspetto grande da un piccolo campione potrebbe non esserlo.

Questa è la classica trappola dei piccoli campioni: con pochi visitatori, solo il rumore casuale può facilmente produrre oscillazioni dall'aspetto grande nel tasso di conversione che svaniscono con più dati. Il valore p tiene conto della dimensione campionaria, non solo della dimensione della differenza, una differenza 10% vs 30% su 10 visitatori ciascuno porta molta meno evidenza delle stesse percentuali su 10.000 visitatori ciascuno.

È la probabilità di vedere una differenza almeno così grande tra i due gruppi se non ci fosse realmente alcuna differenza reale tra loro (l'"ipotesi nulla"). Un valore p piccolo (sotto la tua soglia di significatività, come 0,05 per una confidenza del 95%) significa che i dati osservati sarebbero improbabili sotto quell'assunzione di nessuna differenza, il che è prova, non certezza, che esiste una differenza reale.

È un intervallo di valori plausibili per la vera differenza nel tasso di conversione tra variante e controllo, non solo una stima puntuale singola. Se l'intervallo non attraversa lo zero, questo si allinea con un risultato significativo; se lo attraversa (significando che "nessuna differenza" è un esito plausibile), questo si allinea con uno non significativo, e la larghezza dell'intervallo riflette quanto precisa è la stima.

Generalmente no, questo si chiama "peeking" e gonfia il tuo vero tasso di falsi positivi oltre il livello di confidenza scelto, perché controllare ripetutamente dà al rumore casuale più possibilità di superare la soglia di significatività. Decidi in anticipo una dimensione campionaria o una durata (un calcolatore di dimensione campionaria aiuta con questo) e controlla i risultati solo una volta raggiunta, invece di fermarti nel momento in cui vedi significatività.

Usa un test z standard a due proporzioni, lo stesso approccio sottostante usato dalla maggior parte delle piattaforme di test A/B per metriche di conversione binarie. I numeri esatti possono differire leggermente tra strumenti a seconda delle correzioni di continuità, delle ipotesi a una coda vs due code, o dei metodi bayesiani che alcune piattaforme usano invece, quindi considera questo un solido controllo incrociato generico invece di aspettarti un valore p identico a ogni piattaforma.