Calcolatore Dimensione Campione Test A/B

È la più piccola differenza reale tra il tuo controllo e la variante che vuoi effettivamente che il test sia in grado di rilevare. Impostarla troppo piccola (inseguendo miglioramenti minimi) richiede una dimensione campionaria enorme, mentre impostarla troppo grande significa che il test potrebbe perdere un miglioramento genuinamente significativo ma più piccolo. La modalità assoluta aggiunge punti percentuali direttamente alla base (10% + 2pp = 12%); la modalità relativa scala la base per una percentuale (10% x 1,20 = 12%).

Il livello di confidenza controlla la tua tolleranza per un falso positivo, dichiarare un vincitore quando in realtà non c'è differenza (un livello di confidenza del 95% significa una probabilità del 5% che ciò accada). La potenza statistica controlla la tua tolleranza per un falso negativo, mancare una differenza reale che esiste davvero (una potenza dell'80% significa una probabilità dell'80% di rilevare correttamente l'effetto se esiste, una probabilità del 20% di mancarlo).

Ogni confronto extra rispetto al controllo è un'altra possibilità che un falso positivo si infili, quindi testare più varianti allo stesso livello di confidenza per confronto aumenta silenziosamente il tuo vero tasso di errore complessivo. La correzione di Bonferroni restringe il livello di confidenza per ogni singolo confronto così il rischio combinato su tutti loro corrisponde ancora al livello di confidenza originariamente scelto, al costo di richiedere una dimensione campionaria maggiore per variante.

Rilevare in modo affidabile piccoli effetti è intrinsecamente costoso in termini di dimensione campionaria, la dimensione richiesta cresce approssimativamente con l'inverso del quadrato dell'effetto che stai cercando di rilevare, quindi dimezzare il MDE quadruplica approssimativamente la dimensione campionaria necessaria. Questo è un vero vincolo statistico, non un difetto nel calcolo, è lo stesso compromesso che affronta ogni piattaforma di test A/B.

Divide la dimensione campionaria totale necessaria su tutte le varianti per il tuo conteggio giornaliero di visitatori (diviso comunque il tuo traffico sia effettivamente ripartito tra le varianti) e arrotonda per eccesso al giorno intero più vicino. È una stima di pianificazione che assume traffico costante e stabile, la durata effettiva del test può essere più lunga se il traffico cala o se vuoi anche tenere conto di cicli settimanali nel comportamento degli utenti.

Assume un test z standard a due proporzioni che confronta i tassi di conversione, l'approccio più comune per i tipici test A/B che misurano un esito binario come "convertito o no". Se stai invece misurando una metrica continua, come i ricavi o il tempo sulla pagina, si applicherebbe una formula diversa per la dimensione campionaria basata sulla varianza di quella metrica.