Calculateur de Taille d'Échantillon pour Test A/B

C'est la plus petite différence réelle entre votre contrôle et votre variante que vous souhaitez réellement que le test puisse détecter. La régler trop bas (à la recherche d'améliorations minimes) exige une taille d'échantillon énorme, tandis que la régler trop haut signifie que le test pourrait manquer une amélioration réellement significative mais plus petite. Le mode absolu ajoute des points de pourcentage directement à la référence (10 % + 2pp = 12 %) ; le mode relatif met la référence à l'échelle par un pourcentage (10 % x 1,20 = 12 %).

Le niveau de confiance contrôle votre tolérance à un faux positif, déclarer un gagnant alors qu'il n'y a réellement aucune différence (un niveau de confiance de 95 % signifie 5 % de chances que cela se produise). La puissance statistique contrôle votre tolérance à un faux négatif, manquer une réelle différence pourtant présente (une puissance de 80 % signifie 80 % de chances de détecter correctement l'effet s'il existe, 20 % de chances de le manquer).

Chaque comparaison supplémentaire avec le contrôle est une chance de plus qu'un faux positif passe inaperçu, donc tester plus de variantes au même niveau de confiance par comparaison augmente silencieusement votre taux d'erreur global réel. La correction de Bonferroni resserre le niveau de confiance de chaque comparaison individuelle afin que le risque combiné sur l'ensemble corresponde toujours à votre niveau de confiance initialement choisi, au prix d'une taille d'échantillon plus grande par variante.

Détecter de petits effets de manière fiable est intrinsèquement coûteux en termes de taille d'échantillon, la taille requise croît à peu près avec l'inverse du carré de l'effet que vous essayez de détecter, donc diviser le MDE par deux quadruple approximativement la taille d'échantillon nécessaire. Il s'agit d'une réelle contrainte statistique, pas d'un défaut du calcul, c'est le même compromis auquel chaque plateforme de test A/B est confrontée.

Il divise la taille d'échantillon totale nécessaire sur toutes les variantes par votre nombre de visiteurs quotidiens (réparti selon la façon dont votre trafic est réellement divisé entre les variantes) et arrondit au jour entier supérieur. C'est une estimation de planification supposant un trafic stable et constant ; la durée réelle du test peut être plus longue si le trafic baisse ou si vous souhaitez aussi tenir compte des cycles hebdomadaires du comportement des utilisateurs.

Il suppose un test z à deux proportions standard comparant les taux de conversion, l'approche la plus courante pour les tests A/B typiques mesurant un résultat binaire comme « converti ou non ». Si vous mesurez plutôt une métrique continue, comme le revenu ou le temps passé sur la page, une formule de taille d'échantillon différente basée sur la variance de cette métrique s'appliquerait.