Calculateur de Signification pour Test A/B

Cela signifie que la différence observée entre les taux de conversion de votre contrôle et de votre variante a peu de chances d'être due au seul hasard, à votre niveau de confiance choisi. Cela ne signifie pas que l'effet est important ou pratiquement significatif ; une petite différence réelle peut être statistiquement significative avec suffisamment de visiteurs, tandis qu'une différence qui semble grande sur un petit échantillon pourrait ne pas l'être.

C'est le piège classique du petit échantillon : avec peu de visiteurs, le simple bruit aléatoire peut facilement produire des variations de taux de conversion qui semblent importantes mais disparaissent avec plus de données. La valeur p tient compte de la taille de l'échantillon, pas seulement de la taille de la différence ; une différence de 10 % contre 30 % sur 10 visiteurs chacun porte beaucoup moins de preuves que les mêmes pourcentages sur 10 000 visiteurs chacun.

C'est la probabilité d'observer une différence au moins aussi grande entre les deux groupes s'il n'y avait en réalité aucune différence réelle entre eux (« l'hypothèse nulle »). Une petite valeur p (inférieure à votre seuil de signification, comme 0,05 pour une confiance de 95 %) signifie que les données observées seraient peu probables sous cette hypothèse d'absence de différence, ce qui est une preuve, non une démonstration, qu'une différence réelle existe.

C'est une plage de valeurs plausibles pour la différence réelle du taux de conversion entre la variante et le contrôle, pas seulement une seule estimation ponctuelle. Si l'intervalle ne croise pas zéro, cela correspond à un résultat significatif ; s'il croise zéro (signifiant qu'« aucune différence » est un résultat plausible), cela correspond à un résultat non significatif, et la largeur de l'intervalle reflète la précision de l'estimation.

Généralement non, cela s'appelle le « peeking » et cela gonfle votre taux réel de faux positifs au-delà de votre niveau de confiance choisi, car vérifier de manière répétée donne au bruit aléatoire plus de chances de franchir le seuil de signification. Décidez à l'avance d'une taille d'échantillon ou d'une durée (un calculateur de taille d'échantillon aide pour cela) et vérifiez les résultats uniquement une fois celle-ci atteinte, plutôt que d'arrêter dès que vous constatez une signification.

Il utilise un test z à deux proportions standard, la même approche sous-jacente que la plupart des plateformes de test A/B utilisent pour les métriques de conversion binaires. Les chiffres exacts peuvent légèrement différer d'un outil à l'autre selon les corrections de continuité, les hypothèses unilatérales vs bilatérales, ou les méthodes bayésiennes que certaines plateformes utilisent à la place, donc considérez ceci comme une solide vérification croisée générale plutôt que d'attendre une valeur p identique à chaque plateforme.