A/Bテストサンプルサイズ計算機

これは、対照群とバリアントの間で実際にテストに検出してほしい最小の実質的な差です。小さく設定しすぎる（わずかな改善を追い求める）と膨大なサンプルサイズが必要になり、大きく設定しすぎるとテストが本当に意味のある、しかし小さめの改善を見逃す可能性があります。絶対モードはベースラインにパーセンテージポイントを直接加算します（10% + 2pt = 12%）。相対モードはベースラインをパーセンテージで拡大縮小します（10% x 1.20 = 12%）。

信頼水準は、実際には差がないのに勝者を宣言してしまう偽陽性への許容度を制御します（信頼水準95%は、そうなる確率が5%であることを意味します）。統計的検出力は、実際に存在する差を見逃してしまう偽陰性への許容度を制御します（検出力80%は、効果が存在する場合にそれを正しく検出する確率が80%、見逃す確率が20%であることを意味します）。

対照群との比較が増えるたびに、偽陽性がすり抜ける機会も増えるため、比較ごとの信頼水準を同じにしたまま多くのバリアントをテストすると、実際の全体エラー率が静かに上昇します。ボンフェローニ補正は、個々の比較の信頼水準を厳しくすることで、すべての比較を合わせたリスクが元々選択した信頼水準と一致するようにします。ただし、その代償としてバリアントごとに必要なサンプルサイズが大きくなります。

小さな効果を確実に検出することは、サンプルサイズの観点から本質的にコストがかかります。必要なサイズは検出しようとしている効果のおおよそ逆二乗に比例して増加するため、MDEを半分にすると必要なサンプルサイズはおよそ4倍になります。これは計算の欠陥ではなく実際の統計的制約であり、すべてのA/Bテストプラットフォームが直面する同じトレードオフです。

すべてのバリアントに必要な総サンプルサイズを1日あたりの訪問者数（実際のトラフィックがバリアント間でどう分配されているかに応じて）で割り、最も近い整数日に切り上げます。これは安定した一貫したトラフィックを前提とした計画上の見積りであり、トラフィックが落ち込んだ場合や、ユーザー行動の週次サイクルも考慮したい場合は、実際のテスト期間はさらに長くなる可能性があります。

これは、コンバージョン率を比較する標準的な2標本比率z検定を前提としており、「コンバージョンした／しなかった」のような二値の結果を測定する典型的なA/Bテストで最も一般的な手法です。収益やページ滞在時間のような連続的な指標を測定する場合は、その指標の分散に基づく別のサンプルサイズの式が適用されます。