A/Bテスト有意性計算機

これは、選択した信頼水準において、対照群とバリアントのコンバージョン率の観測された差が単なる偶然だけで生じた可能性が低いことを意味します。効果が大きい、あるいは実用上重要であることを意味するわけではありません。十分な訪問者数があれば、わずかな実質的な差でも統計的に有意になり得る一方、小さなサンプルからの大きく見える差は有意ではないこともあります。

これは典型的な小サンプルの落とし穴です。訪問者が少ないと、単なるランダムノイズだけでコンバージョン率に大きく見える変動が生じ、データが増えると消えてしまうことがあります。p値は差の大きさだけでなくサンプルサイズも考慮します。それぞれ10人の訪問者での10%対30%の差は、それぞれ10,000人の訪問者での同じパーセンテージよりもはるかに証拠が少ないのです。

これは、実際には2つのグループの間に本当の差がない場合（「帰無仮説」）に、少なくともこれほど大きな差が観測される確率です。小さいp値（有意水準未満、95%信頼度なら0.05など）は、観測されたデータがその差なしの仮定の下では起こりにくいことを意味し、これは実際の差が存在することの証拠ではありますが、証明ではありません。

これは、バリアントと対照群の間のコンバージョン率の真の差についてのもっともらしい値の範囲であり、単一の点推定値ではありません。区間がゼロをまたがない場合、それは有意な結果と一致します。区間がゼロをまたぐ場合（「差がない」ことがもっともらしい結果であることを意味します）、それは非有意な結果と一致し、区間の幅は推定値の精度を反映します。

一般的にはノーです。これは「ピーキング」と呼ばれ、繰り返しチェックすることでランダムノイズが有意水準を超える機会が増えるため、選択した信頼水準を超えて実際の偽陽性率を膨らませてしまいます。事前にサンプルサイズや期間を決め（サンプルサイズ計算機が役立ちます）、有意性が見えた瞬間に止めるのではなく、それに達してから初めて結果を確認してください。

これは標準的な2標本比率z検定を使用しており、これはほとんどのA/Bテストプラットフォームが二値のコンバージョン指標に使用しているのと同じ基本的なアプローチです。連続性補正、片側対両側の仮定、あるいは一部のプラットフォームが代わりに使用するベイズ手法によって、正確な数値はツール間でわずかに異なることがあります。そのため、すべてのプラットフォームと同一のp値を期待するのではなく、これを堅実な汎用的なクロスチェックとして扱ってください。