A/B Test Örneklem Büyüklüğü Hesaplayıcısı

Kontrolünüz ile varyantınız arasında testin gerçekten tespit edebilmesini istediğiniz en küçük gerçek farktır. Çok küçük ayarlamak (küçük iyileştirmeleri kovalamak) devasa bir örneklem boyutu gerektirir, çok büyük ayarlamak ise testin gerçekten anlamlı ama daha küçük bir iyileştirmeyi kaçırabileceği anlamına gelir. Mutlak mod, temel değere doğrudan yüzde puanı ekler (%10 + 2pp = %12); göreceli mod, temel değeri bir yüzdeyle ölçekler (%10 x 1.20 = %12).

Güven düzeyi, gerçekte hiç fark olmadığında bir kazanan ilan etmek olan yanlış pozitif için toleransınızı kontrol eder (%95 güven düzeyi, bunun olma olasılığının %5 olduğu anlamına gelir). İstatistiksel güç, gerçekte var olan bir farkı kaçırmak olan yanlış negatif için toleransınızı kontrol eder (%80 güç, etki varsa doğru şekilde tespit etme olasılığının %80, kaçırma olasılığının %20 olduğu anlamına gelir).

Kontrole karşı her ekstra karşılaştırma, bir yanlış pozitifin sızması için başka bir şanstır, bu yüzden aynı karşılaştırma başına güven düzeyinde daha fazla varyant test etmek gerçek genel hata oranınızı sessizce yükseltir. Bonferroni düzeltmesi, her bireysel karşılaştırma için güven düzeyini sıkılaştırır, böylece hepsinin birleşik riski hala orijinal olarak seçtiğiniz güven düzeyiyle eşleşir, bunun bedeli varyant başına daha büyük bir örneklem boyutu gerekmesidir.

Küçük etkileri güvenilir bir şekilde tespit etmek, örneklem boyutu açısından doğası gereği pahalıdır; gereken boyut, tespit etmeye çalıştığınız etkinin karesinin tersiyle kabaca büyür, bu yüzden MDE'yi yarıya indirmek gereken örneklem boyutunu kabaca dört katına çıkarır. Bu, hesaplamada bir kusur değil gerçek bir istatistiksel kısıtlamadır, her A/B test platformunun karşılaştığı aynı ödünleşimdir.

Tüm varyantlar genelinde gereken toplam örneklem boyutunu günlük ziyaretçi sayınıza böler (trafiğiniz varyantlar arasında gerçekte nasıl bölünürse bölünsün) ve en yakın tam güne yuvarlar. İstikrarlı, tutarlı trafik varsayan bir planlama tahminidir; trafik düşerse veya kullanıcı davranışındaki haftalık döngüleri de hesaba katmak isterseniz gerçek test süresi daha uzun sürebilir.

Dönüşüm oranlarını karşılaştıran standart bir iki-oranlı z-testi varsayar; bu, "dönüştü veya dönüşmedi" gibi ikili bir sonucu ölçen tipik A/B testleri için en yaygın yaklaşımdır. Bunun yerine gelir veya sayfada geçirilen süre gibi sürekli bir ölçüm yapıyorsanız, o ölçümün varyansına dayalı farklı bir örneklem boyutu formülü geçerli olur.