A/B Test Anlamlılık Hesaplayıcısı

Kontrolünüz ve varyantınızın dönüşüm oranları arasındaki gözlemlenen farkın, seçtiğiniz güven düzeyinde, yalnızca rastgele şans eseri gerçekleşmesinin pek olası olmadığı anlamına gelir. Etkinin büyük veya pratikte önemli olduğu anlamına gelmez; yeterli ziyaretçiyle çok küçük, gerçek bir fark istatistiksel olarak anlamlı olabilirken, küçük bir örneklemden gelen büyük görünen bir fark anlamlı olmayabilir.

Bu, klasik küçük örneklem tuzağıdır: az sayıda ziyaretçiyle, sadece rastgele gürültü bile dönüşüm oranında büyük görünen ama daha fazla veriyle kaybolan dalgalanmalar üretebilir. p-değeri yalnızca farkın büyüklüğünü değil örneklem boyutunu da hesaba katar; her biri 10 ziyaretçi üzerinden %10'a karşı %30 farkı, her biri 10.000 ziyaretçi üzerindeki aynı yüzdelerden çok daha az kanıt taşır.

İki grup arasında gerçekte hiç gerçek fark olmasaydı ("sıfır hipotezi"), aralarında en az bu kadar büyük bir farkın görülme olasılığıdır. Küçük bir p-değeri (%95 güven için 0.05 gibi anlamlılık eşiğinizin altında) gözlemlenen verinin bu fark-yok varsayımı altında olası olmayacağı anlamına gelir; bu, gerçek bir farkın var olduğuna dair bir kanıttır, kesin bir ispat değil.

Varyant ve kontrol arasındaki gerçek dönüşüm oranı farkı için, tek bir nokta tahmini değil, olası değerler aralığıdır. Aralık sıfırı geçmiyorsa, bu anlamlı bir sonuçla örtüşür; sıfırı geçiyorsa ("fark yok" olası bir sonuçsa), bu anlamlı olmayan bir sonuçla örtüşür ve aralığın genişliği tahminin ne kadar hassas olduğunu yansıtır.

Genellikle hayır, buna "gözetleme" (peeking) denir ve gerçek yanlış pozitif oranınızı seçtiğiniz güven düzeyinin ötesine şişirir, çünkü tekrar tekrar kontrol etmek rastgele gürültüye anlamlılık eşiğini aşması için daha fazla şans verir. Önceden bir örneklem boyutu veya süre belirleyin (bir örneklem boyutu hesaplayıcısı bu konuda yardımcı olur) ve anlamlılığı gördüğünüz anda durmak yerine, sonuçları yalnızca oraya ulaşıldığında kontrol edin.

Standart bir iki-oranlı z-testi kullanır; bu, çoğu A/B test platformunun ikili dönüşüm metrikleri için kullandığı temel yaklaşımın aynısıdır. Süreklilik düzeltmelerine, tek-taraflı ile çift-taraflı varsayımlara veya bazı platformların bunun yerine kullandığı Bayesyen yöntemlere bağlı olarak kesin sayılar araçlar arasında hafifçe farklılık gösterebilir, bu yüzden bunu her platforma birebir aynı p-değerini beklemek yerine sağlam, genel amaçlı bir çapraz kontrol olarak değerlendirin.