Kalkulator Kesignifikanan Ujian A/B

Ia bermakna perbezaan diperhatikan antara kadar penukaran kawalan dan varian anda tidak berkemungkinan berlaku oleh kebetulan rawak sahaja, pada tahap keyakinan pilihan anda. Ia tidak bermakna kesan besar atau penting secara praktikal, perbezaan kecil, sebenar boleh signifikan secara statistik dengan cukup pelawat, manakala perbezaan kelihatan besar daripada sampel kecil mungkin tidak.

Ini perangkap sampel-kecil klasik: dengan sedikit pelawat, hingar rawak sahaja boleh mudah menghasilkan lonjakan kelihatan besar dalam kadar penukaran yang hilang dengan lebih banyak data. Nilai-p mengambil kira saiz sampel, bukan hanya saiz perbezaan, perbezaan 10% berbanding 30% pada 10 pelawat setiap satu membawa jauh kurang bukti daripada peratusan sama pada 10,000 pelawat setiap satu.

Ia kebarangkalian melihat perbezaan sekurang-kurangnya sebesar ini antara dua kumpulan jika sebenarnya tiada perbezaan sebenar antara mereka ("hipotesis nol"). Nilai-p kecil (bawah had kesignifikanan anda, seperti 0.05 untuk keyakinan 95%) bermakna data diperhatikan tidak berkemungkinan di bawah andaian tiada-perbezaan itu, yang bukti, bukan bukti pasti, bahawa perbezaan sebenar wujud.

Ia julat nilai munasabah untuk perbezaan sebenar dalam kadar penukaran antara varian dan kawalan, bukan hanya anggaran satu titik. Jika selang tidak melintasi sifar, itu selari dengan hasil signifikan; jika ia melintasi sifar (bermakna "tiada perbezaan" ialah hasil munasabah), itu selari dengan yang tidak signifikan, dan lebar selang mencerminkan betapa tepat anggaran.

Umumnya tidak, ini dipanggil "peeking" dan ia mengembangkan kadar positif-palsu sebenar anda melebihi tahap keyakinan pilihan anda, kerana menyemak berulang kali memberikan hingar rawak lebih peluang untuk melepasi had kesignifikanan. Tentukan saiz sampel atau tempoh terlebih dahulu (kalkulator saiz sampel membantu dengan ini) dan semak hasil hanya sebaik sahaja itu dicapai, berbanding berhenti saat anda melihat kesignifikanan.

Ia menggunakan ujian-z dua-perkadaran piawai, pendekatan asas sama kebanyakan platform ujian A/B gunakan untuk metrik penukaran binari. Nombor tepat boleh berbeza sedikit antara alat bergantung pada pembetulan keselanjaran, andaian satu-ekor berbanding dua-ekor, atau kaedah Bayesian sesetengah platform gunakan sebaliknya, jadi anggap ini sebagai semakan-silang tujuan-umum kukuh berbanding menjangkakan nilai-p sama kepada setiap platform.