Kalkulator Saiz Sampel Ujian A/B

Free

Cari berapa ramai pelawat setiap varian ujian A/B anda perlukan, dengan sokongan untuk beberapa varian (dibetulkan-Bonferroni) dan anggaran tempoh ujian.

Garis Dasar & Kesan

Kadar Penukaran Garis Dasar (%)

Kesan Boleh Dikesan Minimum (%)

Parameter Ujian

Tahap Keyakinan

Kuasa Statistik

Varian (termasuk kawalan)

Lebih daripada 2 varian menerapkan pembetulan Bonferroni untuk mengekalkan kadar ralat keseluruhan pada tahap keyakinan pilihan anda merentasi semua perbandingan berpasangan terhadap kawalan.

Anggaran Tempoh Ujian (pilihan)

Pelawat Harian (jumlah, semua varian)

Aktiviti Terkini

Kelihatan kepada semua orang. 20 penggunaan terakhir merentasi semua pelawat, terbaharu dahulu.

Wartość bazowa 10%, MDE 2pp -> 3,839 / wariant

6 jam yang lepas

Garis dasar 10%, MDE 2pp -> 3,839 / varian

2 hari yang lepas

기준선 10%, MDE 2pp -> 변형당 3,839

2 hari yang lepas

기준선 10%, MDE 2pp -> 변형당 3,839

2 hari yang lepas

Basis 10%, MDE 2pp -> 3,839 / Variante

3 hari yang lepas

Basis 10%, MDE 2pp -> 3,839 / Variante

3 hari yang lepas

Baseline 10%, MDE 2pp -> 3,839 / variant

3 hari yang lepas

Baseline 10%, MDE 2pp -> 3,839 / variant

3 hari yang lepas

Garis dasar 10%, MDE 2pp -> 3,839 / varian

3 hari yang lepas

Baseline 10%, MDE 2pp -> 3,839 / variant

4 hari yang lepas

Basislijn 10%, MDE 2pp -> 3,839 / variant

4 hari yang lepas

Base 10%, MDE 2pp -> 3,839 / variante

4 hari yang lepas

الأساس 10%، MDE 2pp -> 3,839 / متغير

4 hari yang lepas

基线 10%，MDE 2pp -> 每变体 3,839

4 hari yang lepas

Базова лінія 10%, MDE 2pp -> 3,839 / варіант

4 hari yang lepas

Wartość bazowa 10%, MDE 2pp -> 3,839 / wariant

4 hari yang lepas

Base 10%, MDE 2pp -> 3,839 / variante

4 hari yang lepas

الأساس 10%، MDE 2pp -> 3,839 / متغير

5 hari yang lepas

الأساس 10%، MDE 2pp -> 3,839 / متغير

5 hari yang lepas

Basislijn 10%, MDE 2pp -> 3,839 / variant

5 hari yang lepas

Komen (0)

Dapati alat ini berguna? Tinggalkan komen, kongsi petua, atau beritahu kami bagaimana kami boleh menjadikannya lebih baik.

Belum ada komen. Jadi yang pertama berkongsi pendapat anda!

Apa alat ini buat

Kalkulator saiz sampel ujian A/B ini mencari berapa ramai pelawat setiap varian anda perlukan sebelum menjalankan ujian, berdasarkan kadar penukaran garis dasar anda, kesan terkecil anda mahu kesan dengan boleh dipercayai, tahap keyakinan dikehendaki anda, dan kuasa statistik. Ia menggunakan formula ujian-z dua-perkadaran piawai yang mendasari kebanyakan platform ujian A/B.

Melangkaui pengiraan asas 2-varian, ia menyokong menguji lebih daripada satu varian terhadap kawalan dengan secara automatik menerapkan pembetulan Bonferroni, jadi risiko positif-palsu keseluruhan merentasi semua perbandingan masih sepadan dengan tahap keyakinan pilihan anda dan bukannya secara senyap merangkak lebih tinggi. Medan trafik harian pilihan juga menganggar lebih kurang berapa hari ujian perlu dijalankan.

Masalah ia selesaikan

Memutuskan berapa banyak pelawat diperlukan ujian A/B sebelum melancarkannya, berbanding meneka atau berhenti awal.
Memahami kos saiz sampel mengejar kesan boleh dikesan minimum lebih kecil.
Menentukan saiz ujian dengan betul dengan 3 atau lebih varian tanpa memperkecilkan risiko positif-palsu keseluruhan.
Menganggarkan lebih kurang berapa hari ujian perlu dijalankan diberi trafik harian sebenar laman anda.
Membandingkan bagaimana tahap keyakinan, kuasa, dan saiz kesan bertukar ganti dengan saiz sampel yang diperlukan.

Soalan lazim

›Apa itu kesan boleh dikesan minimum (MDE)?

Ia perbezaan sebenar terkecil antara kawalan dan varian anda yang anda sebenarnya mahu ujian dapat kesan. Menetapkannya terlalu kecil (mengejar peningkatan kecil) menuntut saiz sampel besar, manakala menetapkannya terlalu besar bermakna ujian mungkin terlepas peningkatan benar-benar bermakna tetapi lebih kecil. Mod mutlak menambah mata peratusan terus kepada garis dasar (10% + 2pp = 12%); mod relatif menskalakan garis dasar dengan peratusan (10% x 1.20 = 12%).

›Apa tahap keyakinan dan kuasa statistik sebenarnya kawal?

Tahap keyakinan mengawal toleransi anda terhadap positif palsu, mengisytiharkan pemenang apabila sebenarnya tiada perbezaan (tahap keyakinan 95% bermakna peluang 5% itu berlaku). Kuasa statistik mengawal toleransi anda terhadap negatif palsu, terlepas perbezaan sebenar yang sebenarnya wujud (kuasa 80% bermakna peluang 80% untuk mengesan kesan dengan betul jika ia wujud, peluang 20% untuk terlepasnya).

›Mengapa menguji lebih daripada 2 varian memerlukan pembetulan?

Setiap perbandingan tambahan terhadap kawalan ialah peluang lain untuk positif palsu meluput, jadi menguji lebih banyak varian pada tahap keyakinan setiap-perbandingan yang sama secara senyap meningkatkan kadar ralat keseluruhan sebenar anda. Pembetulan Bonferroni mengetatkan tahap keyakinan untuk setiap perbandingan individu supaya risiko gabungan merentasi kesemuanya masih sepadan dengan tahap keyakinan pilihan asal anda, dengan kos memerlukan saiz sampel lebih besar setiap varian.

›Mengapa saiz sampel diperlukan jauh lebih besar daripada saya jangkakan?

Mengesan kesan kecil dengan boleh dipercayai pada dasarnya mahal dari segi saiz sampel, saiz yang diperlukan berkembang lebih kurang dengan kuasa dua songsang kesan yang anda cuba kesan, jadi memotong MDE separuh lebih kurang menggandakan empat saiz sampel yang diperlukan. Ini kekangan statistik sebenar, bukan kecacatan dalam pengiraan, ia pertukaran sama yang dihadapi setiap platform ujian A/B.

›Bagaimana anggaran tempoh ujian dikira?

Ia membahagikan jumlah saiz sampel diperlukan merentasi semua varian dengan kiraan pelawat harian anda (dibahagikan bagaimana sahaja trafik anda sebenarnya dibahagikan antara varian) dan membundarkan ke atas kepada hari penuh paling hampir. Ia anggaran perancangan mengandaikan trafik stabil, konsisten, tempoh ujian sebenar boleh berjalan lebih lama jika trafik turun atau jika anda juga mahu mengambil kira kitaran mingguan dalam tingkah laku pengguna.

›Ujian statistik apa ini andaikan akan digunakan untuk menganalisis hasil?

Ia mengandaikan ujian-z dua-perkadaran piawai membandingkan kadar penukaran, pendekatan paling biasa untuk ujian A/B tipikal mengukur hasil binari seperti "ditukar atau tidak." Jika anda mengukur metrik berterusan sebaliknya, seperti hasil atau masa pada halaman, formula saiz sampel berbeza berdasarkan varians metrik itu akan terpakai.