Калькулятор значущості A/B-тесту

Це означає, що спостережена різниця між коефіцієнтами конверсії вашого контролю і варіанта навряд чи сталася лише через випадковість, на обраному вами рівні довіри. Це не означає, що ефект великий чи практично важливий, крихітна, реальна різниця може бути статистично значущою при достатній кількості відвідувачів, тоді як різниця, що виглядає великою, з малої вибірки може такою не бути.

Це класична пастка малої вибірки: при малій кількості відвідувачів сам лише випадковий шум може легко створити великі на вигляд коливання коефіцієнта конверсії, які зникають із більшою кількістю даних. p-значення враховує розмір вибірки, а не лише розмір різниці, різниця 10% проти 30% на 10 відвідувачах кожна несе набагато менше доказовості, ніж ті самі відсотки на 10 000 відвідувачів кожна.

Це ймовірність побачити різницю принаймні такого розміру між двома групами, якби насправді не було реальної різниці між ними ("нульова гіпотеза"). Мале значення p (нижче вашого порогу значущості, наприклад 0,05 для 95% довіри) означає, що спостережені дані були б малоймовірними за цим припущенням відсутності різниці, що є доказом, не доведенням, реальної різниці, що існує.

Це діапазон правдоподібних значень для справжньої різниці в коефіцієнті конверсії між варіантом і контролем, не просто одна точкова оцінка. Якщо інтервал не перетинає нуль, це узгоджується зі значущим результатом; якщо перетинає нуль (означаючи, що "немає різниці" - правдоподібний результат), це узгоджується з незначущим, а ширина інтервалу відображає, наскільки точна оцінка.

Загалом ні, це називається "підглядання" і завищує вашу реальну частоту хибно-позитивних результатів понад обраний вами рівень довіри, тому що повторна перевірка дає випадковому шуму більше шансів перетнути поріг значущості. Визначте розмір вибірки чи тривалість заздалегідь (калькулятор розміру вибірки допомагає з цим) і перевіряйте результати лише після досягнення цього, а не зупиняйтесь в момент, коли бачите значущість.

Це використовує стандартний z-тест двох пропорцій, той самий базовий підхід, який використовує більшість платформ A/B тестування для бінарних метрик конверсії. Точні числа можуть трохи відрізнятися між інструментами залежно від корекцій неперервності, односторонніх проти двосторонніх припущень, чи байєсівських методів, які деякі платформи використовують натомість, тому сприймайте це як надійну загального призначення перехресну перевірку, а не очікуйте ідентичного значення p на кожній платформі.