Калькулятор розміру вибірки A/B-тесту

Це найменша реальна різниця між вашим контролем і варіантом, яку ви насправді хочете, щоб тест міг виявити. Встановлення її занадто малою (гонитва за крихітними покращеннями) вимагає величезного розміру вибірки, тоді як встановлення занадто великою означає, що тест може пропустити дійсно значуще, але менше покращення. Абсолютний режим додає відсоткові пункти безпосередньо до базової лінії (10% + 2пп = 12%); відносний режим масштабує базову лінію на відсоток (10% x 1,20 = 12%).

Рівень довіри контролює вашу толерантність до хибно-позитивного результату, оголошення переможця, коли насправді немає різниці (95% рівень довіри означає 5% шанс, що це станеться). Статистична потужність контролює вашу толерантність до хибно-негативного результату, пропуску реальної різниці, яка насправді існує (80% потужність означає 80% шанс правильно виявити ефект, якщо він існує, 20% шанс пропустити його).

Кожне додаткове порівняння з контролем - це ще один шанс для хибно-позитивного результату проскочити, тому тестування більшої кількості варіантів на тому самому рівні довіри за порівняння тихо підвищує вашу справжню загальну частоту помилок. Корекція Бонферроні звужує рівень довіри для кожного окремого порівняння, щоб об'єднаний ризик серед усіх них все ще відповідав вашому початково обраному рівню довіри, ціною необхідності більшого розміру вибірки на варіант.

Надійне виявлення малих ефектів за своєю суттю дорого коштує з точки зору розміру вибірки, необхідний розмір зростає приблизно обернено пропорційно квадрату ефекту, який ви намагаєтесь виявити, тому зменшення MDE вдвічі приблизно вчетверо збільшує необхідний розмір вибірки. Це реальне статистичне обмеження, а не недолік в обчисленні, це той самий компроміс, з яким стикається кожна платформа A/B тестування.

Це ділить загальний необхідний розмір вибірки для всіх варіантів на вашу кількість щоденних відвідувачів (розподілену так, як фактично розподілений ваш трафік між варіантами), і округлює вгору до найближчого цілого дня. Це планова оцінка, що передбачає стабільний, послідовний трафік, фактична тривалість тесту може бути довшою, якщо трафік падає, чи якщо ви також хочете врахувати тижневі цикли в поведінці користувачів.

Це передбачає стандартний z-тест двох пропорцій, що порівнює коефіцієнти конверсії, найпоширеніший підхід для типових A/B тестів, що вимірюють бінарний результат, наприклад "конвертувалось чи ні". Якщо ви натомість вимірюєте безперервну метрику, наприклад дохід чи час на сторінці, застосовувалась би інша формула розміру вибірки на основі дисперсії цієї метрики.