Калькулятор размера выборки A/B-теста

Это наименьшая реальная разница между вашим контролем и вариантом, которую вы действительно хотите, чтобы тест мог обнаружить. Слишком маленькое значение (погоня за крошечными улучшениями) требует огромного размера выборки, а слишком большое означает, что тест может пропустить действительно значимое, но меньшее улучшение. Абсолютный режим прибавляет процентные пункты напрямую к базовому показателю (10% + 2 п.п. = 12%); относительный режим масштабирует базовый показатель на процент (10% x 1,20 = 12%).

Уровень достоверности определяет допустимую вероятность ложноположительного результата - объявления победителя, когда на самом деле разницы нет (уровень достоверности 95% означает 5%-ную вероятность этого). Статистическая мощность определяет допустимую вероятность ложноотрицательного результата - пропуска реально существующей разницы (мощность 80% означает 80%-ную вероятность правильно обнаружить эффект, если он есть, и 20%-ную вероятность его пропустить).

Каждое дополнительное сравнение с контролем - это ещё один шанс проскочить ложноположительному результату, поэтому тестирование большего числа вариантов при одном и том же уровне достоверности на сравнение незаметно повышает вашу истинную общую частоту ошибок. Поправка Бонферрони ужесточает уровень достоверности для каждого отдельного сравнения, чтобы совокупный риск по всем ним по-прежнему соответствовал изначально выбранному уровню достоверности, ценой необходимости большего размера выборки на вариант.

Надёжное обнаружение малых эффектов по своей природе требует больших затрат с точки зрения размера выборки - необходимый размер растёт примерно обратно пропорционально квадрату эффекта, который вы пытаетесь обнаружить, поэтому уменьшение MDE вдвое примерно вчетверо увеличивает требуемый размер выборки. Это реальное статистическое ограничение, а не недостаток расчёта, с этим же компромиссом сталкивается каждая платформа A/B-тестирования.

Он делит общий необходимый размер выборки по всем вариантам на количество ежедневных посетителей (распределённых так, как реально распределяется ваш трафик между вариантами), и округляет до целого дня. Это плановая оценка, предполагающая стабильный, постоянный трафик; фактическая продолжительность теста может быть больше, если трафик падает или если вы также хотите учесть недельные циклы в поведении пользователей.

Предполагается стандартный z-тест для двух долей, сравнивающий коэффициенты конверсии - наиболее распространённый подход для типичных A/B-тестов, измеряющих бинарный результат вроде «конвертировал или нет». Если вместо этого вы измеряете непрерывную метрику, например доход или время на странице, применялась бы другая формула размера выборки, основанная на дисперсии этой метрики.