Calculadora de Tamanho de Amostra para Teste A/B

É a menor diferença real entre seu controle e variante que você realmente quer que o teste consiga detectar. Defini-la muito pequena (buscando melhorias minúsculas) exige um tamanho de amostra enorme, enquanto defini-la muito grande significa que o teste pode deixar passar uma melhoria genuinamente significativa, porém menor. O modo absoluto soma pontos percentuais diretamente à referência (10% + 2pp = 12%); o modo relativo escala a referência por uma porcentagem (10% x 1,20 = 12%).

O nível de confiança controla sua tolerância a um falso positivo, declarar um vencedor quando na verdade não há diferença (um nível de confiança de 95% significa 5% de chance disso acontecer). O poder estatístico controla sua tolerância a um falso negativo, deixar passar uma diferença real que realmente existe (poder de 80% significa 80% de chance de detectar corretamente o efeito se ele existir, 20% de chance de deixá-lo passar).

Cada comparação extra contra o controle é mais uma chance de um falso positivo passar despercebido, então testar mais variantes no mesmo nível de confiança por comparação eleva silenciosamente sua taxa de erro real geral. A correção de Bonferroni aperta o nível de confiança de cada comparação individual para que o risco combinado entre todas ainda corresponda ao nível de confiança originalmente escolhido, ao custo de precisar de um tamanho de amostra maior por variante.

Detectar pequenos efeitos de forma confiável é inerentemente caro em termos de tamanho de amostra; o tamanho necessário cresce aproximadamente com o inverso do quadrado do efeito que você está tentando detectar, então cortar o MDE pela metade aproximadamente quadruplica o tamanho de amostra necessário. Essa é uma restrição estatística real, não uma falha no cálculo; é a mesma compensação que toda plataforma de teste A/B enfrenta.

Ele divide o tamanho total de amostra necessário entre todas as variantes pela sua contagem de visitantes diários (dividida conforme seu tráfego realmente se divide entre as variantes) e arredonda para o dia inteiro mais próximo. É uma estimativa de planejamento que assume tráfego estável e consistente; a duração real do teste pode ser maior se o tráfego cair ou se você também quiser considerar ciclos semanais no comportamento do usuário.

Ele assume um teste z de duas proporções padrão comparando taxas de conversão, a abordagem mais comum para testes A/B típicos que medem um resultado binário como "converteu ou não". Se você estiver medindo uma métrica contínua, como receita ou tempo na página, uma fórmula diferente de tamanho de amostra baseada na variância dessa métrica se aplicaria.