Calculadora de Significância de Teste A/B

Significa que a diferença observada entre as taxas de conversão do seu controle e variante é improvável de ter acontecido apenas por acaso, no nível de confiança escolhido. Não significa que o efeito seja grande ou praticamente importante; uma diferença real e minúscula pode ser estatisticamente significativa com visitantes suficientes, enquanto uma diferença que parece grande em uma amostra pequena pode não ser.

Essa é a clássica armadilha de amostra pequena: com poucos visitantes, o ruído aleatório sozinho pode facilmente produzir oscilações que parecem grandes na taxa de conversão e que desaparecem com mais dados. O valor p leva em conta o tamanho da amostra, não apenas o tamanho da diferença; uma diferença de 10% contra 30% em 10 visitantes cada carrega muito menos evidência do que as mesmas porcentagens em 10.000 visitantes cada.

É a probabilidade de observar uma diferença pelo menos tão grande entre os dois grupos se na verdade não houvesse diferença real entre eles (a "hipótese nula"). Um valor p pequeno (abaixo do seu limite de significância, como 0,05 para 95% de confiança) significa que os dados observados seriam improváveis sob essa suposição de nenhuma diferença, o que é evidência, não prova, de que existe uma diferença real.

É uma faixa de valores plausíveis para a diferença real na taxa de conversão entre variante e controle, não apenas uma única estimativa pontual. Se o intervalo não cruzar o zero, isso se alinha com um resultado significativo; se cruzar o zero (significando que "nenhuma diferença" é um resultado plausível), isso se alinha com um não significativo, e a largura do intervalo reflete quão precisa é a estimativa.

Geralmente não; isso é chamado de "espionagem" (peeking) e infla sua taxa real de falso positivo além do nível de confiança escolhido, porque verificar repetidamente dá ao ruído aleatório mais chances de cruzar o limiar de significância. Decida um tamanho de amostra ou duração com antecedência (uma calculadora de tamanho de amostra ajuda nisso) e verifique os resultados apenas quando isso for alcançado, em vez de parar no momento em que você vê significância.

Ele usa um teste z de duas proporções padrão, a mesma abordagem subjacente que a maioria das plataformas de teste A/B usa para métricas de conversão binárias. Os números exatos podem diferir ligeiramente entre ferramentas dependendo de correções de continuidade, suposições unicaudais vs bicaudais, ou métodos bayesianos que algumas plataformas usam em vez disso, então trate isso como uma verificação cruzada sólida de propósito geral em vez de esperar um valor p idêntico em cada plataforma.