A/B 테스트 유의성 계산기

이는 선택한 신뢰 수준에서 대조군과 변형 전환율 간에 관찰된 차이가 단순히 우연에 의해 발생했을 가능성이 낮다는 것을 의미합니다. 효과가 크거나 실질적으로 중요하다는 의미는 아닙니다. 방문자가 충분하면 작지만 실제 차이도 통계적으로 유의할 수 있고, 소규모 표본에서 크게 보이는 차이는 유의하지 않을 수 있습니다.

이는 전형적인 소표본 함정입니다. 방문자가 적으면 무작위 노이즈만으로도 전환율에서 크게 보이는 변동이 쉽게 발생할 수 있으며, 데이터가 늘어나면 사라집니다. p값은 차이의 크기뿐만 아니라 표본 크기도 고려합니다. 각각 10명의 방문자에서 10% 대 30% 차이는 각각 10,000명의 방문자에서의 동일한 비율보다 증거력이 훨씬 적습니다.

이는 실제로 두 그룹 간에 진짜 차이가 없다면("귀무가설") 이 정도로 큰 차이를 볼 확률입니다. 작은 p값(95% 신뢰도의 경우 0.05와 같은 유의성 임계값 미만)은 관찰된 데이터가 차이 없음 가정 하에서는 있을 법하지 않다는 것을 의미하며, 이는 실제 차이가 존재한다는 증명이 아니라 증거입니다.

이는 변형과 대조군 간의 전환율에서 실제 차이에 대한 타당한 값의 범위이며, 단일 점 추정치가 아닙니다. 구간이 0을 넘지 않으면 유의한 결과와 일치합니다. 구간이 0을 넘으면("차이 없음"이 타당한 결과라는 의미) 비유의 결과와 일치하며, 구간의 너비는 추정치가 얼마나 정확한지를 반영합니다.

일반적으로 아니요. 이를 "피킹(peeking)"이라고 하며, 반복적으로 확인하면 무작위 노이즈가 유의성 임계값을 넘을 기회가 더 많아지기 때문에 선택한 신뢰 수준을 넘어 실제 위양성률이 부풀려집니다. 표본 크기나 기간을 미리 정하고(표본 크기 계산기가 도움이 됨) 유의성이 보이는 순간 멈추기보다는 그 값에 도달했을 때만 결과를 확인하세요.

이것은 표준 두 비율 z검정을 사용하며, 대부분의 A/B 테스트 플랫폼이 이진 전환 지표에 사용하는 것과 동일한 기본 접근법입니다. 연속성 보정, 단측 대 양측 가정, 또는 일부 플랫폼이 대신 사용하는 베이지안 방법에 따라 정확한 숫자는 도구마다 약간 다를 수 있으므로, 모든 플랫폼과 동일한 p값을 기대하기보다는 견고한 범용 교차 확인으로 취급하세요.