A/B 테스트 표본 크기 계산기

이는 테스트가 실제로 감지할 수 있기를 원하는 대조군과 변형 간의 가장 작은 실제 차이입니다. 너무 작게 설정하면(작은 개선을 추구) 엄청난 표본 크기가 필요하고, 너무 크게 설정하면 테스트가 진짜 의미 있지만 더 작은 개선을 놓칠 수 있습니다. 절대 모드는 백분율 포인트를 기준선에 직접 더합니다(10% + 2pp = 12%). 상대 모드는 기준선을 백분율로 조정합니다(10% x 1.20 = 12%).

신뢰 수준은 실제로 차이가 없는데 승자를 선언하는 위양성에 대한 허용도를 제어합니다(95% 신뢰 수준은 그럴 확률이 5%임을 의미). 통계적 검정력은 실제로 존재하는 진짜 차이를 놓치는 위음성에 대한 허용도를 제어합니다(80% 검정력은 효과가 존재할 때 이를 올바르게 감지할 확률이 80%, 놓칠 확률이 20%임을 의미).

대조군과의 비교가 추가될 때마다 위양성이 몰래 통과할 기회가 하나씩 더 생기므로, 비교당 동일한 신뢰 수준으로 더 많은 변형을 테스트하면 실제 전체 오류율이 조용히 높아집니다. 본페로니 보정은 각 개별 비교의 신뢰 수준을 강화하여, 변형당 더 큰 표본 크기가 필요한 대가로 모든 비교의 결합 위험이 원래 선택한 신뢰 수준과 여전히 일치하도록 합니다.

작은 효과를 안정적으로 감지하는 것은 표본 크기 면에서 본질적으로 비용이 많이 듭니다. 필요한 크기는 감지하려는 효과의 역제곱에 대략 비례하여 증가하므로, MDE를 절반으로 줄이면 필요한 표본 크기가 약 4배로 늘어납니다. 이는 계산상의 결함이 아니라 실제 통계적 제약이며, 모든 A/B 테스트 플랫폼이 직면하는 동일한 트레이드오프입니다.

모든 변형에 필요한 총 표본 크기를 일일 방문자 수(실제 트래픽이 변형 간에 나뉘는 방식대로)로 나누고 가장 가까운 정수일로 반올림합니다. 이는 꾸준하고 일관된 트래픽을 가정한 계획 추정치이며, 트래픽이 감소하거나 사용자 행동의 주간 주기를 고려하고 싶다면 실제 테스트 기간은 더 길어질 수 있습니다.

전환율을 비교하는 표준 두 비율 z검정을 가정하며, 이는 "전환했다/안 했다"와 같은 이진 결과를 측정하는 일반적인 A/B 테스트에서 가장 흔한 접근법입니다. 대신 수익이나 페이지 체류 시간과 같은 연속적인 지표를 측정하는 경우, 해당 지표의 분산에 기반한 다른 표본 크기 공식이 적용됩니다.