A/B 테스트

A/B Test

무작위로 나눈 두 묶음에 한 가지만 다르게 건네고 반응을 비교하는 방법. 차이가 우연의 범위를 넘는지 보려면 묶음이 충분히 커야 하고, 기대하는 차이가 작을수록 더 많은 사람이 필요해요.

공식

차이의 95% 범위 = 차이 ± 1.96 × √(A(1−A) ÷ n + B(1−B) ÷ n)
그룹당 필요 인원 ≈ (1.96 + 0.84)² × (A(1−A) + B(1−B)) ÷ (B − A)²

계산 예시

1,000명씩 나눠 A 문구는 5%, B 문구는 6%가 반응했어요. 차이 1%p의 95% 범위는 −1.0 ~ +3.0%p라 0이 들어 있어요. 이 차이를 가려내려면 그룹마다 약 8,146명이 필요해요.

흔한 오해

"B가 1%p 높게 나왔으니 B가 낫다." 묶음이 작으면 우연만으로도 그만한 차이가 나요. 차이의 범위에 0이 들어 있는지 먼저 봐요.

만져 보기

A/B 테스트 판정기 열기 →

배우는 길

먼저 보면 좋아요: 대조군 반응률
여기서 배워요: 단원 7-3 A/B 테스트