A/B 테스트 판정기
그룹당 인원과 두 반응률을 움직이면, 그 차이가 우연의 범위를 넘는지와 가려내는 데 몇 명이 필요한지 바로 보여요.
차이(B − A) +1.00%p 95% 범위 −1.00 ~ +3.00%p
차이의 95% 범위에 0이 들어 있어요. 우연이어도 이만큼은 차이 날 수 있어요.
이 차이를 가려내려면 그룹마다 약 8,146명이 필요해요(80% 확률).
두 문구를 무작위로 나눈 두 묶음에 보냈어요. A와 B의 반응률이 1%p 다르다면 B가 정말 나은 걸까요, 우연일까요. 그룹당 인원과 두 반응률을 움직이면 차이의 95% 범위가 막대로 그려져요. 막대가 0을 걸치면 우연이어도 그만한 차이가 날 수 있다는 뜻이에요. 같은 1%p 차이도 인원이 늘면 막대가 좁아져 0에서 떨어지는 것을 봐요. 이 차이를 가려내려면 그룹마다 몇 명이 필요한지도 함께 보여요.