7-3A/B 테스트

개요

문구, 제안, 보내는 시간 중 무엇이 더 나은지는 회의실에서 정하기 어려워요. 고객에게 직접 물어보는 방법이 A/B 테스트예요. 대상 고객을 무작위로 두 묶음으로 나눠 한 묶음에는 A를, 다른 묶음에는 B를 보내고 반응을 비교해요. 대조군이 “보낸 것과 안 보낸 것”을 비교한다면, A/B 테스트는 “이것과 저것”을 비교해요.

핵심 개념: 공정한 비교의 조건

차이가 우연인지 보는 법

1,000명씩에게 보내 A는 5%(50명), B는 6%(60명)가 반응했어요. B가 1%p 높아요. 그런데 똑같은 문구를 두 묶음에 보내도 반응률은 조금씩 달라요. 그래서 이 차이가 우연의 범위를 넘는지 봐요.

차이의 95% 범위 = 차이 ± 1.96 × √(A(1−A) ÷ n + B(1−B) ÷ n)

1,000명씩, 5%와 6%를 넣으면 범위는 −1.0 ~ +3.0%p예요. 범위 안에 0이 들어 있어요. “실제로는 차이가 없어도 우연히 이만큼 날 수 있다”는 뜻이라, 아직 B가 낫다고 말할 수 없어요. 그렇다고 두 문구가 같다는 뜻도 아니에요. 가려낼 만큼 사람이 모자란다는 뜻이에요.

같은 5%와 6%인데, 사람이 많아질수록 범위가 좁아져 0에서 떨어져요.

몇 명이 필요할까

기대하는 차이가 작을수록 많은 사람이 필요해요. 이 차이를 80% 확률로 가려내려면 그룹마다 대략 이만큼 필요해요.

그룹당 필요 인원 ≈ (1.96 + 0.84)² × (A(1−A) + B(1−B)) ÷ (B − A)²

5%와 6%라면 그룹마다 약 8,146명이에요. 5%와 8%처럼 차이가 크면 약 1,055명으로 충분해요. 고객이 적은 가게라면 작은 문구 차이보다 크게 다른 두 제안을 비교하는 편이 나아요. 숫자를 직접 움직여 봐요.