“AB테스트 하긴 했는데… 이 결과가 진짜 유의미한 걸까?”
이런 생각을 해본 적 있으신가요?
한 온라인 교육 플랫폼은 강의 상세 페이지를 수정하여 강의 구매 전환율을 높이고자 했어요.
기존 그룹(A)에서는 강의 소개와 수강료만 표시되고, 새로운 그룹(B)에서는 커리큘럼과 강사 정보를 추가하여 두번의 테스트를 진행했어요.
여기서 퀴즈!두 번의 테스트 중 어떤 테스트가 더 유의미한 결과라고 말할 수 있을까요?
첫 번째 테스트에서는 A그룹과 B그룹의 전환율이 각각 5%와 5.5%로, 0.5%의 차이가 있고,
두 번째 테스트에서는 A그룹과 B그룹의 전환율이 각각 10%와 15%로, 5%의 차이가 나타났어요.
그렇다면 두번째 테스트가 전환율 차이가 크니 “두 번째 테스트가 더 유의미하다”라고 결론 내리면 될까요?
마켓핏랩 솔루션즈의 공식 뉴스레터입니다.