A/B TEST - 2024년10월28일

• tag : AB_TEST | Blog |

정의

A/B TEST : 두 가지 이상의 버전을 비교하여 어떤 것이 더 나은 성과를 내는지 판단하는 실험 방법

A/B TEST 하는 이유

상관관계로부터 인과관계[ 정확히 말하면 인과관계일 가능성이 높은 것 ]를 찾아내기 위함이다.

A/B TEST 절차

1. 목표 설정 : 테스트의 목적과 개선하고자 하는 지표를 명확히 정의
2. 가설 수립 : 어떤 변경이 목표 달성에 도움이 될 것인지 가설을 세우기
3. 테스트 설계 : A안(기존안)과 B안(변경안)을 구체화하기 -> 테스트 기간, 샘플 크기, 분석 방법 등을 결정
4. 테스트 실행 : 사용자를 무작위로 A그룹과 B그룹으로 나누고, 각 그룹에 해당 버전을 노출시키기
5. 데이터 수집 : 설정한 기간 동안 각 그룹의 성과 데이터를 수집
6. 결과 분석 : 통계적 유의성을 검증하여 A안과 B안의 성과 차이를 분석
7. 결론 도출 및 적용 : 분석 결과를 바탕으로 더 나은 버전을 선택 -> 선택한 버전을 전체 사용자에게 적용
8. 지속적 개선 : 테스트 결과를 바탕으로 새로운 가설을 수립하고 추가 테스트를 진행

주의해야 할 점

1. Correlation does not imply causation : 상관관계는 인과관계를 뜻하지 않는다.

   - A/B TEST를 통해 인과관계를 알아내려면 두 집단을 나눠야 한다 => 임의적 할당(random assignment)
   > EX ] 남성 VS 여성, 이번주 사용자 VS 다음주 사용자
   - A/B TEST를 통해 찾아낸 결과가 범용성을 지니려면 애초에 실험에 참가한 집단이 모집단을 대표할 수 있어야 한다.
   

2. 테스트를 많이/자주하면 단기적으로 손해가 발생할 수 있다.

   > A/B 테스트 결과는 해당 테스트에만 국한되며, 새로운 테스트마다 새로운 기준선이 필요
   > 이는 끊임없는 테스트 사이클로 이어질 수 있으며, 장기적인 전략 수립을 방해할 수 있다.
   

3. A/B 테스팅의 결과는 계절 변화나 취향 변화 등 시간의 흐름에 따라 바뀔 수 있다.

   > EX ] 작년 겨울에 진행한 테스트는 언제까지 유효할까?
   

4. 사용자 행동의 완전한 이해 부족

   > A/B 테스트는 어떤 버전이 더 나은 성과를 보이는지는 알려주지만, 왜 그런지에 대한 깊이 있는 이해를 제공하지 않는다.
   

참고 사이트