A/B 테스트 설계의 핵심: 지표의 위계(Hierarchy)

A/B 테스트에서 지표가 올랐다고 해서, 그 실험이 성공한 건 아니다!

이전 글에서 A/B 테스트는 통계보다 '설계'가 중요하다고 이야기했다. 그 설계의 핵심은 결국 '무엇을 실험 성공으로 정의할 것인가'를 합의하는 과정이다.

실무에서는 한 가지 지표를 올리는 건 사실 어렵지 않다. 정말 어려운 건 다른 중요한 가치를 훼손하지 않으면서 그 지표를 올리는 일이다.

그래서 분석가는 실험을 설계할 때 가장 먼저 지표의 위계(Hierarchy)를 만든다. 단순한 지표 나열이 아니라 각 지표에 명확한 역할과 책임을 부여하는 것이다.

Primary metric (의사결정의 기준) 실험의 목적 그 자체이자 성공 여부를 가르는 단 하나의 지표다. 이 지표가 유의미하게 올라야만 후보안을 선택한다. 예: 광고 매출, 구매 전환율

Guardrail metric (안전장치) 성공을 위해 절대 타협할 수 없는 비즈니스/테크 마지노선이다. Primary metric이 아무리 올라도 이 지표가 훼손되면 실험은 실패다. 예: 앱 로딩 속도, 리텐션, CS 문의량

Secondary metric (맥락) 실험의 성공/실패를 결정하진 않지만 결과의 원인을 설명해 주는 단서다. 결과가 왜 이렇게 나왔는지 행동의 맥락을 설명한다. 예: 스크롤 깊이, 특정 버튼 클릭 수

이 기준이 명확하지 않으면 팀은 눈앞에 오른 숫자(Primary metric)에만 집중한 채 서비스가 서서히 망가지고 있다는 신호(Guardrail metric)를 놓치게 된다.

결국 좋은 실험 설계란 "무엇을 성장시킬 것인가"만큼이나 "무엇을 지켜낼 것인가"를 명확히 하는 과정이다.