A/B 테스트 가이드 - 기초

데이터 분석가가 현업에서 A/B 테스트를 처음 맡았을 때 필요한 모든 기초와 실무 프로세스를 한 권으로 끝내는 입문서입니다. 왜 단순 관찰이 실패하는지 다루는 인과추론 기초부터 시작해 가설 수립, SRM 검증과 Decision Tree 기반의 Readout 해석, MDE 기반의 Sample Size 계산, 그리고 OEC와 Goodhart's Law를 고려한 지표 설계까지 실무 순서 그대로 체계적으로 배웁니다. 첫 실험 설계부터 최종 의사결정까지 스스로 수행할 수 있는 탄탄한 실전 기초를 완성합니다.

> 목차 (Table of Contents)

챕터 0

통계 기초와 가설검정A/B 테스트 결과를 제대로 이해하기 위해 반드시 알아야 할 필수 통계 원리

챕터 1

우리가 실험을 하는 이유왜 '출시하고 지표를 지켜보기'는 실패하는가, confounder란 무엇인가, 그리고 통제된 비교가 왜 필요한가.

챕터 2

실험의 구성 요소가설, Randomization 단위, Cohort와 분모, OEC, 지표 역할; Readout의 모든 부품에 이름을 붙입니다.

챕터 3

Readout 해석하기SRM 신뢰 체크, p-value와 CI, Underpowered NULL, 그리고 Decision tree(의사결정 트리); 가장 핵심적인 스킬.

챕터 4

무작위 배정의 원리counterfactual, bias term, 그리고 왜 random assignment가 그걸 상쇄하는가; 그리고 현실에서 깨지는 하나의 가정.

챕터 5

표본 크기와 기간 산정기준선, MDE, SE로부터 필요한 사용자 수와 기간을 추정하는 법.

챕터 6

좋은 지표 설계하기민감성, 신뢰성, 적시성 3대 기준, OEC 만들기, Goodhart's Law와 게이밍 방어, 측정 기간 설정.

챕터 7

실전 캡스톤과 가장 흔한 다섯가지 함정가장 일어나기 쉬운 다섯 가지 함정과 Twyman's Law, 처음부터 끝까지 이어지는 실전 사례.