챕터 1 - 우리가 실험을 하는 이유

다 읽고 나면: "출시 후 지표 지켜보기"가 실패하는 이유를 설명하고, 건강한 실험 문화를 판단하는 기준을 갖추게 됩니다.

• 출시 후 관찰의 착시: 통제되지 않는 외부 요인과 단순 선후 관계의 한계
• 교란변수(Confounder)와 무작위 배정(Random Assignment): 상관관계의 함정을 피하고 인과적 효과(Causal Effect)를 격리하는 원리
• A/B 테스트의 4대 목적: 1/3의 현실, 손실 방어선, 숨은 부작용 감지, 고객 학습과 복리식 개선
• 실험 평가 기준: 승률(Win Rate)의 위험성과 학습률(Learning Rate)의 중요성
• A/B 테스트의 한계: 표본 크기와 상호 간섭 등 올바른 실험을 위한 전제 조건

이번 챕터 1에서 다진 비교 프레임워크를 바탕으로, 이어지는 챕터들에서는 실제 실험 설계와 Readout 해석을 진행합니다.

---

직관이 만드는 위험한 착각

더 간결한 결제 흐름, 강조된 구매 버튼, 개선된 추천 모델 등 매력적인 아이디어가 있다고 가정해봅시다. 이때 흔히 저지르는 실수는 '일단 출시한 뒤 며칠간 지표의 추이를 관찰하다가 수치가 상승하면 성공으로 판단'해 버리는 일입니다.

데이터에 기반한 의사결정처럼 보이지만, 실제로는 제품 현장에서 가장 쉽게 빠지는 착시 현상 중 하나입니다. 왜 이 방식이 잘못되었는지 파악하는 것이 인과추론과 실험 설계의 출발점입니다.

핵심 문제는 외부 요인을 통제할 수 없다는 점입니다. 특정 기능을 반영한 시점에도 연휴, 마케팅 프로모션, 요금제 변경, 경쟁사 이슈 등 무수한 외부 요인이 동시에 작용합니다. 따라서 전환율이 상승하더라도 이것이 개편의 효과인지 외부 요인의 영향인지 구분하는 것은 불가능합니다. 단지 지표가 오른 시점과 출시 시점이 겹쳤다는 이유만으로 결과를 입맛대로 해석해 버리는 셈입니다.

핵심 정리: 현실 세계의 지표는 단 하나의 요인으로만 움직이지 않습니다. 따라서 출시 "이후" 지표가 개선되었다는 단순한 시점상의 전후 관계만으로는 인과관계를 입증할 수 없습니다.

상관관계(Correlation)가 만드는 착시

더 심각한 문제는, 우리가 단순하게 관찰하는 데이터가 때로는 교묘한 착시를 만들어낸다는 점입니다.

음악스트리밍 서비스인 '멜론' 데이터에서 "앱 크래시를 자주 겪는 사용자일수록 이탈률(Churn Rate)이 높다"는 경향이 발견되었다고 가정해 봅시다. 가장 손쉬운 해석은 '크래시가 고객 이탈의 직접적인 원인이므로, 버그를 고치면 이탈을 막을 수 있다'는 결론입니다.

하지만 정말 그럴까요? 크래시를 자주 경험하는 사용자 집단을 깊이 들여다보면 양상이 다를 수 있습니다. '헤비 유저(Heavy User)'라는 특성 자체가 두 가지 결과를 동시에 끌어올릴 수 있기 때문입니다. 앱을 매일 활발히 사용하므로 버그를 마주칠 확률(크래시 경험)이 높고, 동시에 헤비 유저일수록 앱에 대한 기대치가 높아 작은 불편에도 더 민감하게 이탈을 고려할 수 있습니다.

즉, 크래시와 이탈 사이에서 관찰되는 상관관계의 상당 부분은 '크래시의 직접적 영향'이 아니라, 그 뒤에 숨어 있는 헤비 유저라는 제3의 특성이 만들어낸 결과일 수 있습니다.

이처럼 두 변수 모두에 영향을 미치며 착시를 일으키는 숨은 요인을 Confounder(교란변수)라고 부릅니다. Confounder가 존재하는 상황에서는 단순 상관관계만으로 진짜 원인과 결과를 구분하기 어렵습니다.

따라서 관찰된 데이터의 한계를 넘어서기 위해서는, 교란변수의 개입을 차단하고 '인과적 효과(Causal Effect)'만을 격리해 내는 세심한 검증 설계가 필요합니다. Random Assignment(무작위 배정)를 통해 다른 모든 조건이 통제된 환경을 만들고, 오직 처치(Treatment)의 효과만 결과로 온전히 측정할 수 있게 됩니다.

해결책: 통제된 실험(Controlled Experiment)

A/B 테스트의 본질은 바로 이 '통제된 비교'에 있습니다. 사용자를 무작위로 두 그룹으로 나누어 한쪽에는 기존 버전(Control Group, 대조군)을, 다른 쪽에는 새로운 변경안(Treatment Group, 처치군)을 제공한 뒤 두 그룹의 지표를 비교하는 구조입니다.

이 구조가 강력한 힘을 발휘하는 핵심 원리는 Random Assignment(무작위 배정)에 있습니다. 사용자가 무작위로 할당되면, 두 그룹은 우리가 알고 있는 요인이든 알지 못하는 요인이든 관계없이 평균적으로 균등한 상태를 이루게 됩니다.

헤비 유저와 라이트 유저의 비율, 기기 환경, 브랜드 충성도 등은 물론이고, 두 그룹 모두 동일한 연휴 시즌과 동일한 마케팅 캠페인의 영향을 받게 됩니다. 따라서 두 그룹 사이에서 유의미한 지표 차이가 나타난다면, 이는 외부 교란변수가 아닌 우리가 제안한 변경안의 효과라고 해석할 수 있습니다.

(물론 무작위 배정은 '평균적으로' 균형을 맞추는 것이므로, 미세한 표본 차이로 인한 무작위 오차는 남아있을 수 있습니다. 이러한 우연한 잡음과 진짜 효과를 구분해 내는 것이 챕터 3에서 다룰 통계적 검정의 역할입니다.)

이러한 실험 방식은 테크 업계만의 독창적인 발명이 아닌, 오래전부터 검증되어 온 과학적 방법론의 핵심 축입니다. 복잡하고 다양한 변수가 얽혀 있는 문제일수록 "다른 모든 조건을 동일하게 통제하고, 오직 단 하나의 변수만 바꾼다"는 원칙이 필요합니다. 1950년대 소아마비 백신의 효과성 입증부터 오늘날 프로덕트의 사용자 경험 개선에 이르기까지, 관찰된 결과가 아닌 '인과 관계'를 밝혀내는 도구로서 통제된 실험은 동일한 원리로 작동합니다.

핵심 정리: Random Assignment(무작위 배정)는 비교하는 두 그룹의 조건들을 평균적으로 동등하게 맞춰줍니다. 이를 통해 외부 환경의 노이즈를 통제하고, 지표의 차이가 단순한 선후 관계가 아닌 인과적 변화임을 입증할 수 있습니다.

직관의 한계: 대부분의 아이디어는 실패합니다

실험을 처음 도입하는 팀이 가장 크게 놀라는 지점이 있습니다. 빅테크 기업들이 통제된 실험을 통해 아이디어를 객관적으로 측정하기 시작하면서 한 가지 분명한 사실이 드러났습니다. 대부분의 아이디어는 실제로 효과가 없다는 것입니다.

실험 분야의 권위자인 마이크로소프트의 Ron Kohavi가 정리한 유명한 경험칙에 따르면, 전체 실험 중 유의미한 개선을 만드는 비율은 약 3분의 1(1/3)에 불과합니다. 나머지 1/3은 지표에 아무런 변화를 주지 못하고, 나머지 1/3은 오히려 주요 지표를 악화시킵니다.

심지어 이는 일반적인 수준일 뿐, 이미 최적화가 고도화된 성숙한 제품에서는 이 승률이 10~20% 수준까지 떨어지기도 합니다(초기 Bing 검색엔진의 실험 데이터 기준). 신중하게 기획하고 자신 있게 제안한 변경안 5개 중 4개는 기존 버전을 이기지 못합니다.

이 사실을 깨닫는 순간, 실험을 바라보는 관점이 완전히 바뀌게 됩니다. A/B 테스트는 단순히 '내 가설의 성공을 입증받는 도구'가 아닙니다. 그런 목적이라면 80%의 확률로 실패를 경험하게 될 것입니다.

A/B 테스트를 실행하는 진짜 목적은 단순히 '어떤 안이 이겼는가'를 확인하는 것을 넘어 다음 4가지에 있습니다.

1. 손실을 막는 방어선: 지표를 깎아먹는 나쁜 변경안(실제 아이디어의 1/3 이상)이 전체 사용자에게 배포되는 것을 사전에 막아줍니다.
2. 숨은 부작용 감지: 주요 지표가 오르더라도, 이탈률 증가나 속도 저하처럼 다른 보조 지표가 조용히 망가지는 현상을 잡아냅니다.
3. 가설 검증을 통한 고객 학습: 실험이 실패하더라도 '왜 실패했는가'에 대한 명확한 원인을 배웁니다. 직관이 아닌 실제 사용자 행동 데이터를 통해 프로덕트를 이해하게 됩니다.
4. 다음 실험을 위한 복리식 개선: 단 한 번의 대박을 노리는 것이 아니라, 실험에서 얻은 배움을 발판 삼아 다음 개선안을 더 정교하게 다듬으며 지속적인 성장을 이끌어냅니다.

핵심 정리: 뛰어난 제품을 만드는 팀은 '항상 이기는 아이디어만 내는 팀'이 아닙니다. 가설을 적은 비용으로 검증하고, 나쁜 변경안을 빠르게 실패 처리하는 Fail-fast 문화를 바탕으로, 검증된 소수의 좋은 변경안만을 제품에 반영하는 시스템을 갖춘 팀입니다.

실험 평가지표의 전환: '승률'에서 '학습률'로

대부분의 아이디어가 실패한다는 현실을 고려할 때, 제품 팀을 승률(Win Rate, 실제 출시로 이어진 실험의 비율)로 평가하는 것은 위험한 함정이 될 수 있습니다. 승률이 지나치게 높다는 것은, 실패 위험이 적은 안전하고 진부한 변경안만 시도하고 있거나 A/B 테스트를 단순한 정당화 도구로 남용하고 있다는 신호일 수 있습니다.

조직의 지속 성장을 나타내는 더 건강한 지표는 학습률(Learning Rate, 실행 가능한 통찰을 얻은 실험의 비율)입니다. 여기에는 지표를 올린 성공안뿐만 아니라, 명확한 결론을 통해 "이 방향은 추진하지 않는다"고 확신을 갖고 의사결정한 실험까지 포함됩니다.

명확한 근거를 바탕으로 나쁜 아이디어를 폐기하는 것 역시 훌륭한 성과입니다. 실패할 변경안이 제품에 반영되는 것을 막았고, 더 가치 있는 다음 가설에 집중할 리소스를 지켜냈기 때문입니다.

핵심 정리: '승률' 중심의 평가 문화는 안정적인 시도만을 유도하지만, '학습률' 중심의 문화는 대담하고 가치 있는 검증을 독려합니다. 검증을 통해 나쁜 변경안 15개를 명확히 기각해 낸 팀이, 확실해 보이는 안전한 변경안 4개만을 형식적으로 검증한 팀보다 훨씬 더 많은 것을 조직적으로 배운 셈입니다.

A/B 테스트의 한계와 실무적 위치

A/B 테스트는 인과관계를 검증하는 정교한 수단이지만, 모든 상황에 만능으로 적용할 수 있는 것은 아닙니다. A/B 테스트가 올바르게 작동하려면 다음의 전제 조건들이 충족되어야 합니다.

• 충분한 표본 크기(Sample Size): 통계적으로 유의미한 차이를 탐지할 수 있을 만큼의 충분한 트래픽. (자세한 내용은 챕터 5에서 다룹니다)
• 상호 간섭의 통제(Network Effects / Spillover): 한 그룹 사용자의 행동이 다른 그룹에 영향을 미치지 않아야 함. (양면 마켓플레이스나 소셜 네트워크에서는 이 전제가 깨지기 쉬우며, 챕터 4에서 다룹니다)
• 단기 측정 가능성: 설정한 실험 기간 내에 유의미하게 관측 및 측정 가능한 지표.
• 합리적인 실행 비용: 변경안을 개발하고, 실제로 배포하고, 필요시 원복(Rollback)하는 데 드는 비용의 타당성.
• 결과에 기반한 의사결정 문화: 데이터가 지표 악화를 가리킬 때, 공들인 변경안이라도 기각할 수 있는 조직적 수용성.

전국 단위의 일괄 요금제 개편처럼 사용자를 무작위로 나눌 수 없거나 위 조건이 성립하지 않는 환경에서는 준실험(Quasi-experiment)이나 관찰 데이터 기반의 인과추론 기법이 필요합니다.

그럼에도 불구하고 A/B 테스트를 실행할 수 있는 조건이라면 이를 기본 표준(Gold Standard)으로 채택하는 것이 가장 안전하며, 데이터 성숙도가 높은 조직일수록 주요 의사결정의 상당 부분을 A/B 테스트를 통해 검증합니다.

---

실무에서의 핵심 역할: Readout 해석

현업의 데이터 분석가가 가장 자주 수행하는 임무 중 하나는 Readout(실험 결과 분석 리포트)을 해석하는 일입니다. 실험이 종료된 뒤 각 지표가 어떻게 움직였는지 다각도로 평가하고, 출시(Launch) 여부에 대한 최종 의사결정을 권고하는 과정입니다.

분석가의 핵심 역량은 단순히 수치를 나열하는 것을 넘어, 착시나 노이즈로 인한 오류를 잡아내고 타당한 결론을 내릴 수 있도록 통계적 판단을 제공하는 데 있습니다.

이 기초 과정 전체는 챕터 3에서 접하게 될 Readout을 다각도로 냉정하게 해석해 내는 능력을 기르는 데 초점을 맞추고 있습니다. 이번 챕터 1과 이어지는 챕터 2는 실제 리포트를 접했을 때 복잡한 지표와 용어들 속에서 길을 잃지 않도록 핵심 원리와 맥락을 다지는 단계입니다.

---

연습

1 - Confounder 찾기 [warmup]

분석 데이터를 확인해 보니 프로필 사진을 등록한 사용자의 90일 잔존율(Retention Rate)이 훨씬 높게 나타났습니다. 이에 PM이 다음과 같이 결론지었습니다: "모든 사용자에게 프로필 사진 등록을 유도하면 잔존율이 상승할 것입니다." 여기서 존재할 수 있는 교란변수(Confounder)는 무엇이며, 인과관계를 검증하기 위한 올바른 실험 설계는 무엇일까요?

정답 보기

교란변수(Confounder)는 '초기 서비스 관여도(Engagement)'입니다. 이미 제품에 애정을 느끼고 활발히 이용하는 사용자일수록 프로필 사진을 등록할 가능성이 높고, 동시에 서비스에 오래 남아있을 가능성도 높습니다. 즉, "프로필 사진 등록"은 기존 고관여 사용자의 특성을 보여주는 지표일 뿐, 잔존율을 직접 높이는 원인이 아닐 수 있습니다. 따라서 아직 서비스 몰입도가 낮은 사용자에게 사진 등록을 강제로 유도하더라도 잔존율에는 별다른 변화가 나타나지 않을 수 있습니다.

올바른 실험 설계: 사용자를 무작위 배정하여 일부 그룹에만 프로필 사진 등록 팝업을 노출하고(처치군), 나머지 그룹에는 기존 화면을 유지한 뒤(대조군) 두 그룹의 잔존율 차이를 비교합니다. 무작위 배정을 통해 두 그룹의 기존 서비스 관여도가 평균적으로 균등해지므로, 지표 차이가 발생한다면 이는 사용자의 자발적 선택이 아닌 '사진 등록 유도 기능'이 만들어낸 진짜 인과적 효과라고 판단할 수 있습니다.

2 - 어느 팀이 더 건강한 조직일까요? [core]

분기 실적 리뷰에서 두 제품 팀의 실험 성과가 다음과 같이 보고되었습니다.

경영진(VP)이 승률이 80%로 높은 Team B에게 보상을 제공하려 합니다. 데이터 분석가로서 어떤 의견을 제시해야 할까요?

정답 보기

Team A가 훨씬 더 성숙하고 건강한 실험 프로세스를 가동하고 있으므로, Team A에 보상해야 합니다.

Team B의 80% 승률은 성과 지표라기보다 경고 신호에 가깝습니다. 지나치게 높은 승률은 해당 팀이 이미 성공이 보장된 안전하고 정체된 변경안만 시도하고 있거나, A/B 테스트를 단순한 정당화 절차로 활용하고 있음을 의미합니다.

반면 Team A는 실패 위험이 있더라도 과감하고 임팩트 있는 가설에 도전하고 있습니다. 성공한 3건의 변경안은 큰 가치를 만들어냈고, 기각된 15건의 실험을 통해 잘못된 프로덕트 방향에 리소스가 낭비되는 것을 막았습니다. 또한 2건의 지표 악화 변경안이 프로덕트에 반영되는 것을 사전에 차단했습니다.

올바른 평가 체계는 승률(Win Rate)이 아닌 학습률(Learning Rate)이어야 합니다. 승률만으로 보상하면 조직 전체가 리스크를 회피하고 성장이 정체되는 결과를 초래합니다.

3 - 이 상황에서 A/B 테스트 결과를 신뢰할 수 있을까요? [stretch]

초기 베타 단계의 소셜 네트워크 앱에서 "친구 추천 알고리즘"을 새로 개편하려고 합니다. 팀에서 사용자 단위로 무작위 배정(Random Assignment)을 진행하여 A/B 테스트를 실행하려 합니다.

하지만 현황을 확인해 보니 두 가지 조건이 얽혀 있습니다.

1. 하루 활성 사용자(DAU)가 약 200명 수준인 초기 서비스입니다.
2. 추천 알고리즘이 효과를 발휘하여 처치군 사용자가 활성화되면, 대조군 사용자에게도 친구 신청을 보내 영향을 미칠 수 있습니다.

현재 계획된 설계 그대로 테스트를 진행했을 때, 결과를 신뢰할 수 있을까요?

정답 보기

A/B 테스트가 올바르게 작동하기 위한 핵심 전제 조건 2가지가 동시에 훼손되어 있으므로, 실험 결과는 신뢰하기 어렵습니다.

• 상호 간섭(Interference) 발생: 소셜 네트워크의 연결 구조 특성상, 처치군에서의 행동 변화가 대조군 사용자에게까지 영향을 미칩니다. 대조군이 '외부 영향이 차단된 순수한 비교 기준' 역할을 하지 못하므로, 두 그룹 간 지표 차이가 과소평가되거나 왜곡될 수 있습니다(챕터 4에서 자세히 다룹니다).
• 표본 크기(Sample Size) 부족: 하루 방문자 200명은 통계적으로 유의미한 지표 변화를 탐지하기에 트래픽이 턱없이 부족합니다. 적정 표본 크기를 산정하는 방법은 챕터 5에서 다룹니다.

이는 A/B 테스트 자체를 포기해야 한다는 의미가 아니라, 현재의 무작위 배정 방식과 표본 규모로는 인과관계를 올바르게 추론할 수 없다는 뜻입니다.

실무에서는 무작위 배정의 단위를 개별 사용자가 아닌 독립된 네트워크 클러스터나 지역 단위로 격리하여 간섭을 최소화하거나, 충분한 트래픽이 확보될 때까지 표본을 누적하는 방식을 채택합니다.

정리

• 단순 출시 후 지표 변화를 관찰하는 방식("출시 후 경과 관찰")이 인과관계를 입증하지 못하는 이유를 설명할 수 있습니다 (외부 요인을 통제하지 못함).
• 교란변수(Confounder)의 정의를 이해하고, 단순 상관관계(Correlation)가 왜 인과관계를 왜곡할 수 있는지 사례를 들어 설명할 수 있습니다.
• A/B 테스트가 통제된 실험(Controlled Experiment)인 이유와, 무작위 배정(Random Assignment)이 인과 추론에서 갖는 핵심적 역할을 설명할 수 있습니다.
• 대다수의 변경안이 지표 개선에 실패한다는 사실(약 1/3 개선 · 1/3 변화 없음 · 1/3 악화, 고도화된 프로덕트에서는 승률 10~20% 수준)이 실험 프로세스의 본질적 가치임을 이해합니다.
• 승률(Win Rate)의 한계를 파악하고, 학습률(Learning Rate) 중심의 실험 평가 체계를 설명할 수 있습니다.
• A/B 테스트를 성립시키기 위한 5가지 통계적·환경적 전제 조건(Sample Size 확보, 상호 간섭 통제, 단기 측정 가능성, 구현 비용, 의사결정 수용성)을 나열할 수 있습니다.

Cheat Sheet