나무가 아닌 숲을 보는 방법: Second-Order Thinking

데이터 분석을 하다 보면 종종 '지표를 올리는 것'에만 매몰된다.

모델 성능이 오르면 성공이라 믿고, 지표가 개선되면 실험이 통했다고 말한다. 하지만 정말 그게 전부일까?

좋은 데이터 분석가는 단기적인 결과에만 집중하지 않는다. 우리가 준 변화가 프로덕트에 전반적으로 어떤 영향을 미칠지 선제적으로 생각한다. 즉, Second-Order Thinking을 하는 것이다.

예를 들어보자.

1. 가격 할인 쿠폰을 더 많이 뿌렸더니 신규 구매자가 급증했다. 하지만 몇 주 뒤 "쿠폰이 없으면 안 사요"라는 고객 수가 늘기 시작한다. 단기 매출은 올랐지만 장기적으로는 '할인된 가격에 길든 고객'이 생겨버린 것이다.

2. 챗봇 상담 자동화율을 높였더니 고객센터의 처리량이 줄었다. 그런데 실제로 상담 퀄리티가 안 좋아져 해결이 안 된 채 "불만이 조용히 쌓이는 고객"이 늘어났다. 지표는 좋아졌지만 고객 만족도는 떨어지고 말았다.

3. PUSH 알림 클릭률을 높였더니 앱 방문이 증가했다. 하지만 알림을 너무 자주 보내다 보니 "알림을 아예 꺼버린 유저"가 생긴다. 결과적으로 장기 리텐션은 더 낮아졌다.

이건 모두 Second-Order Thinking을 하지 못했기 때문에 생긴 문제다. 단순 비즈니스 지표 미스가 아니다. 우리가 Second-Order Thinking을 하려면 단순히 숫자를 보는 것만으로는 부족하다.

분석 기간을 늘린다. 단기 성과뿐 아니라 1주, 2주, 1개월, 3개월 후의 잔존 효과를 깊이 분석한다.

다른 메트릭을 함께 모니터링한다. 전환율이 올랐을 때 이탈률, 불만 접수량, 평균 체류 시간과 같은 guardrail metric을 같이 본다.

행동 패턴의 변화를 관찰한다. 변화를 준 뒤에 고객이 새로운 루틴을 만들고 있는지, 아니면 어디선가 이탈이 발생하는지 확인한다.

결국 좋은 데이터 분석가는 나무(tree)만 보지 않는다. 숲(forest)을 본다.