언어 무료로 시작하기 →

이야기 · 데이터

너무 예쁜 테스트 결과

당신은 그로스 책임자다. 지난주 새 광고 채널 X로 A/B 테스트를 했더니 전환율이 대조군보다 18% 높게 나왔다. 상사는 다음 분기 예산 4억 원의 절반을 채널 X로 옮길지 묻는다. 당신은 분석가 지훈에게 자세한 내용을 확인하러 간다.

대화 상대

지훈(데이터 분석가)

(안경을 밀어 올리며) 보고서 보셨어요? 뭐가 궁금하세요?

처음에 물어볼 만한 질문

“테스트는 얼마 동안 돌렸어요?”
“18%는 어떤 사용자에게서 나왔어요?”
“이 결과, 얼마나 확신해요?”

지훈은 모든 것을 먼저 말하지 않아요. 중요한 것 중에는 제대로 파고들어야만 나오는 것도 있어요.

이 이야기로 연습하는 질문 습관

다른 설명이 있는지 찾기: 예를 들어 “다른 원인일 수도 있지 않아?”
말하지 않은 나쁜 면 묻기: 예를 들어 “최악의 경우엔 어떻게 돼?”
숫자 뒤의 사정 확인하기: 예를 들어 “얼마에서 얼마로? 뭐랑 비교해서?”
근거가 어디서 왔는지 묻기: 예를 들어 “그런 사례가 몇 개야? 누가 그래?”

결정

충분히 들었다면 지훈에게 얼굴을 보고 답을 줘요. 고를 수 있는 결정은 다음과 같아요:

다음 분기에 2억 원을 채널 X로 옮긴다
4천만 원으로 신규 사용자만 보는 4주 테스트를 한다
채널 X는 접고 지금처럼 간다
먼저 단가를 협상하고, 결과를 보며 단계적으로 늘린다

그다음 1년 뒤에 무슨 일이 있었는지 읽고, 결정이 얼마나 타당했는지 확인하고, 대화의 중요한 순간마다 피드백과 더 나은 표현을 받아요.

이 대화를 무료로 연습해 보세요. 새 계정은 2판 무료, 한 판은 10분이 안 걸려요.

「너무 예쁜 테스트 결과」 플레이하기 →

다른 이야기