11 min read

스타트업을 위한 실험 문서 템플릿 + 작성 가이드라인

그로스 실험, 프로덕트 실험, 마케팅 실험 등에 모두 이용할 수 있는 실험 문서 템플릿입니다.
스타트업을 위한 실험 문서 템플릿 + 작성 가이드라인

지난 번 글(스타트업을 위한 '실험'과 '가설' 개념 설명)에 이은 실험 시리즈. 그로스 실험, 프로덕트 실험, 마케팅 실험 등에 모두 이용할 수 있는 실험 문서 템플릿입니다.

실험을 설계하기 위해서는, 그리고 실험을 통해 학습하는 내용을 문서화해서 팀의 자산으로 남기기 위해서는 실험 문서가 필수적이죠. 이번 글에서는 실험 문서 템플릿뿐 아니라, 실험 문서에 어떤 내용을 채워 넣어야 하는지 작성 가이드를 제공해 드립니다. 실험 문화를 만들려는 팀에 도움이 되길 바랍니다. :)

실험 문서 템플릿

실험 문서 템플릿입니다. 복사해서 사용하시면 됩니다.

1. 실험 목적

2. 문제의식

3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)

4. 실험 계획

개요

실험 대상


인원


실험 기간 (예상)


실험 자극


지표

1차 성공 지표


가드레일 지표


모니터링 지표


결과 평가 기준


후속 조치 계획

실험 성공시


실험 실패시


결과가 애매할 때


5. 투입 시간 및 자원 예상치

PM

엔지니어링

디자인

기타





6. 실험 결과

성공/실패 여부


1차 성공 지표


가드레일 지표


모니터링 지표


7. Lessons Learned

8. 후속 가설/가정

실험 문서 작성 가이드라인

1. 실험 목적

  • 무엇을 위한 실험인지 작성합니다.
  • 예) 사용자 온보딩 개선하기: 신규 가입 회원이 1주일 내 A 기능을 이용하는 비율을 높여 더 많은 사용자들을 Activate 하기

2. 문제의식

  • 어떤 문제의식에 의해서 실험을 하게 되었는지 작성합니다.
  • 정량적 데이터, 고객 인터뷰, 사용자 테스트, 팀에서 나온 의견 등… 실험을 해야 하는 이유를 적습니다.
  • 참고할 만한 자료가 있으면 URL과 스크린샷 등을 첨부합니다.
    • 데이터 분석 문서 URL, Product Anayltics 차트 URL, 차트 스크린샷, 고객 인터뷰 정리 문서, 슬랙 대화 캡쳐 이미지 등

3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)

  • 이번 실험에서 어떤 가설을 테스트하고자 하는지, 관련해서 어떤 가정을 가지고 있는지 작성합니다.

(참고) ‘가설(Hypothesis)’과 ‘가정(Assumption)’은 어떻게 다른가?

  • 가설(Hypothesis)
    • ‘OOO을 하면 OOO에 OOO만큼의 변화가 생길 것이다’ 라는 식의,
    • 반증 가능(데이터를 통해서 거짓이라는 것을 입증할 수 있는)한 진술입니다.
    • 가설은 실험을 통해 테스트합니다.
  • 가정(Assumptions)
    • 우리가 고객, 시장에 대해 가지고 있는 추측들입니다.
    • 가정은 다양한 형태가 있습니다. 예를 들면 이런 것들.
      • ‘우리 잠재 고객은 OOOO라는 문제를 가지고 있을 것이다’
      • ‘OOOO라는 문제를 가지고 있는 사람이 많을 것이다.’
      • ‘고객이 전환하지 않고 이탈하는 이유는 OOOO일 것이다.’
      • ‘잠재 고객에게 도달하는 마케팅 채널로는 OOO 채널이 효과적일 것이다.’
    • 가정은 가설처럼 반증 가능한 진술은 아닙니다.
    • 아직 사실인지 아닌지 모르기 때문에, 가정을 그대로 믿고 많은 시간과 자원을 투입했다가는 비용을 낭비할 위험(Risk)이 있습니다. 그래서 가정 역시 사실인지 아닌지 확인할 필요가 있습니다.
  • 테스트할 가설은 최대한 구체적으로, 데이터로 반증 가능한 형태로 씁니다.
    • (테스트할 가설 예시) 광고에서 ‘회원가입 페이지’가 아니라 ‘제품을 이용할 수 있는 페이지’로 랜딩하도록 랜딩페이지를 변경하면 랜딩페이지에서 가입으로 전환하는 비율이 OO%에서 OO%로 증가할 것이다.
  • 확인할 가정은 반증 가능한 형태로 쓸 필요는 없지만, 그래도 가능한 한 구체적으로 씁니다.
    • (확인할 가정 예시) 랜딩페이지 유입자들이 회원 가입을 하지 않고 이탈하는 이유 중 주된 이유는 '서비스에서 사용자가 무엇을 할 수 있는지 볼 수 없다’일 것이다.

4. 실험 계획

개요

실험 대상

어떤 고객을 대상으로 실험할지 적습니다.

인원

몇 명에게 실험할지 적습니다.

실험 기간 (예상)

얼마나 오랫동안 실험을 진행할지 적습니다. 

실험 자극

실험 대상 고객에게 무엇을 할지(어떤 자극stimulus을 줄지) 작성합니다.


세부 기획을 작성하는 것은 아니고, 간단한 유저 스토리(User Story)를 적습니다. 세부 기획 문서는 별도로 만듭니다.

지표

1차 성공 지표

  • 실험을 통해 1차적으로 증가시키고자 하는 목표 지표입니다.

  • 성공/실패 여부를 판단하는 1차적 기준이 됩니다.

  • 전환율 증가를 위해서 하는 실험이라면 해당 전환율이 Primary Success Metric이 됩니다.

  • 지표를 어디서 확인할 것인지도 함께 적어 줍니다. (1차 성공지표, 가드레일 지표, 모니터링 지표 등)

    • Mixpanel을 통해 분석할지, DB에서 데이터를 추출할지, 아니면 다른 방법으로 데이터를 수집하고 측정할지 등을 적습니다.

    • 제품에서 새로 데이터를 수집해야 한다면 어떤 데이터(이벤트 혹은 프로퍼티)를 수집할지 작성합니다.

가드레일 지표

  • 실험 때문에 망가져서는 안 되는 지표입니다.

  • 하나의 실험은 특정 지표에 악영향을 끼칠 수도 있기 때문에, 가드레일 지표를 설정하고 확인하는 것이 필요합니다.

  • 예시)

    • 제품 속도: 어떤 실험은 제품 속도를 느리게 할 수 있습니다.

    • 다른 전환율: 한 단계에서 잘못된 방법을 써서 전환율을 인위적으로 높이면, 다른 단계에서 전환율이 낮아질 수 있습니다.

모니터링 지표

  • 하나의 실험으로 인해 사용자 행동이 변화하게 되고, 1차 성공지표 외에도 다른 지표들에 영향을 끼칠 수 있습니다.

  • 예를 들어, 전환율을 증가시키기 위해서 하는 실험을 했을 때도 방문 빈도, 세션 시간 등의 인게이지먼트 지표에 영향이 갈 수 있습니다.

  • 이런 지표들 중 모니터링하고 싶은 지표들을 적습니다.

결과 평가 기준

  • 실험 결과가 성공인지 실패인지, 어떤 기준으로 판단할지 기준을 작성합니다.

  • 지표를 기준으로 성공/실패를 판단할 경우, 어떤 경우에 실험 성공으로 판단할지 구체적인 기준을 숫자로 적습니다.

후속 조치 계획

실험 성공시

  • 실험 성공 시 무엇을 할지 계획합니다

  • 예시) 해당 기능을 전면적으로 배포한다.

실험 실패시

  • 실험 실패 시 무엇을 할지 계획합니다.

  • 예시) 해당 기능을 삭제한다.

결과가 애매할 때

  • 실험 결과가 애매할 때 무엇을 할지 계획합니다.

예시) 페이스북 광고 랜딩페이지 A/B 테스트를 해서, 실험군에게는 새로운 랜딩페이지를 보여주고, 대조군에게는 기존 랜딩페이지를 보여주는 실험의 경우.

개요

실험 대상

  • 페이스북 광고를 클릭해서 랜딩페이지에 유입되는 사용자

인원

  • 실험군: 1,000명

  • 대조군: 1,000명

실험 기간 (예상)

  • 기능 배포 후 1주

실험 자극

  • 대조군은 기존 랜딩페이지(회원 가입 페이지)에 랜딩시킨다.

  • 실험군은 A 기능을 이용할 수 있는 페이지로 랜딩시킨다

지표

1차 성공 지표

  • 지표: 랜딩 페이지 유입 > 회원 가입 전환율

  • 측정 방식: Mixpanel에서 확인한다.

가드레일 지표

  • 지표: 회원 가입자의 온보딩 플로우 완료율

    • 랜딩 페이지를 너무 ‘후킹’하게 만들 경우, 제품을 이용할 의도가 낮은 사람들까지 회원으로 가입할 수 있다. 이 경우 온보딩 플로우 완료율이 크게 낮아질 수 있다.

  • 측정 방식: Mixpanel에서 확인한다.

모니터링 지표

  • 지표: 친구초대 건수

    • 회원 가입 전환율이 높아져서 가입자가 많아지면 친구초대 지표에도 영향을 끼칠 수 있다.

  • 측정 방식: DB에서 추출해서 확인한다.

결과 평가 기준

  • 실험군(신규랜딩 페이지)의 회원 가입 전환율이 대조군보다 20% 이상 높을 경우 성공으로 판단한다.

후속 조치 계획

실험 성공시

  • 모든 페이스북 광고의 랜딩페이지를 신규안으로 변경한다.

실험 실패시

  • 신규 랜딩페이지를 없애고 기존 랜딩 페이지를 계속 운영한다.

결과가 애매할 때


5. 투입 시간 및 자원 예상치

  • PM, 디자인, 엔지니어링, 마케팅, 운영 등 얼마나 많은 시간을 투입할지 예상 시간을 적습니다.
  • 투입해야 하는 다른 자원(현금 등)이 있을 경우, 적습니다.

예시)

PM

엔지니어링

디자인

기타

4시간

12시간

8시간


6. 실험 결과

  • 실험을 완료한 뒤에 결과를 입력합니다.

성공/실패 여부

실험 결과가 성공인지 실패인지 적습니다


1차 성공 지표


지표 측정치를 적습니다.

첨부할 링크가 있으면 URL도 함께 넣습니다.

차트 이미지 등을 첨부하려면 표 아래에 추가로 첨부합니다.

가드레일 지표

모니터링 지표

7. Lessons Learned

  • 실험을 통해 무엇을 배웠는지 적습니다.
  • 이런 것들을 적으면 됩니다.
    • 우리가 당연하다고 생각했는데 사실은 그렇지 않았던 것
    • 고객과 시장에 대해 새로 알게 된 사실
    • 실험을 계획하고 진행하는 과정에서 시행착오를 겪으면서 알게 된 것

8. 후속 가설/가정

  • 실험을 통해 새롭게 생긴 가설/가정, 그래서 앞으로 검증하거나 확인해 봤으면 하는 가설/가정을 적습니다.

(2024.05.12 업데이트: 가설과 실험 개념 등을 비롯해 PM/PO들에게 필요한 기반 지식을 꾹꾹 눌러 담은 강의를 시작했습니다. 아래 링크를 클릭해서 강의를 살펴보실 수 있어요.)

시작하는 PM/PO들에게 알려주고 싶은 모든 것 | 김민우 - 인프런
김민우 | 프로덕트 매니저(PM/PO)로서의 전문성을 키우고 싶은 분들에게 알려주고 싶은 모든 것을 꾹꾹 눌러 담았습니다., ‘물경력’ 또는 ‘잡부’가 아닌, 전문성 있는 PM/PO 되기프로덕트 매니저(PM/PO)는 고유의 전문성을 제품 조직에 기여할 수 있는 직군입니다.…