스타트업을 위한 실험 문서 템플릿 + 작성 가이드라인
지난 번 글(스타트업을 위한 '실험'과 '가설' 개념 설명)에 이은 실험 시리즈. 그로스 실험, 프로덕트 실험, 마케팅 실험 등에 모두 이용할 수 있는 실험 문서 템플릿입니다.
실험을 설계하기 위해서는, 그리고 실험을 통해 학습하는 내용을 문서화해서 팀의 자산으로 남기기 위해서는 실험 문서가 필수적이죠. 이번 글에서는 실험 문서 템플릿뿐 아니라, 실험 문서에 어떤 내용을 채워 넣어야 하는지 작성 가이드를 제공해 드립니다. 실험 문화를 만들려는 팀에 도움이 되길 바랍니다. :)
실험 문서 템플릿
실험 문서 템플릿입니다. 복사해서 사용하시면 됩니다.
1. 실험 목적
2. 문제의식
3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)
4. 실험 계획
개요 | |
실험 대상 | |
인원 | |
실험 기간 (예상) | |
실험 자극 | |
지표 | |
1차 성공 지표 | |
가드레일 지표 | |
모니터링 지표 | |
결과 평가 기준 | |
후속 조치 계획 | |
실험 성공시 | |
실험 실패시 | |
결과가 애매할 때 | |
5. 투입 시간 및 자원 예상치
PM | 엔지니어링 | 디자인 | 기타 |
6. 실험 결과
성공/실패 여부 | |
1차 성공 지표 | |
가드레일 지표 | |
모니터링 지표 |
7. Lessons Learned
8. 후속 가설/가정
실험 문서 작성 가이드라인
1. 실험 목적
- 무엇을 위한 실험인지 작성합니다.
- 예) 사용자 온보딩 개선하기: 신규 가입 회원이 1주일 내 A 기능을 이용하는 비율을 높여 더 많은 사용자들을 Activate 하기
2. 문제의식
- 어떤 문제의식에 의해서 실험을 하게 되었는지 작성합니다.
- 정량적 데이터, 고객 인터뷰, 사용자 테스트, 팀에서 나온 의견 등… 실험을 해야 하는 이유를 적습니다.
- 참고할 만한 자료가 있으면 URL과 스크린샷 등을 첨부합니다.
- 데이터 분석 문서 URL, Product Anayltics 차트 URL, 차트 스크린샷, 고객 인터뷰 정리 문서, 슬랙 대화 캡쳐 이미지 등
3. 테스트할 가설(Hypothesis) / 확인할 가정(Assumptions)
- 이번 실험에서 어떤 가설을 테스트하고자 하는지, 관련해서 어떤 가정을 가지고 있는지 작성합니다.
(참고) ‘가설(Hypothesis)’과 ‘가정(Assumption)’은 어떻게 다른가?
- 가설(Hypothesis)
- ‘OOO을 하면 OOO에 OOO만큼의 변화가 생길 것이다’ 라는 식의,
- 반증 가능(데이터를 통해서 거짓이라는 것을 입증할 수 있는)한 진술입니다.
- 가설은 실험을 통해 테스트합니다.
- 가정(Assumptions)
- 우리가 고객, 시장에 대해 가지고 있는 추측들입니다.
- 가정은 다양한 형태가 있습니다. 예를 들면 이런 것들.
- ‘우리 잠재 고객은 OOOO라는 문제를 가지고 있을 것이다’
- ‘OOOO라는 문제를 가지고 있는 사람이 많을 것이다.’
- ‘고객이 전환하지 않고 이탈하는 이유는 OOOO일 것이다.’
- ‘잠재 고객에게 도달하는 마케팅 채널로는 OOO 채널이 효과적일 것이다.’
- 가정은 가설처럼 반증 가능한 진술은 아닙니다.
- 아직 사실인지 아닌지 모르기 때문에, 가정을 그대로 믿고 많은 시간과 자원을 투입했다가는 비용을 낭비할 위험(Risk)이 있습니다. 그래서 가정 역시 사실인지 아닌지 확인할 필요가 있습니다.
- 테스트할 가설은 최대한 구체적으로, 데이터로 반증 가능한 형태로 씁니다.
- (테스트할 가설 예시) 광고에서 ‘회원가입 페이지’가 아니라 ‘제품을 이용할 수 있는 페이지’로 랜딩하도록 랜딩페이지를 변경하면 랜딩페이지에서 가입으로 전환하는 비율이 OO%에서 OO%로 증가할 것이다.
- 확인할 가정은 반증 가능한 형태로 쓸 필요는 없지만, 그래도 가능한 한 구체적으로 씁니다.
- (확인할 가정 예시) 랜딩페이지 유입자들이 회원 가입을 하지 않고 이탈하는 이유 중 주된 이유는 '서비스에서 사용자가 무엇을 할 수 있는지 볼 수 없다’일 것이다.
4. 실험 계획
개요 | |
실험 대상 | 어떤 고객을 대상으로 실험할지 적습니다. |
인원 | 몇 명에게 실험할지 적습니다. |
실험 기간 (예상) | 얼마나 오랫동안 실험을 진행할지 적습니다. |
실험 자극 | 실험 대상 고객에게 무엇을 할지(어떤 자극stimulus을 줄지) 작성합니다. 세부 기획을 작성하는 것은 아니고, 간단한 유저 스토리(User Story)를 적습니다. 세부 기획 문서는 별도로 만듭니다. |
지표 | |
1차 성공 지표 |
|
가드레일 지표 |
|
모니터링 지표 |
|
결과 평가 기준 |
|
후속 조치 계획 | |
실험 성공시 |
|
실험 실패시 |
|
결과가 애매할 때 |
|
예시) 페이스북 광고 랜딩페이지 A/B 테스트를 해서, 실험군에게는 새로운 랜딩페이지를 보여주고, 대조군에게는 기존 랜딩페이지를 보여주는 실험의 경우.
개요 | |
실험 대상 |
|
인원 |
|
실험 기간 (예상) |
|
실험 자극 |
|
지표 | |
1차 성공 지표 |
|
가드레일 지표 |
|
모니터링 지표 |
|
결과 평가 기준 |
|
후속 조치 계획 | |
실험 성공시 |
|
실험 실패시 |
|
결과가 애매할 때 | |
5. 투입 시간 및 자원 예상치
- PM, 디자인, 엔지니어링, 마케팅, 운영 등 얼마나 많은 시간을 투입할지 예상 시간을 적습니다.
- 투입해야 하는 다른 자원(현금 등)이 있을 경우, 적습니다.
예시)
PM | 엔지니어링 | 디자인 | 기타 |
4시간 | 12시간 | 8시간 |
6. 실험 결과
- 실험을 완료한 뒤에 결과를 입력합니다.
성공/실패 여부 | 실험 결과가 성공인지 실패인지 적습니다 |
1차 성공 지표 | 지표 측정치를 적습니다. 첨부할 링크가 있으면 URL도 함께 넣습니다. 차트 이미지 등을 첨부하려면 표 아래에 추가로 첨부합니다. |
가드레일 지표 | |
모니터링 지표 |
7. Lessons Learned
- 실험을 통해 무엇을 배웠는지 적습니다.
- 이런 것들을 적으면 됩니다.
- 우리가 당연하다고 생각했는데 사실은 그렇지 않았던 것
- 고객과 시장에 대해 새로 알게 된 사실
- 실험을 계획하고 진행하는 과정에서 시행착오를 겪으면서 알게 된 것
8. 후속 가설/가정
- 실험을 통해 새롭게 생긴 가설/가정, 그래서 앞으로 검증하거나 확인해 봤으면 하는 가설/가정을 적습니다.
(2024.05.12 업데이트: 가설과 실험 개념 등을 비롯해 PM/PO들에게 필요한 기반 지식을 꾹꾹 눌러 담은 강의를 시작했습니다. 아래 링크를 클릭해서 강의를 살펴보실 수 있어요.)