2023년 12월 14일 8 min read

데이터 기반으로 일하기에 대한 흔한 오해 (1탄): 데이터를 열심히 들여다 보면 좋은 의사결정을 할 수 있을까?

'데이터 기반으로 일하기'라고 하면 흔히 '의사결정을 위한 근거를 마련하기 위해 정량적 데이터를 들여다 보는 것'으로 생각합니다.
하지만 정량적 데이터가 '의사결정이라는 아웃풋(output)'을 만들어내기 위해 동원하는 여러 인풋(input) 중 하나일 뿐'이라는 점을 이해하지 못하는 분들이 많습니다.
이 점을 이해하지 못하는 분들이 단골로 하는 질문이 'UI를 변경하는 실험을 해 봤더니 결제 전환율이 높아졌는데, 사용자 경험을 해치는 것 같아요. 어떻게 해야 될까요?' 류의 질문입니다.
의사결정에 필요한 인풋에는 무엇이 있을까요? (인풋이라는 말이 생소할 수 있으니 지금부터는 '요소'라고 쓰겠습니다.)

회사가 추구하는 지향점 (미션이나 비전이라고 부르기도 합니다.)
우리가 절대적으로 중시하기 때문에 타협하거나 포기하고 싶지 않은 부분. 이를 위해 버릴 수 있는 것들. (어떤 트레이드 오프trade-off를 할지에 대한 결정)
우리 회사가 현재 어느 방향성에 집중해서 역량을 집중하려고 하는지, 그에 따라 어떤 계획을 가지고 있는지 (전략이라고 부르기도 합니다.)
사용자 경험에 대한 팀과 의사결정권자의 관점 (인간 심리에 대한 지식이 될 수도 있고, 제품은 어때야 한다는 철학이 될 수도 있습니다.)
우리가 갖고 있는 각종 가설과 가정들 (예: 이 부분의 UI를 바꾸면 사용자들은 OOO하게 행동할 것이다. 왜냐면 사용자들은 ㅁㅁㅁ하기 때문이다. 그 결과 A지표에 변화가 일어날 것이며, A지표 변화는 B지표에 영향을 끼치기 때문에 B지표에도 변화가 일어날 것이다... 같은 모델)
시장 상황에 대한 판단, 예상되는 사용자와 고객들의 반응
우리 팀이 잘하는 것과 못 하는 것, 혹은 선호하는 것과 선호하지 않는 것.
데이터만 놓고 보더라도, 실험이 적절히 설계됐는지에 대한 판단, 실험으로 인한 지표 개선이 단순히 novelty effect인지는 아닌지에 대한 판단을 해야 합니다.

정량적 데이터는 이런 여러 요소들 중 하나일 뿐입니다. 데이터에 절대적인 가중치를 부여할 수도 있지만, 다른 요소에 더 높은 가중치를 부여하는 게 유용한 경우도 많습니다.
그러니까 의사결정은, 수학 문제 풀듯이 '기존 UI는 구매 전환율이 5%이고 신규 UI는 구매 전환율이 10%니까 신규 UI를 택하자'라고 할 수 있는 게 아닙니다.
의사결정을 할 때는 여러 요소를 고려해야 하며, 수학 문제처럼 '하나의 옳은 답(정답)'이 존재하지도 않습니다. 관점에 따라 여러 가지 해법을 내 놓을 수 있고, 그중에서 하나를 골라야 합니다.
결국 마지막에는 의사결정권자의 판단과 결단력이 필요합니다.
하지만 많은 의사결정권자들은 '하나의 옳은 답'이 있을 거라고 믿고 싶어합니다. 데이터를 보면 그 정답이 나올 거라고 믿고 싶어하구요.
정답만 찾도록 훈련하는 교육의 문제일 수도 있고, 결정에 따르는 책임을 회피하고 싶어하는 성향 때문일 수도 있고, 혹은 위험 부담을 지고 불확실한 상황에서 판단을 내리는 것이 리더의 중요한 역할이라는 점을 이해하지 못해서일 수도 있습니다.
이걸 이해하지 못하는 리더들은 나오지도 않는 데이터를 갖고 오라며 분석가들을 들들 볶고, 분석가들이 마지못해 내 오는 무의미한 분석 결과에 너무 큰 의미를 부여하고, 의사결정권자로서의 책임(판단과 결단력을 발휘해야 한다는)을 회피합니다. 혹은 '실험해서 지표 잘 나오는 걸로 결정하죠' 같은 말을 던집니다.
의사결정은 데이터만 가지고 하는 게 아니라는 점, 리더(결정권자)는 의사결정에 필요한 여러 요소들을 고려해서 판단을 내리는 역할을 해야 한다는 점, 만약 그 요소들이 명확히 정의되지 않았다면 정의하는 작업(회사의 지향점을 구체화하고, 전략을 명확히 하고, 시장과 고객을 파악하고 이해하는 작업 등)까지 해야 한다는 점을 기억하시면 조금 더 나은 의사결정을 하는 데 도움이 되지 않을까 생각합니다.

2편은 아래 링크에서 보실 수 있습니다.

안내: 프로덕트 조직과 개인을 위한 코칭

프로덕트 조직, 혹은 개인(제품 리더, PM, PO 등)을 대상으로 한 코칭을 제공하고 있습니다. 아래 이야기들이 내 얘기로 느껴지는 분들께 도움을 드립니다. 자세한 내용은 링크된 페이지를 참고해주세요.

제품에서 해야 할 일들은 쏟아지는데, 어떤 기준으로 우선순위를 설정하면 좋을지 답을 내리지 못하고 있다. 명확한 방향성이 없이 그때 그때 급한 일을 쳐내는 식으로 일하고 있다.
지표를 개선해야 하는데, 어떤 식으로 접근해야 할지 모르겠다. 어떤 지표를 봐야 좋을지 모르겠다.
조직에 큰 영향을 끼칠 수 있는 의사결정을 해야 하는데, 하나를 택하면 포기해야 하는 것도 명확해서 쉽게 결정을 내리지 못하고 있다. 이로 인해 리더로서 자신감이 떨어진다.
제품 조직과 다른 부서 간 의견 차이와 갈등이 있다. 다른 조직의 입김 때문에 제품 조직이 꼭 필요한 일을 제대로 수행하기 어렵다.