넷플릭스가 데이터를 사용하는 방법을 천천히 알아보자 ④성과 분석

목표를 위한 측정과 개선을 위한 측정

기업의 성과 측정으로 많이 사용되는 KPI(Key Performance Indicator, 핵심성과지표)는 원래 투입 → 활동 → 산출 → 결과로 구분된 단계별 목표 달성을 위한 지표 관리 방법이지만, 현실에서는 부서별로 매출을 할당한 후 목표를 채근하기 위한 수단으로 사용되고 있다.

 

애초에 임원들 요구에 맞춰 도입된게 왜곡의 원인이지만, 한때 유행했던 마이크로 매니지먼트(Micromanagement, 세부업무 및 의사결정에 직접 관여하는 방식)와 결합하여 엄청난 시너지를 일으켰으며, 여전히 이 방식을 유용하게 생각하는 사람들이 꽤 있다.

 

각자의 환경에 맞는 방식이 있을테니 정답을 말하기는 어렵지만, 넷플릭스의 성과분석 방식은 목표 달성보다는 진단과 개선을 위한 KPI의 순수 목적에 가까운 프록시 매트릭(Proxy metric)을 중심으로 진행된다.

☞관련 포스트 : 기업의 데이터 분석 > 4.2. 데이터 기반 의사 결정과 효과 측정

 

---

네번째 데이터 활용 사례 - 성과분석

다양한 시스템과 인력이 유기적으로 동작하는 비즈니스에서 구체적인 전략없이 기업을 운영한다는 건 금새 한계에 봉착할 수 밖에 없다. 특히 최근처럼 플랫폼 기업이 영역을 넘나들며 손을 뻗어나가고, 고객을 직접 볼 수 없는 비대면 환경에서는 원인과 개선점을 찾기 위한 성과 분석이 더욱 중요하다.

 

1) 넷플릭스 프록시 매트릭

 

넷플릭스 CPO를 맡았던 깁슨 비들(Gibson Biddle) 부사장은 자신의 블로그에 2005년에 시행했던 넷플릭스 프록시 매트릭을 공개하였다. 

2005년 제품 전략	지표	전술/프로젝트
개인화	회원 중 6주 안에 최소 50편의 영화를 평가한 비율	평가 마법사, 별점
쉽고 간단하게	회원 중 첫 세션에서 3편 이상의 타이틀을 추가한 비율	첫 사용 경험 간소화
소셜	회원 중 최소 1명의 친구가 연결된 비율	친구 네트워크
마진 개선	회원별 총 이익	DVD 판매, 광고, 가격 및 요금 테스트
유니크한 영화 검색	Previews를 통해 한 달에 최소 1편의 타이틀을 추가한 회원 비율	개인화된 미리보기, 시놉시스 미리보기
DVD 익일 배송	첫 번째 선택한 DVD가 다음날 배송된 비율	자동 허브 확장, 배송 센터 확대

 

당시 넷플릭스는 총 6개의 상품/서비스에 대한 전략을 정하고 지표와 세부 전술/프로젝트를 진행하였으며, 결과적으로 4개의 프로젝트가 성공하였으며, 실패한 프로젝트 2개(소셜, 영화검색)에 대해서는 투자를 줄여나갔다. 그리고 이러한 활동에 의해 최종적으로는 고객 유지율이 98%까지 증가했다고 한다.

 

 

2) 프록시 매트릭 설정 시 유의사항

 

넷플릭스는 프록시 매트릭 설정 당시 간단하게(Simple)에 대한 지표를 결정하기 위해 고객 문의사항과 고객센터의 조회 페이지를 분석하고 신규회원과 1:1세션 및 FGI(focus groub interview)를 실행하였다.

 

그리고 회원가입 프로세스와 신규회원 가입 후 몇 주간의 활동을 분석하여 첫주문시 DVD 3편을 추가해야한다는 걸 어려워한다는 걸 파악하여 지표화 한 후 개선작업을 추진하였다. 결국 70%에서 90%까지 증가하였으며 고객 유지율도 덩달아서 90%까지 성장했다고 한다.

 

프록시 매트릭은 이와 같이 최종 목표에 도달하기 위한  목표를 세분화하는 지표로 구성해야하며  상관관계에 따라 설정하고, 인과관계를 찾기 위해 노력해야한다. 

 

깁슨 비들이 제시한 구체적인 주의사항은 다음과 같다.

항목	설명
Is measurable. (측정가능)	데이터를 찾고, 수집하고, 측정할 수 있어야 한다. 새로운 전략을 평가할 때 A/B테스트로 진행여부를 결정할 수 있는지 질문해보라
Is moveable. (변화가능)	제품에 변화를 줌으로써 지표가 변화될 수 있는지를 확인할 것
Is not an average. (평균아님)	평균은 소수가 많이 변화하여 지표가 달라질 수 있으니 배제할 것
Correlates to your high-level engagement metric. (목표와 상관관계)	넷플릭스는 프록시 메트릭과 고객유지율이 같이 움직였다. 장기적으로는 A/B테스트를 통해 인과관계를 증명할 수 있어야 한다.
Specifies new v. existing customers. (신규와 기존고객을 구분)	넷플릭스는 성장을 위해 신규 회원 서비스를 최적화해야 한다고 믿었으며, 신규 고객 대상으로 테스트한 후 전 고객에게 오픈하였다. 기존 멤버는 가끔 변화를 불평했지만 대부분 취소하지 않았다. (단, 고객유지에 영향이 있으면 기존 회원 대상 A/B테스트진행)
Is not gameable. (조작불가)	CS개선 사례에서 고객센터 전화번호를 숨겨서 숫자를 조작할 수 있다는 사실을 인지하고 지표를 개선하였다.

 

※ 위 자료는 이해를 돕기 위해 의역하거나 읽기 쉽게 변경하였으니 깁슨 비들의 전체 자료는 블로그를 참고하길 바란다. 블로그에는 프록시 매트릭 외에도 DHM모델(Delight Customers, Hard to Copy, Margin Enhancing) 등 전략수립/평가 모델 등에 대한 사례를 안내하고 있다.(관련 자료:깁슨 비들 블로그)

 

기업의 성과분석 방법은 많지만, 넷플릭스는 프록시 매트릭이라는 목표에 도달하기 위한 실질적 지표를 설정하여 데이터에 기반한 합리적인 행동을 추구하고 있다.  국내에는 그리 자주 소개되지 않는 프록시 매트릭은 겉으로는 KPI와 비슷해보이지만, 성과중심의 지표와 대리 지표라는 근본적인 시각 차이를 가지고 있으며, 이로 인하여 평균을 배제하고 목표와 상관관계를 중요시하는 실행방식의 차이를 보이고 있다

 

깁슨비들 Product Strategy 강연모습

 

(넷플릭스 글 전체)

넷플릭스가 데이터를 사용하는 방법을 천천히 알아보자 ①추천 알고리즘

넷플릭스가 데이터를 사용하는 방법을 천천히 알아보자 ②의사결정

넷플릭스가 데이터를 사용하는 방법을 천천히 알아보자 ③데이터 수집

넷플릭스가 데이터를 사용하는 방법을 천천히 알아보자 ④성과 분석(완결)