[industry] 프로덕트 애널리틱스에서의 인과추론의 활용 사례와 향후 과제

 

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

 

①  프로덕트 애널리틱스 소개와 인과추론의 중요성 

---

 

 

◯  Product : 재화, 서비스, 아이디어, 제품 

 

 

 

◯  Product Analytics

 

•  데이터를 통해 사용자와 프로덕트 상호작용을 이해하는 과정 

 

•  유사 개념

 

↪  Mobile and Web Analytics (구글애널리틱스와 비슷한 개념) : 마케팅 비용, SEO, 페이지 단위지표 분석

     ↔ Product Analytics : 행동 데이터와 더 깊은 레벨의 데이터 탐색 

 

↪  Marketing Analytics : Traffic, Acquisition ⇨ where : 유저들이 어디에서 왔는가에 대해 대답

     ↔ Product Analytics : Engagement, Retention ⇨ what & why : 유저들이 무엇을 하고 왜 돌아오는지

 

↪  Business Intelligence (BI) : 전략적 의사결정 

     ↔ Product Analytics : 전술적 (전략적 의사결정 보단 낮은 단계의 의사결정)

 

 

•  Cycle

 

 

 

↪  아이디어를 기반으로 프로덕트를 만들어내고 성과 측정하면서 사용자에 대해 배워감, 배운 내용으로 다시 아이디어를 내며 순환하는 구조 

↪  사이클을 원할하게 만들어 줄 수 있는 것이 Product analytics 

↪  사용자 행동 데이터를 분석하고, 전환 기회를 파악하고, 영향력있는 경험을 창출해 사용자를 비즈니스의 핵심에 두기 위한 프레임워크 

 

 

 

 

◯   왜 Causal inference 가 Product Analytics 에서 중요한가 

 

•  비즈니스는 Metric Growth 를 원한다. 

 

•  Metric

↪  후행지표 : action 의 결과 : e.g 매출, 활성 사용자 수 등  

↪  선행지표 : 직접 조절할 수 있고 후행지표에 영향을 주는 성질을 가짐 : e.g 결제 랜딩 페이지 조회수 등 

     ▸ 지표가 vanity (허상) 인지 actionable 한지 

     ▸ 지표가 사용자의 행동 변화를 반영하는지 

 

•  Metric Growth 는 사용자의 행동변화를 통해 달성된다. 

 

 

구독한 유저와 그렇지 않은 유저간의 차이가 무엇인가, 유저들이 재방문하게 하는 요소는 무엇인가, 일반 유저를 구독 유저로 바꾸기 위해서 어떻게 해야하나, 일반 유저들을 재방문한 유저의 여정을 따르도록 어떻게 만들 수 있는가 

 

•  사용자의 행동변화를 만들기 위해서 검증된 인사이트가 필요하다 ⇨ 인사이트는 아이디어가 필요! 

↪  검증 방법 : A/B 테스트, 데이터 분석, 유저 리서치 등 ⇨ 검증 된다면 변화할 확률이 높을 것 

 

•  사용자 행동변화를 만드는 "원인" 을 찾았을 때, 가장 검증된 인사이트라 볼 수 있고, 사용자 행동변화를 만드는 원인을 이해해 봄으로써 발굴해 낼 수 있다. 

 

 

 

◯  데이터 기반 인사이트 종류 

 

 

 

•  Causal insight 가 가장 중요하다. 사람의 행동을 이해하고 수정하는데 가장 유용하기 때문이다. 또한 Causal insight 는 직접적으로 action 이 가능하다. 가장 중요한 인사이트이긴 하나, 또한 밝혀내기 매우 어렵고 비싼 과정이긴 하다. 

 

 

 

◯  Data-Driven Behavior Change Framework 

 

•  Inference based on Data → Behavior change → Metric Growth 

 

데이터를 기반으로 행동변화를 이끌 수 있는 프레임워크

 

↪  빨간색 : 원 데이터에서 패턴을 찾고 가설을 세우는 과정 

↪  회색 : 가설을 수립한 이후에, 실험/인과관계/예측 방법론 등을 사용하여 가설에 대한 검증을 진행하고, 검증된 인사이트를 기반으로 이를 반영 (Action 노란색) 한다. 가령 팝업, 새로운 기능 출시, 이벤트, 프로모션 등이 해당한다. 

 

 

 

◯  What else is important in Product analytics? 

 

•  Product analytics 는 인과추론 하나만으로 작동하지 않고 중요한 영역들이 많다. 

 

⑴  Mixed Methods : 정량과 정성을 결합하는 혼합 검증법으로 데이터 분석 결과에 설명력을 더할 수 있는 방법론이다. 복합적이고 확신 가능한 결과를 얻을 수 있다는 장점이 있다. 스포티파이 인사이트 팀, 딜리버리 히어로 등 주요 기업이 사용하고 있는 방법이다. 

 

 

 

 

⑵  조직의 데이터 활용 문화 및 데이터 성숙도 (Data Governance, Data Culture) 

 

•  검증된 인사이트가 있다고 하여 바로 Action 을 실행할 수 있는 것은 아니다. 조직이 얼마나 데이터 활용에 익숙한지, 데이터 문화가 잘 만들어져 있는지에 따라 달라진다. 

 

 

 

 

 

 

 

 

 

 

 

②  해외 태크 기업 및 발표자 사례 : Causal inference application cases 

---

 

◯  인과추론 적용 상황 (A/B 테스트 제외) 

 

•   현업에서 마주치는 문제 상황의 분류 

 

 

 

 

◯   A/B 테스트가 불가능할 때 

 

•   불가능한 이유 - 설계의 차원 : Spillover effect 가 발생할 때, A/B 테스트를 하기가 어렵다. 

↪  실험군에 가해진 처치 자체가 대조군에 영향을 미칠 수 있을 때 

 

 

•   불가능한 이유 - 상황의 차원 

 

 

 

 

⑴ TripAdvisor 사례(IV) : Tipadvisor Plus 멤버십 가입이 서비스 관여에 어떤 영향을 미치는지 살펴봄 

 

 

•  DRIV : 인과추론에 머신러닝을 적용 

 

•  왜 A/B 테스트가 불가능 했나 

 

 

 

⇨  멤버십 가입유저와 미가입 유저를 단순히 비교하기에는, 유저의 선호도가 Confoundness 로 작용하고 있기 때문에 어렵다. 또한 A/B 테스트를 진행한다고 했을 때, Imperfect Compliance 문제가 발생한다. 

 

↪  따라서 일반적인 방법론을 적용하기 어렵기 때문에 "A/B 테스트의 실험군, 대조군 할당 여부를 도구변수로 활용해 알고자 하는 인과관계를 추정할 수 있게 하는 방식" 인 Recommendation A/B test 를 적용하게 되었다. 

 

 

•  Recommendation A/B Test 적용 설명 

 

↪  과거 실험의 가설 : 새롭고 더 빠른 멤버십 회원가입 과정이 유저의 리텐션을 향상시키는가? (목표 지표 : 유저 리텐션) 

↪  도구변수의 기능 : 도구변수를 통해 원인변수에서 내생성 (Counfoundness, selection bias, error term 과 관계를 가짐) 을 가지는 부분을 잘라내고, 외생성을 만족하는 부분으로만 결과 변수를 예측하는 메커니즘 

 

멤버십 화면에 차이를 두어 Recommendation A/B test 를 진행

 

 

 

•   도구변수의 조건 

 

↪  만약 Tripadvisor 처럼 Randomness 가 있는 IV 를 사용한다면, Golden standard 로 2,3 번 조건을 직관적으로 만족한다. 첫번째 Relevance 가정은 1st stage regression 에서 F-statistic > 10 이면 가정을 만족한다고 볼 수 있다. 

 

 

 

⑵  Roblox 사례 (IV) : 로블록스 아바타 샵을 경험하면, 커뮤니티를 더 많이 사용할까 

 

 

 

•   Recommendation A/B test 와 IV, 2SLS 분석을 통해 아바타샵이 체류시간에 주는 인과효과를 정량화 할 수 있었고, 1주 이내로 가입한 신규 유저에게서 더 큰 임팩트가 있음을 발견했다. 

 

 

 

 

•   A/B test 가 불가능했던 이유 : 상황상 아바타샵이 유저경험에서 매우 중요했기 때문에 일부 유저에게만 제공하지 않는 것은 불가능 했고, 설계상으로도 아바타샵이 구매자와 판매자가 공존하는 마켓플레이스였기 때문에 spillover effect 가 발생 (특정 사용자 집합의 아바타샵 활동을 중지하게 되면, 만약 이 사용자가 셀러였거나 구매자였을 때, 다른 사용자는 구매를 못하거나 판매를 못하는 등의 기타 영향을 끼칠 수 있다) 할 수 있다. 

 

 

•   Recommendation A/B test 적용 설명 

 

 

↪  분석 시점으로부터 1년전 아바타 샵에 "Recommended for you" 라는 피처를 추가해 A/B 테스트 진행

↪  "Recommended for you" 피처는 아바타 샵 체류시간에 큰 증가 효과를 줌 : F-stat > 15000 : First stage regression 에서 F-stat 이 10을 넘는 충분히 큰 수 이면서 Randomness 를 가지는 도구변수이기 때문에 실험군 대조군 여부는 도구변수로서의 조건을 만족하게 된다. 

 

 

↪  "Recommended for you" 실험 여부 (Z) 는 도구변수 조건을 모두 만족하므로, 아바타 샵 체류 시간 (X) 이 커뮤니티 체류시간 (Y) 에 가지는 인과적관계를 direct A/B 테스트가 아닌 방식으로도 추정할 수 있게 되었음 

 

 

 

 

◯   A/B 테스트 기반 추가적인 인사이트를 도출할 때 

 

 

⑴ QANDA 광고 사례 (IV) : 콴다 인앱 광고 형태별 조회가 유저 경험에 어떤 영향을 줄까? 

 

•   콴다 서비스에 대한 간략한 설명 : AI 풀이 검색 교육앱 

 

 

•   IV 와 2SLS 를 사용하여 분석한 결과, 리워드 > 전면 > 네이티브 광고 순서로 유저의 리텐션에 더 큰 저해를 가함 

 

 

 

•   왜 도구변수를 활용했을까 : 진행된 실험 설계 

 

 

↪  빠른 기간 내에 광고 매출에 대한 최적화가 이루어져야 하는 상황이라, 주어진 시간 내에 최대한 많은 조합을 실험하는 것이 중요했음 

↪  사용자에게 실제로 집행된 광고는 '단일 광고 지면과 형태' 가 아니라 '복합적인 광고 지면과 형태' 로, 실험의 목적은 실제로 집행될 복합적인 광고가 ARPU, Retention 에 주는 영향을 측정한다. 특정 광고 형태의 경우, 지나치게 단가가 낮아 단가 높은 형태와 어느정도 섞어주어야 한다. 

↪  활동 특정 조건을 달성하면, 형태 B, 형태 C 광고를 보여줄 수 있다 : Imperfect Compliance 문제가 발생 

 

 

•   도구변수 활용과 조건 만족 ⭐⭐

 

 

 

 

•   다른 관점에서의 근거를 보충 : 분석을 마치고 결과를 전달할 때, 다른 관점의 근거를 보충해서 전달했다. 

 

 

↪  어떤 형태의 광고가 가장 유저의 경험을 저해할까 : 광고형태, 지면에 따른 "유저의 선호도 서베이 결과" 를 보태어 전달 

↪  리워드 형태, 지면에서 가장 낮은 선호도를 보임 

 

 

•   한계점 

↪  실제 커뮤니케이션 과정에 있어 의사결정권자에게 도구변수라는 개념 자체를 전달하진 못함. 그러나 광고 플랜을 조절하는 액션으로 실제 이어졌었음

 

x : 연속형, y : 이진형

 

↪  Linear Probability Model (LPM) 으로 구성했을 때 계수에 대한 정량화가 직관적이지 못했던 문제가 있었음 

 

 

 

 

⑵ Uber Eats 광고 타겟팅 사례 (Uplift) : Uber eats 의 예산 하에 최적의 광고효율을 내려면?

 

 

•   예산 하에서 적절한 광고 타겟팅을 하기 위한 방법을 찾고자 함 

 

 

↪  우버에서 만든 CausalML (머신러닝을 접목한 인과추론) 이라는 모델을 사용 : 모델링을 통해 Policy 를 구하고, 구한 policy 를 바탕으로 결과를 예상함 

 

 

•  Uplift Modeling 

 

 

↪  Persuadables : 광고를 하지 않을 땐 우버이츠를 구매하지 않다가, 광고를 하면 구매하는 사람의 경우 개입이 필요함 

 

 

↪  Uplift Modeling 은 관측 데이터를 가지고 ATE (average treatment effect) 를 구할 뿐 아니라 실제 비즈니스 가치를 극대화 해줄 수 있는 기법이다. 데이터를 계층화하여 각 계층 내에서 CATE 를 ML 을 통해 추정한다. 어떤 계층에서 처치의 효과가 극대화 되는지 찾을 수 있다. 

↪  Experiment Setup : 관측형 데이터를 Treatment 와 Control 로 구성하는 과정 

 

 

 

 

 

◯   이미 만들어진 결정 및 제품에 대한 효과를 검증할 때 

 

 

⑴ QANDA 퀴즈 사례 (DiD) : 콴다 퀴즈퀴즈 기능을 사용해보면, 다시 방문하고 싶어질까? 

 

 

 

 

•   결정권자, PM, PO 등 기타 부서에서 당시 외부 마케팅 요청에 의해 A/B 테스트를 진행할 수 없었지만, 앱의 기능 중 하나가 유저의 리텐션을 얼마나 높였는지 효과를 알려달라고 부탁했다. 글로벌 확장에 대한 의사결정 상황이 왔고, 의사결정 상황을 위한 근거를 마련하기 위해 해당 요청이 온다. 

 

 

 

•   콴다의 퀴즈퀴즈 기능은, 많은 기업들이 사용하는 슈퍼앱 기능과 맞물릴 수 있다 : 기능을 늘리는게 월간 활성 사용자 성장에 도움이 될까?

 

 

 

↪  슈퍼앱들이 기능을 하나씩 추가하는 것이, 조직에서 보는 가장 큰 단위지표의 성장에 어떻게 도움이 되는지가 공통적으로 궁금한 문제! 

↪  콴다의 퀴즈퀴즈 기능이 월간 활성 사용자 성장에 어떻게 기여하는지 확인하여, 긍정적으로 기여한다고 하면 다른 국가의 기능을 도입하여 전체적인 월간 활성화 증대를 노려볼 수 있다. 

 

 

•   결과 

 

 

•   Matching 

 

 

↪  퀴즈퀴즈 기능은 대조군 없이 배포되었던 상황이었기 때문에, 대조군처럼 사용할 수 있는 집단을 찾아 통제집단으로 가정하기 위해 Look forward matching 을 사용하였다. 

↪  Adoptoin Timing (기능 최초사용) 을 활용해 분류하는 방식으로, 타이밍은 조금 늦지만 어차피 사용할 유저들이니 다른 특성이 동일할 것이라 가정한다. 

↪  Retention 을 측정하는 기간은 DiD 이기 때문에 기능 출시 전 3개월 후 3개월로 총 6개월이다. 

 

 

•   DiD

 

 

↪  기능 출시 이후에 실험군에서 약간의 증가를 보였는데, 정량화를 했을 때 약 4%p 였다. 

↪  후반부에는 폭이 떨어지는데, 이후 기간에는 설날연휴로 퀴즈퀴즈를 운영하지 않았던 점 등이 있었다.

 

 

•  한계점

 

↪  Confounder : Look-forward matching (기능 최초사용을 기준으로 실험/통제 집단을 결정) 에서 실험군과 통제 집단 사이에 차이를 줄 수 있는 변수를 생각해보았을 때, (늦게 가입한 유저가 기능 최초사용 기준도 늦춰질 수 있기 때문에) 가입일 분포가 다를 수 있을 것으로 판단하였다. 실제로 확인해 본 결과 '기능출시일-가입일' 의 평균을 두 그룹간 비교했더니 평균 500~600일대 스케일에서 7일정도 차이가 존재했다. 따라서 해당 영향은 미미할 것으로 판단했다. 

↪  Sensitivity test (특정 변수 또는 가정이 인과관계 결과에 얼마나 큰 영향을 미치는지를 평가 : 변수제거, 변수조작, 선형화)  에 대한 고민과 실행이 부족했다. 

↪  1월에 실험군의 Weekly Retention 이 감소하는 경향을 퀴즈퀴즈 운영 플랜 변경, Novelty Effect 외로 다른 설명할 수 있는 원인을 찾기 어려웠음 

 

 

 

⑵ QANDA 퀴즈 사례 (Causal Impact) : ⑴ 문제를 다른 방식으로 풀어보자 

 

 

•   Synthetic Control 계열의 Google Causal Impact 라이브러리 사용 : Causal Impact 는 텐서플로우의 BSTS 를 핵심 예측 모델로 활용한다. 

•   결과적으로 퀴즈퀴즈 기능 출시일 이후 평균적인 MAU 증가는 2.13% 임을 알 수 있었다. 

 

 

 

•   Causal Impact 

 

 

∘   Counterfactual Data 를 예측하는 구글 라이브러리

∘   대조군으로 활용할 수 있는 데이터가 없는 상황에서, Treatment (이벤트) 이전의 데이터들을 기반으로 이벤트 이후 기간에 이벤트가 없었을 경우의 y 흐름을 예측한다. 예측된 y의 흐름이 곧 synthetic control 로 가상의 대조군으로 사용한다. 실제 데이터(실험군) - 가상의 대조군 = 이벤트를 통한 인과효과를 추정한다. 

 

 

∘   Causal Impact 모형은, 예측모델을 도입하기 때문에 true model 이라는 것이 없어서 모형을 잘 설계하고 검증하는 것이 중요하다. 이때 공변량 변수를 설정하는 것이 중요한데, 이벤트 이후 y의 예측에 있어서 이벤트 이전의 y와 상관이 높은 공변량 변수들을 찾고, 검증하는 과정이 중요하다. 

 

↪  실험에서 y를 daliy MAU 로 두고 y의 흐름과 유사하면서 반드시 이벤트에 영향을 받지 않는 변수가 공변량 조건에 해당한다. 발표자는 이벤트 이전의 y와 상관계수가 0.6이상인 변수만 사용했다. 

 

 

∘   seasonality 를 반영할 수 있고 튜닝이 가능한 Prophet 이라는 패키지를 함께 활용하여, BSTS 와 Prophet 의 y값이 유사해질 수 있게, 또한 각 모델이 이벤트 이전 y 데이터에 대해 오버피팅 되지 않도록 파라미터들을 조정했다. 

 

 

 

•   추론 결과 : BSTS 

 

 

↪  Timepoint : 출시 초기에는 상승하지만, 1월이 넘은 시점부터는 감소, DiD 의 경향과 비슷 

↪  event 누적 : 출시 후에 5개월 가량은 MAU 에 + 효과를 준다고 볼 수 있다. 

 

 

•   추론 결과 : BSTS + Prophet 

 

검정색 : 실제 데이터, 파란색 : BSTS 예측결과, 초록색 : Prophet 예측결과

 

 

 

 

•   한계점

 

∘  Quasi-experiments 및 Counterfactuals 의 한계점 

↪  특정 시기를 기점으로 이벤트 전후의 인과효과를 측정하므로 기능출시 뿐 아니라 이 시점의 여러가지 이벤트 및 다른 roll out, A/B 실험의 효과는 배제할 수 없음 

↪  y에 영향을 미치기 어려울 정도로 작은 효과는 감지하기 어려움 

↪  모든 것을 큰 단위로 묶어 보기 때문에 유저 단위의 효과로는 파고들 수 없음 

 

∘  Causal Impact 를 사용함에 있어 한계점 

↪  성능이 좋은 Prophet 패키지와 추세를 유사하게 그리도록 파라미터를 바꿔보지만, 결과의 신뢰성을 높여줄 validation 으로는 충분하지 않다고 생각 

↪  Causal Impact 라이브러리 자체적으로 제공하는 Sensitivity analysis 가 없어 어떻게 연결할 수 있을지 주어진 시간 내에 해답을 찾지 못했다는 점 

 

 

 

◯   진행된 A/B 테스트의 Bias 를 보정할 때 

 

•   A/B 테스트에서도 pre-experiment bias 가 발생할 수 있다. 

•   Pre-experiment bias : 실험 이전에 그룹들이 본래 가지고 있던 차이 

 

 

실험 플랫폼에서 bias 를 없앨 수 있는 단계 설정이 중요

 

 

 

 

 

 

③  Challenges in Applications 

---

 

 

 

 

 

 

 

⑴  데이터 수집 및 분석단계에서 발생하는 어려움 

 

•  수집된 raw data 가 신뢰 가능하며 온전한 상태여야 한다는 것 

•  가설을 세우는 과정에 올바른 metric 을 목표로 삼는 것 : 실제 사용자의 행동변화를 잘 반영하는 것인지 고민하는 것이 필요 ⇨ Domain Knowledge 가 매우 중요! 

 

 

⑵  검증과 커뮤니케이션 단계 

 

•  정해진 시간 내에 신뢰도 높은 결과를 도출하는 것 : 가정을 통계적 or 시각적 or 직관적으로 검증하는 것도 정해진 시간 내에서 해결되어야 함 

↪  조건을 만족하기 비교적 수월한 Randomness of IV (Recommendation A/B test), DiD 를 활용하는 대안 : 그러나 모형에 대한 가정과 sensitivity test 를 통해 검증하는 관점은 어려움 

↪  자신 + 타인의 경험을 바탕으로 상황에 맞는 방법론 패턴을 익혀 Toolkit 을 구비해두는 것이 필요 

↪  다양한 관점에서 근거를 보태는 것이 신뢰를 확보하는데에 효과적 : 다른 인과추론 방법과 결합, 유사 실험 결과, 사용자 리서치 결과 등 

 

 

 

•  의사결정권자가 방법론과 검증 내용을 어느정도 이해할 수 있게 돕는 것   

 

 

 

 

 

 

④  인과추론을 통해 풀고싶은 향후 과제들 

---

 

 

 

⑴  Input Metric - Output Metric 간의 Causal 관계에 대한 증명 

 

 

 

 

성공적인 후행지표 결과를 얻기 위해 조절해야 할 선행지표 (원인) 관계 파악

 

 

⑵  효율적이며 신뢰도 높은 인과관계 발견 방법 

 

관측형 데이터인 경우 가정을 만족시키기가 어려움

 

 

 

 

 

 

⑤  Key Takeaways 

---

 

 

 

 

 

 

 

 

 

 

 

 

👀  참고

---