[industry] 인과추론 활용 : Best practice

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

①  발표 배경 

---

 

 

ttps://playinpap.gitbook.io/dowhy/

DoWhy | 인과추론을 위한 라이브러리 - DoWhy | 인과추론을 위한 라이브러리

 

 

↪ Microsoft의 인과추론을 위한 라이브러리 DoWhy의 가이드를 스터디하며 한국어 자료로 생성한 깃북

 

※ 라이브러리 

※ 논문 

 

 

 

 

 

 

②  실무 인과추론의 위계 

---

 

◯  인과추론의 best practice

 

•  가능하다면 Randomization 을 활용하기 

•  Randomization 이 불가능하다면, Natural experiment 를 활용하는 것을 고려하기

•  Natural experiment 를 활용하는 것이 어렵다면, Conditioning Method 를 고려하기 

 

 

 

◯  Randomization 

 

•  A/B 테스트와 같은 의미로, 현업에서는 Agile 한 A/B 테스트 파이프라인을 구축하는데 최선을 다하는 것이 좋다. MAB, Uplift modeling 을 통해 Randomization 의 효율을 높여주거나 추가적인 가치를 더해줄 수 있다. 

 

 

◯  Natural experiment 

 

•  실험의 상황에 가까운 부분적인 데이터셋을 찾자는 관점 (As-if-random) 

•  관측되지 않는 변수 (Unobserved confounder) 도 있으니 다 통제할 수 없는 문제를 극복할 수 있는 방식이라 선호된다. 

 

 

◯  Conditioning methods 

 

•  가정들을 기반으로 변수들을 통제하는 관점 

•  DoWhy 에서는 5가지 방식을 제공 

 

Matching and Stratification (Propensity score)

Weighting (Propensity score)

Regression

Doubly Robust

Synthetic Controls

 

 

◯  위계 : 상단에 있는 방법들이 사용하기에는 좋음 

 

 

 

 

 

 

③  풀 수 있는 문제유형과 사례분석 

---

 

◯  문제의 유형 

 

⑴ A/B 테스트를 진행해도 유저가 처치를 받지 않을 수 있다. 이때 처치의 효과를 어떻게 확인할까

↪ 데이터 형태 : 실험

↪ 방법론 : 도구변수 

 

⑵ 비용이 수반되는 A/B 테스트를 진행했다. 어떤 유저에게 가장 처치의 효율을 극대화시킬 수 있을까

↪ 데이터 형태 : 실험

↪ 방법론 : 업리프트 모델링 

 

⑶ A/B 테스트를 진행하지 않았다. 처치의 효과를 어떻게 확인할 수 있을까

↪ 데이터 형태 : 관측

↪ 방법론 : 이중차분법, 매칭 

 

•  처치 : 효과를 측정하고자 하는 변수, 실험 단위에 가하는 조건 (e.g. 프로모션, 기능사용, 팝업조회, 푸시 클릭 등)

•  Experimental data : 처치가 있고 나머지는 통제된 실험군, 대조군 집단의 데이터 

•  Observational data : 처치와 통제가 없어 그저 관측된 집단의 데이터 

 

 

 

◯  방법론01. 도구변수 

 

⑴  KDD 2021 Trip advisor 사례 

 

 

※ DRIV : 인과추론 + 머신러닝 결합 방법 

 

 

•  일반적인 방법론 적용이 불가능한 이유 

 

↪  멤버십 가입 유저 vs 미가입 유저의 체류시간 단순 비교 ⇨ confoundedness 이슈 발생 : 멤버십에 가입한 유저는 가입하지 않은 유저보다 서비스에 대한 유저 선호도가 본래 높을 것. 서비스에 대한 유저의 선호도가 높으면, 체류시간도 높을 것. 즉 User uffinity 가 Tripadvisor membership (treatment) 와 User engagement (Outcome) 모두에 영향을 미치는 confounder 로 작용함. 

 

↪  A/B test 진행  ⇨ Imperfect compliance 이슈 발생 : treatment 가 멤버십 가입이라 했을 때, 랜덤 추출된 일부 유저에게 멤버십 가입을 강제할 수는 없음. 유저가 참여 여부를 결정할 수 있는 이벤트의 경우 해당 문제가 발생 

 

 

•  Recommendation A/B 테스트 진행 

 

↪  A/B 테스트에서 도구변수를 활용해 알고자 하는 인과관계 추정을 진행하고자 함 

↪ 도구변수 :  원인변수에서 내생성 (confoundedness, selection bias, error term) 을 가지는 부분을 잘라내고, 외생성을 만족하는 부분으로만 결과변수를 예측하는 메커니즘 

↪  활용한 도구변수 : 더 빠른 멤버십 회원가입 과정 

↪  설정한 목표 : 새롭게 바뀐 회원가입 과정이 유저의 리텐션을 향상시키는가 

 

 

⑵ 2021 로블록스 사례 

 

 

•  Recommendation A/B 테스트 진행 

 

 

 

 

◯  방법론02. 업리프트 모델링 

 

⑴  KDD 2021 Uber Eats 사례 

 

 

•  Uplift score = P(outcome | treatment, x) - P(outcome | no treatment,x) 

 

 

 

•  Uplift model 이해하기 

 

 

↪  광고를 볼 땐 구매하고, 광고를 보지 않을 땐 구매하지 않는 Persuadables 에 집중! 

 

 

 

•  Uplift modeling 메커니즘 

 

↪  인과효과 (증분, uplift score) 를 모델링 

↪  A/B 테스트를 통한 실험 데이터를 input 으로 받아서 사용하기 때문에 캠페인의 효과를 비교하는 것에 그치지 않고 실제 비즈니스 가치를 극대화 해줄 수 있는 기법 

↪  데이터를 계층화 stratify 하고 각 계층 strata 내에서 평균처치효과 (CATE) 를 머신러닝을 통해 추정하고 계층간의 차이를 비교하는 메커니즘 

 

 

•  활용 결과 : Uplift score 가 상위 60% 인 유저까지만, Gain 이 가장 높은 기울기로 증가 (이 세그먼트까지 타겟팅 했을 때 예산율을 40%로 줄이면서 수익효율을 67% 증가시킬 수 있을 것으로 예상) → 실제로 온라인 실험 진행시 예산을 46%로 줄이며 수익 기준 ROAS 93%까지 증가함 

 

 

 

 

⑵  2020 DoorDash 사례  

 

 

※ DoorDash 는 음식배달 서비스 회사임

 

•  LightGBM 을 활용한 uplift modeling 으로 프로모션에 비용효율적으로 반응하는 세그먼트를 발견 

 

 

 

◯  방법론03. DiD/Matching 

 

 

 

⑴  발표자 경험사례

 

 

 

⑵  Microsoft Dowhy 샘플 노트북 사례 

 

 

 

 

 

 

④  실무에 적용할 때의 어려움 

---

•  인과추론을 위한 가정들

 

 

 

•  사람에 대한 데이터가 가지는 본질적인 한계 

 

 

 

•  Educational Gap 

 

 

 

 

 

⑤  ATE, CATE, HTE  개념 정리하기 

---

 

◯  ATE, average treatment effect 

 

•  개입의 인과효과를 전체 집단의 레벨에서 설명 

 

 

◯  CATE, conditional average treatment effect 

 

•  유저의 특성 (공변량 변수) 에 따라 한정되는 국지적인 인과효과를 의미한다. 

•  covariates 예시 : 성별, 나이, 소득 수준 등 

•  CATE 로 공변량 변수를 어떻게 정의하고 쪼개보느냐에 따라 확인할 수 있는 인사이트가 달라진다. 

 

 

 

◯  HTE, Heterogeneous treatment effect 

 

•  CATE 간의 차이를 의미한다. 데이터를 계층화하고 각 계층 내에서 ATE 를 추정하여 계층간의 차이를 비교한다. subgroup analysis 

•  CATE 를 추정하는 모델은 다양하게 있고, 그중 하나가 Uplift modeling 이다. 머신 러닝을 통해 인과 효과를 추론하는 방법입니다. 좀 더 자세히는, Meta-learner를 활용해 CATE를 예측하는 방법이다. 

•  HTE 모델은 subpopulation 에게 선택적으로 Rollout 함으로써 향상된 개인화를 가져온다. 

 

 

 

 

 

 

 

👀 Uplift modeling 참고자료

---

 

블로그 

 

 

통계의 힘과 머신러닝으로 해당고객과 "비슷한 고객"이 평균적으로 어느 세그먼트에 속해 있는지 는 알 수 있을 것이다. 이것이 Uplift modeling이 우리에게 알려주는 것이다. Uplift modeling은 특정고객에게 캠페인을 제공하는것이 이득인지 아닌지를 결정하는 task를 위해 만들어졌고, 이것은 어떤 고객이 어떤 세그먼트에 속하는지 결정하는 모델을 만드는 것 이며, 결과적으로 마케팅 수단이 고객의 구매로 이어지는 확률을 결정하는 것을 돕는 모델링 이다.