1. Machine learning-based estimation of heterogeneous Treatment Effects and Motivating examples

 

 

 

◯ 실습 따라 공부한 노트북

 

https://colab.research.google.com/drive/1gM9uiyTwW80ZhWGqXkK_PbVXQGGfacTR?usp=sharing 

EconML day1 .ipynb

 

 

 

 

① ML based estimation of heterogeneous Treatment Effects 

---

 

•  머신러닝의 가장 큰 목적은 도메인 응용에서 의사결정을 자동화 하는 것이다. 

 

•  대부분의 데이터 기반의 personalized 된 의사결정 시나리오의 핵심적인 문제는 heterogeneous treatment effects 를 추정하는 것이다. (Intervention 의 효과는 무엇인가) 

 

•  가령 가격할인이 수요에 미치는 영향을, 소비자 특성 함수로 추정하는, personalized pricing 문제에서 발생할 수 있다. 또한 약물치료가 환자의 임상 반응에 미치는 영향을 환자의 특성 함수로 추정하는 것이 목표인 의료 임상시험에서도 해당 문제가 발생할 수 있다. 

 

•  위와 같은 예시들의 경우는 observational data 가 풍부하고, unknown policy 에 의해 treatment 가 가해지고, A/B test 를 실행하는 것이 제한되어 있는 상황에 놓여져 있는 경우가 많다. 

 

 

•  EconML 패키지는 계량경제학과 머신러닝의 교차점에서 머신러닝 기반 접근법을 통해 heterogeneous treatment effect 추정하는 최신 기법을 구현한다. 이러한 방법은 Random forests, boosting, lasso and neural nets 등의 기법을 통해 heterogeneity effect 를 모델링 하는데에 상당한 flexibility 를 제공하는 동시에 인과추론 및 계량경제학적 기법을 활용하여 학습된 모델의 인과적 해석을 보존하고, 유효한 신뢰구간을 구성함으로써 통계적 타당성을 제공한다. 

 

 

 

② Motivating Examples 

---

 

•  EconML 은 feature set X 를 controlling 하면서, treatment variable T 가 outcome variable Y 에 미치는 causal effect 를 측정하기 위해 고안한 모델이다. 

 

 

⑴  Recommendation A/B testing 

 

 Interpret experiments with imperfect compliance

 

•  Question. 여행 웹사이트에서 멤버십 프로그램에 가입하면 사용자가 웹사이트에 더 많은 시간을 보내는지 알고싶다. 

•  Problem. 멤버십 회원이 되기로 선택한 고객은 engagement 가 다른 고객보다 이미 높을 가능성이 높기 때문에 기존 데이터를 직접 살펴보고 멤버십 회원과 비화원을 비교하기가 어렵다. 또한 사용자에게 멤버십 가입을 강요할 수 없기 때문에 직접적인 A/B 테스트를 실행할 수도 없다. 

•  Solution. 회사측에서 새롭고 빠른 가입 과정의 가치를 테스트 하기 위해 이전에 실험을 진행한 적이 있다. EconML 의 DRIV estimator 는 멤버십에 대한 이 실험적 nudge 를 멤버십 likelihood 의 무작위 변동을 생성하는 도구변수로 사용해볼 수 있다. DRIV 모델은 빠른 가입 과정을 제안받은 모든 고객이 멤버십 회원이 되는 것은 아니라는 점을 고려해 빠른 가입 과정의 효과가 아닌 멤버십의 효과를 반환한다. (Returns the effect of membership rather than the effect of receiving the quick sign-up)

 

 

◯ 코드 실습 

 

◯ Case study : Trip advisor 

 

 

 

 

⑵  Customer segmentation

 

Estimate individualized responses to incentives

 

•  Question.  미디어 구독 서비스에서 맞춤영 요금제를 통해 타겟 할인을 제공하려고 한다. 

•  Problem. 고객의 많은 특징을 관찰할 수 있지만, 어떤 고객이 더 낮은 가격에 가장 큰 반응을 보일지 확신하기가 어렵다. 

•  Solution. EconML 의 DML estimator 를 통해 기존 데이터에서 존재하는 유저 가격 변동을 사용하여 다수 유저의 feature 에 따라 달라지는 heterogeneous 한 가격 민감도를 추정한다. Tree interpreter 는 할인에 대한 반응의 가장 큰 차이를 설명하는 주요 feature 에 대한 요약을 제공한다. 

 

◯ 코드 실습 

 

 

 

 

⑶  Multi-investment attribution

 

Distinguish the effects of multiple outreach efforts

 

•  Question.  스타트업이 신규 고객을 모집하는데 가장 효과적인 접근 방식을 알고자 한다 : 가격할인, Adoption 을 이끼는 기술적 지원, 혹은 이 두 가지를 결합한 방식 

•  Problem. 고객을 잃을 수 있는 위험 때문에 지원활동에 드는 노력에 많은 비용이 소요된다. 대기업은 기술적 지원을 받을 가능성이 더 높은 것처럼, 고객에게 전략적으로 인센티브를 제공해왔다. 

•  Solution. EconML 의 Doubly Robust Learner model 은 여러 이산적인 treatment 의 효과를 jointly 하게 추정한다. 해당 모델은 confounding correlation 을 필터링하기 위해 관측된 고객 feature 의 flexible 한 함수를 사용하고 각 effort 가 매출에 미치는 인과적 효과를 제공한다. 

 

 

◯ 코드 실습