[The Brave and True] 9. Non Compliance and LATE

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

 

📜 정리 

 

도구변수로 추정하는 ATE 는 LATE 이다.

•  compiler에 대한 LATE 이다.

 

 

 

 

 

 

①   Heterogeneous 

---

 

◯   도구변수에 대한 반응 종류 

 

•  Compliers, Never Takers, Always Takers, Defieres 

 

•  ex. 신약 효과 테스트를 위해 피실험자는 약물 또는 위약을 할당받는다. 

 

Compliers	약물 또는 위약을 거부감 없이 복용하는 집단
Never Takers	할당 받은 약의 복용(Treatment)을 거부 또는 받지 않는 사람 (어떠한 약을 할당받아도 복용하지 않을 사람)
Always Takers	약 할당과 별개로 항상 진짜 약물을 복용하는 사람들
Defieres	통제에 할당되면 Treatment를 받고, Treatment를 할당 받으면 통제를 받는 청개구리 같은 사람들 ⇨ 실제 상황에서는 일반적이지 않아 보통 무시한다.

 

•  도구변수 실험에서는 Compliers 그룹에 해당하는 인과효과만을 고려한다. 

 

 

 

◯   Validity 

 

•  Internal validity : 내적 타당도로, 내부적으로만 유효한 인과효과이므로 특정 데이터 그리고 특정 실험 세팅에서만 유효하다. 

•  External validity : 외적 타당도로, 인과적 효과의 예측력과 관련있다. 실험한 표본에서 발견한 효과를 다른 모집단에 대해 일반화할 수 있는지에 대한 질문과 관련있다. 

 

 

 

◯   예제 

 

▢  변수설명 

 

•  인앱구매로 측정한 사용자 참여(user engagement) 지표를 높이고 싶어, 마케팅 부서에 Push 마케팅을 요청한다. 마케팅팀에서 push 디자인과 설계를 잘해서 10000명의 무작위 고객을 선택하여 각 50%의 확률로 push를 할당한다. 그러나 일부 고객이 Push 를 거부하여 받지 못할 수 있고, 스마트폰이 구형일 수도 있다. 

 

 

 

 

•  Push assigned : 무작위 할당으로 다른 영향을 받지 않는다. (Treatment) 

 

•  Push delievered : Push 의 전달 여부로, Push 를 받도록 할당된 모든 사람이 Push 를 받은건 아니기 때문에 마케팅 실험에서는 Compliance 를 완벽하게 고려하지 못한다. 즉, Push 마케팅을 진행해도 절대로 해당 Push 를 받지 않는 사람들 Never takers 들이 존재한다. 

 

•  in app purchase : Outcome variable 

•  income : Push 를 할당받는 사람들의 소득이다. 소득 정보를 알 수 없기 때문에 해당 변수를 통제할 수 없다. 

 

 

 

▢  인과효과 추정 - Push assigned

 

•  Push assigned 가 in app purchase 에 미치는 인과효과 

 

 

•  pushAssigned 가 랜덤이기 때문에 Bias term 은 0이다. 그러나 위에서는 Treatment 자체의 효과보단 Treatment 할당에 대한 인과적 효과를 찾은 것이다. non-Compliance 때문에 Treatment 에 할당된 사람들에 대한 결과는 Control 에 배정된 사람들의 결과로 편향되어 추정된다. non-Compliance 는 Treatment 와 Control 에 대한 추정량을 유사하게 만든다. 

 

Always taker는 할당과 상관 없이 Treatment를 받는다.

 

•  non compliance 로  Always taker는 할당과 상관 없이 Treatment를 받을 것이고, 같은 논리로, Never Taker는 Treatment에 배정되더라도 Treatment를 받지 않기 때문에 Treatment에 배정된 사람들이 실제로 Treatment를 받지 않은것 처럼 만들 것이다 ⇨ 인과의 효과를 감소시켜 Treatment 할당의 인과효과는 0으로 편향

 

 

 

▢  인과효과 추정 - Push delivered

 

•  Push delivered 가 in app purchase 에 미치는 인과효과 

 

 

 

•  여기서는 측정되지 않은 Confounder 수입(income)이 분명히 인과추론을 어렵게 할 수 있다. Push 전달의 실패는 구형 스마트폰을 가진 고객들에 의해 발생할 수 있는데 따라서 E[Y0 | push = 0] < E[Y0 | push = 1] 가 존재할 수 있다. 비교적 적은 수입(income)을 가진 고객들은 구형 스마트폰을 가지고 있기 때문에 Push 를 받지 못하게 되고 인앱 구매 Y0의 가능성도 낮아지게 된다 ⇨ E[Y0 | push = 0] ≠ E[Y0 | push = 1]  ⇨ Bias 존재

 

•  따라서 Treatment나 Treatment를 받지 않는 사람을 이용해서 ATE를 추정할  수 없다. 

 

•  우리가 할 수 있는 방법은 도구변수를 활용하는 것! 

 

 

 

 

②  Local Average Treatment Effect: LATE

---

 

◯   LATE

 

•   causal chain :  Z → T → Y

 

•   Counterfactual 

 

 

 

◯   도구변수 가정 

 

⑴  independence Assumption

 

 

•   독립성 가정

•   도구변수는 무작위 할당된다. 즉, Z는 잠재적인 Treatment 와 상관관계가 없다. 

 

 

⑵  exclusion restriction

 

 

•   Treatment에 대한 잠재적인 결과는 두 도구 변수 그룹 모두 동일하다는 것으로, 즉, 도구 변수는 잠재적인 결과에 영향을 미치지 않으며, 이는 도구 변수가 Treatment를 통해서만 결과에 영향을 미친다는 것과 같다. 

 

 

⑶  도구 변수가 Treatment에 영향을 미친다

 

 

 

⑷  Monotonicity

 

 

•   도구변수의 단조성 가정 : 모든 그룹에서 도구 변수를 활용한다면, Treatment 가 없는 경우보다 있는 경우에 Treatment 에 대한 level 이 더 높아 진다

 

 

 

◯   IV 에 의해 추정된 ATE 

 

 

•   IV 에 의해 추정된 ATE 는 Ti1 > Ti0 인 부분 모집단의 ATE 이다. 도구 변수를 설정한 사용자가 도구 변수를 해제한 경우보다 Treatment에 대한 수준이 높은 모집단에 해당한다. 즉, Compliers 를 의미한다. 

 

 

 IV는 Comilers에 대한 Treatment 효과를 찾아준다. 

 

 

 

 

 

 

 

③   Effect on Engagement 

---

 

◯   예제 데이터 

 

 

•  Push 할당, Push 전달에 대한 Treatment 변수, 그리고 in app의 구매에 대한 정보로 이루어져 있음 

 

 

 

 

◯   OLS (Not using IV) 

 

ols = IV2SLS.from_formula("in_app_purchase ~ 1 + push_assigned + push_delivered", data).fit()
ols.summary.tables[1]

 

•   Treatment 효과 BRL(bias-reduced linearization) = 27.60 : Push 마케팅을 진행하면 인앱 구매가 27.6 만큼 오른다는 것을 의미  ⇨  그러나 이는 편향된 추정치 (e.g. 옛날 스마트폰이 Push 메세지를 받기에 어려움을 겪고 있는 상황) :  Treatment 받는 사람들은 더 많은 수입이 있기 때문에 우리는 이러한 편향이 Positive일 것이며, 실제 인과 효과는 더 낮다고 생각할 수 있다. 

 

 

 

◯   First stage (IV) 

 

first_stage = IV2SLS.from_formula("push_delivered ~ 1 + push_assigned", data).fit()
first_stage.summary.tables[1]

 

 

•   Push를 받도록 할당된 사람들은 71.8%의 확률로 Push를 받는다. 즉, Never takers가 28%가 된다는 것을 의미하기도 한다. 

 

•   intercept의 Parameter가 0으로 추정되기 때문에 always takers는 없다고 판단할 수 있다. 즉, Treatment를 할당하지 않은 경우에는 아무도 Push를 받지 못한다는 것을 의미하며, 실험 설계를 고려할 때 예상할 수 있다. 

 

 

 

◯   Reduced form 

 

reduced_form = IV2SLS.from_formula("in_app_purchase ~ 1 + push_assigned", data).fit()
reduced_form.summary.tables[1]

 

•   축소된 형식으로 Treatment 할당에 대한 인과 효과는 2.36임을 보여준다. 즉, Push를 받을 누군가를 지정하면 인앱 구매가 2.36 만큼 증가한다는 것을 의미한다. 

 

 

 

◯   Treatment effect 

 

•   방법1 : 위에서 구한 계수들의 비율로 구하기 : 2.363/0.717 = 3.29 

 

•   방법2 : 2SLS 실행 

 

iv = IV2SLS.from_formula("in_app_purchase ~ 1 + [push_delivered ~ push_assigned]", data).fit()
iv.summary.tables[1]

 

 

•   2SLS의 결과가 OLS의 27.6보다 훨씬 낮다는 것을 확인해 볼 수 있다. OLS로 추정된 인과 효과는 긍정적으로 편향되어 있으므로 이러한 결과는 타당해 보인다. 

 

•   3.29는 Complier에 대한 ATE 로 LATE 이다. 즉, Never taker에 대해서는 해당 효과를 알 수 없는, 최신 스마트폰을 가지고 있는 그룹에 대하여 해당 Push 마케팅이 미치는 결과를 추정하고 있음을 의미한다.