인과추론의 데이터 과학 - 인과추론 관점에서의 회귀분석

 

 

참고영상 : Bootcamp 2-3. 인과추론 관점에서의 회귀분석 

 

 

 

1. Casual Hierarchy 

---

 

 

•  어떤 종류의 selection bias를 다룰 수 있는지에 대한 기준 

•  Selection on Observables strategies : 관찰 가능한 변수들에 의해서만 treatment와 control 이 선택된다는 가정을 가지고 관찰 가능한 변수들만을 가지고 selection bias를 설명하려는 경향 

•  Selection on Unobservables strategies : 관찰 가능하지 않은 교란 요인들도 적절한 실험디자인을 통해 해결하고자 하는 전략 ⇨ 좀 더 powerful 한 전략 

 

 

 

 

 

2.  How to balance between treatment and control groups 

---

 

◯  Regression adjustment 

 

 

•  통제변수의 활용을 통해 selection bias 를 모두 설명하고자 하는 방법 

•  가장 간단하고 유연한 모델이라, 인과추론에 혼동을 줄 수 있는 모델이기도 하다. 

 

 

 

◯  Matching 

 

 

•  treatment group 과 control group 이 서로 비교 가능할 수 있도록 관찰 가능한 변수들의 값이 서로 유사한 데이터들끼리 매칭하는 전략 

 

 

 

◯  Weighting 

 

 

•  treatment 를 받을 확률의 역수만큼을 각 데이터에 가중치를 부여해, 결과적으로 random assignment 가 될 수 있도록 하는 방법 

 

 

 

 

 

 

3.  Regression from the perspective of potential outcomes 

---

 

◯  전통적인 방식의 회귀분석 

 

 

•  종속변수를 설명하는 모든 독립변수를 설명함으로써 , 종속변수를 온전히 설명하는 true model을 만드는 것이 목적 : R-squared 

•  EX. 4가지의 독립변수들이 Studnet achievement 를 잘 설명하고 있다. 

 

 

◯  인과추론 관점에서의 현대 회귀분석 

 

 

•  인과추론 관점에서의 회귀분석의 역할은, selection bias 를 야기하는 confounding factor 를 통제하고 하는 것 : control variable 통제변수 

 

•  R-squared 보단, 통제변수가 selection bias 를 얼마나 잘 통제하느냐가 중요

 

 

 

◯  인과추론 관점으로 회귀분석을 재정의해보기 

 

 

•  편의상 treatment variable 인 X를 bianry variable 로 바꿔보자. True causal coefficient 를 β라 하자. 

•  α : 전체 샘플에 대한 평균 

 

 

•  Potential outcome 관점에서 Regression model 을 다시 써볼 수 있다. 

•  ε1i 와 ε0i 의 차이가 함께 추정됨 → β 를 제외한 차이 (treatment 여부를 제외한 차이) 이므로 (ε1i -  ε0i) 는 selection bias 를 뜻한다. 

 

 

 

•  ATE 를 정리하면 우리가 구하고자 하는 True causal effect 뿐만 아니라, selection bias 가 그대로 껴서 나온다. selection bias = 0 이면 비로소 causal effect 라고 부를 수 있다. 

 

 

•  selection bias 를 모두 설명할 수 있는 변수 (control variable) Ci 가 있다고 가정해보자 (Selection on Observables strategies). 이 Ci 와 selection bias 가 선형 관계식으로 정의될 수 있다는 가정을 추가해볼 수 있다. 

 

•  ei 와 X=0 일 때의 control variable 의 값 C0i, X=1 일 때의 control variable 의 값 C1i 

 

 

•  Control variable 을 포함해서 다시 식을 재정의하면, treatment variable 인 X 의 coefficient 에 더 이상 selection bias 가 포함되지 않음을 볼 수 있다. 

 

 

•  그러나 여전히 ATE 는 온전한 β 가 되지 못하고, Control variable 에서의 차이까지 계산된다. 만약 control variable 이 conditioning 한다면 (고정한다면), potential outcome 의 차이가 사라질 수 있다. Conditional ATE 가 우리가 원하는 True casual effect 가 되는 것이다 ⇨ Regression 에서 selection bias 를 제거하는 방법 

 

 

◯ [정리]  Control variable 로 selection bias 를 제거하기 위한 2가지 가정 

 

1. selection bias 를 모두 설명할 수 있는 control variable 을 알고 있어야 한다. 

2. 그 관계가 어떤 functional form 을 가지고 있어야 한다. (위에서는 linear function 을 가정함) 

 

⇨ Control variable 을 명시적으로 회귀분석에서 통제함으로써 회귀분석을 통해 인과관계를 해석할 수 있다. 

 

 

 

 

◯ Conditional Independence 

 

 

•  Identification assumption : 인과추론이 가능한 가정을 Identification 가정이라 부른다. 

•  Conditional independence : control variable C 가 conditioning 되어있는 상태에서 원인 변수인 X 여부에 상관없이 error term 인 e의 평균값이 동일해야 한다. 즉, control variable 이 conditioning 되어있는 상태에서 원인변수인 X와 error term 간의 상관관계가 없어야 한다. control variable 은 selection bias 를 설명하면서 conditional independence 를 가능하게 한다. 

 

•  R-squared 가 높고 낮음은 인과추론과 상관없다. X의 인과적인 효과에 관심이 있고, Control variable 의 역할은 R-square 를 높이는 것이 아니라, Control variable  이 treatment 가 1일때와 0일때의 차이인 selection bias 를 얼마나 잘 설명하는지 여부가 인과추론이 가능한지에 대한 여부가 된다. 

 

 

 

◯ [정리] 인과추론을 위해 회귀분석에서 기억해야 할 3가지

 

1. There should be a clear distinction between causes and controls : Regression 에 있는 우항에 존재하는 모든 독립변수들이 동일한 역할을 하는 것은 아니다. 인과관계를 추정하고자 하는 원인변수와 나머지 통제 변수의 역할을 명확히 구분하는게 중요하다. 

 

2. The role of control variables is to account for the selection bias : 구분하는 목적은 통제변수의 역할에 대해 판단하기 위함인데, 통제변수의 역할은 selection bias 를 얼마나 잘 설명하느냐이다. 통제변수를 conditioning 한 상태에서, treatment 그룹과 Control 그룹 간의 차이가 없어서  apples vs apples (Ceteris Paribus 를 뜻하는 용어) 비교가 가능하게 만드는 것이 통제변수의 역할이다.

 

3. Don't interpret the coefficients of controls in a causal manner : Control variable 에 대해서는 인과적인 효과로 해석하지 않도록 주의해야 한다. control variable 의 역할은 원인변수인 X에 대해서 conditional independence 를 만족시키기 위한 보조적인 도구에 불과하기 때문이다. 

 

 

 

 

 

4.  Regression is Analogous to Matching 

---

 

회귀분석은 matching 과 동일하다고 볼 수 있다. 회귀분석은 "automated matchmaker" 이다.