인과추론의 데이터 과학 - 준실험 분석 방법론

참고영상 : Bootcamp 3-2.  준실험 분석 방법론 

 

 

 

1. Counterfactual and methods 

---

 

◯  Counterfactual revisited 

 

 

•  우리에게 필요한건, treatment group 에서 treat 를 받지 않았더라면 어떤 결과를 보였는지에 대한 counterfactual ⇨ 현실에서 관찰 불가능하기 때문에 가장 비슷한 control group 을 찾는 것이 관건이다. 

•  Causal experiment method: control group 을 활용해 어떻게 counterfactual 을 유추할 수 있을지에 대한 방법 ⇨ Research design and apply method 

 

•  우리가 실제 데이터를 통해 추정하는 것은, treatment group 에 대한 ATE 인 ATET 이다. 엄밀히 말하면, control group 에서 만약 treatment 가 있었으면 어떠했을지 나타내는 ATEU 는 데이터를 통해 추정하고자 하는 대상은 아니고, 역관계가 성립하기 위해 treatment group 와 control group 이 굉장히 비슷해서, 서로 역할을 바꿔도 결과가 동일할 것이라는 가정 하에서 ATEU 까지도 추정하는 것이다. 이를 종합해 전체 샘플에서 ATE 를 구한다. 

 

•  [정리] Causal inference method 는 비교 가능한 control group 을 활용해 counterfactual 을 approximation 하겠다는 접근이고, 우리가 실제로 그러한 method 를 통해서 추정할 수 있는 것은 ATET 이다. ATE 를 구하고자 한다면, 역관계 성립이라는 가정이 추가되어야 한다. 

 

 

 

 

 

2. Data structure from the perspective of Counterfactual 

---

 

◯  Data structure 

 

 

•  비교 가능한 대상을 통해 counterfactual 을 approximate 

•  counterfactual 은 time-invariant outcome 과 time-varying outcome 으로 분류될 수 있다. 

•  시간에 따라 변하지 않는 counterfactual 은 treatment 가 실제로 없었을 때 있었던 과거의 값에 거의 동일할 것이다. 시간에 따라 변하지 않는 요인은, 과거 데이터로 쉽게 유추할 수 있다. 

 

 

•  treatment 전후에 데이터를 관찰할 수 있는 longitudinal data 가, treatment 를 받은 이후의 특정 시점의 데이터만 있는 cross-sectional data 보다 인과추론 관점에서는 훨씬 더 유리하다. 

 

•  시간에 따라 변하는 counterfactual 만 생각해보면 된다. 

 

•  counterfactual 을 approximation 한다는 측면에서 treatment 전후의 데이터가 모두 있으면 훨씬 더 유리한 측면이 있다. 

 

 

•  treatment group 에서만 전후 데이터가 있는 경우가 있고 (time-series data) , control group 의 전후 데이터까지 있는 경우 (panel data) 가 있다. Panel data 형태가 time-series 보다 훨씬 유리하다고 볼 수 있다. 

 

 

•  [예시] 

↪  할인쿠폰이 지급되었고, 내가 이번주에 우산을 구매했다. 이때, 쿠폰 지급이 제품 구매로 이어졌는지에 대해 인과추론을 진행해보고자 한다. 지난주에는 날씨가 화창했다고 가정해본다면, 지난주에는 우산을 구매하지 않았어도 되었기 때문에, 지난주의 행동만 가지고 이번주의 행동을 예측했다면 counterfactual 로 "쿠폰이 없었다면 이번주에 우산을 구매하지 않았을 것이다" 라고 예측할 가능성이 높다. 그러나, 실제로는 우산을 구매했기 때문에 이런 경우에는 쿠폰의 인과적인 효과가 크게 나타났을 것이다. 

↪  반면, 이번주에 비가 오기 때문에 쿠폰을 받지 않았지만 우산을 구매한 다른 친구들 control group 을 고려해서 counterfactual 을 예상해본다면, 쿠폰이 없었더라도 우산을 구매했을 가능성이 크니까, 쿠폰의 효과라고 볼 수 없을 것이다. 

 

 

•  [정리]

1. treatment 전후로 데이터가 모두 있는 것이 좋다.

2. control group 에서도 전후 데이터가 모두 있는 것이 인과추론 관점에서 매우 유리하다. 

 

 

 

 

 

 

3. What's your research design and data structure 

---

 

1. 내가 가지고 있는 데이터의 특성이 무엇인지 

2. 데이터를 가지고 어떻게 분석할지 

 

 

◯  Research Design 선택 단계 

 

 

 

 

[단계 설명]

 

•  ①. 인과추론을 목적으로 하는게 맞는지, 무작위 배정이 가능한지 체크 

 

 

•  ②. 

(a) ①번이 만족된다면 RCT 가 가능하다면, RCT 를 활용 

(b) RCT 가 불가능하면 treatment group 와 control group 이 어떻게 선택되는지에 대한 메커니즘 생각하기 : Quasi-experiment design 과 같은 research design 고려하기 

 

 

•  ③.

 

(a) research design 을 찾을 수 있다고 한다면 treatment group 와 control group 을 찾기 

⇨ a-1. control을 관찰 불가능 : longitudinal data (treatment 전후로 관측 가능한지 보기) : interrupted time series analysis 

⇨ a-2. control을 관찰 가능 : treatment 와 control 에서 시간에 따른 변화가 얼마나 비교 가능한지에 대한 가정 (parallel trend assumption) 이 만족하는지 따져보기 → 만족한다면 DID , 만족하지 않는다면 Matching 작업 후에 DID 를 적용하거나, Synthetic control 이라는 방법을 활용해볼 수 있다. 

 

(b) control 을 관찰 가능한데, treatment 전후의 데이터가 없는 경우 : treatment 가 임의의 threshold 에 의해 나뉜 것인지 따려보고, 만약 그렇다면 regression discontinuity 라는 방법을 활용할 수 있고, 그것이 아니라면, treatment 를 받을 수 있는 외부 요인이 있는지 찾아보아야 한다 (④). 

 

 

•  ④. 도구변수

 

(a) 도구변수가 있다면 : local average treatment effect 분석을 할 수 있고, control function 이나 selection model 을 활용해볼 수 있다. 

(b) 도구변수도 고려해볼 수 없다면 : Matching/weighting 이나 regression 전략을 고려해볼 수 있다. 

 

 

 

 

 

 

 

 

4. Overview of methods 

---

 

•  목적 : control group 을 활용해서 treatment group 에서의 counterfactual 구하기 

 

 

◯  DID

 

•  조건 : treatment 와 control group 이 어떻게 나뉘는지 알아야 하고, treatment group 과 control group 모두 treatment 전후의 데이터가 존재해야 하고, treatment 가 없는 상황에서 treatment group 에서의 시간에 따른 변화와 control group 에서 시간에 따른 변화가 평행하는 parallel trend assumption 이 성립해야 한다. 

 

•  시간에 따라 변하지 않는 변수, 성별, 지역, 취향 등의 요인만 고려할 수 있어도 상당히 많은 부분을 커버할 수 있다. 따라서 과거 데이터가 중요하다. 

 

 

•  treatment 가 없는 상황에서 시간에 따라 변했을 counterfactual 만 남음 → control group 에서의 시간에 따라 변하는 정도를 가지고 추정한다. 가령 위의 예시처럼, control group 에서 potential outcome 이 "평균"적으로 0.5 증가했기 때문에 counterfactual 을 추정할 때에도 0.5씩 증가시킨다. 

 

•  DID 를 적용하는데 있어서 parallel trend assumption 에서 treatment group 과 control group 이 다 비슷할 필요는 없고, 시간에 따라 변하는 정도만 비교 가능하면 되기 때문에 기존 분석보다 다소 느슨한 가정에 해당한다. 만약 이러한 가정이 아예 만족되지 않는다면 matching 등의 방법을 사용하면 된다. 

 

•  DID 를 통해 구할 수 있는 것은 ATET 이다. ATET 를 구하기 위해서는 시간에 따라 변하는 추세만 비슷하면 된다. 그러나 이를 ATE 로 확장시키려면 좀 더 강한 가정이 필요하다. ATE 로 확장하려면 treatment 와 control 이 모든 면에서 비슷해서 역으로 대상을 바꿔도 (control 에서 treat 를 받았다고 했을때) 성립하는 상황이 성립되어야 한다. ATET와 ATE 를 구분하는 것도 중요하다. 연구 목적에 따라 ATET 만 봐도 충분할 수 있다. 

 

 

 

 

◯  Synthetic control 

 

•  기본 아이디어 : control group 의 combination 을 통해 treatment group 의 counterfactual 을 예상하기 

 

 

•  DID 와 목적은 동일하다. 

•  parallel trend 가정이 만족되지 않아도, control unit 을 잘 조합해서 treatment unit 을 잘 예측해낼 수 있다. 

 

 

 

◯  Synthetic control vs DID 

 

 

•  각각의 Firm 2~5 는 treatment 와 비교 가능한 것이 하나도 없다. (DID 만족X) 

 

 

•  반면, Firm 2와 Firm3 를 적절히 조합하면, 비교 가능한 가상의 통제집단을 만들 수 있다. 

 

 

 

 

◯  Interrupted Time series analysis 

 

•  조건 : control group 데이터가 없고, treatment group 의 전후 데이터만 있는 경우 

•  treatment group 에서의 과거 데이터만을 가지고 미래를 예측 : time-series forecasting 

 

 

•  ex. 시간의 흐름에 따라 1씩 증가하는 경향을 보이므로, 다음 outcome 도 +1의 결과를 가질 것이다.