인과추론의 데이터 과학 - 이중차분법

참고영상 : Bootcamp 3-3.  이중차분법 

 

 

DID(Difference-in-Differences)는 quasi-experimental design 중 하나입니다. Quasi-experimental design은 randomized controlled trial(RCT)과 같은 엄격한 실험적 설계가 적용되지 않은 경우를 말합니다. DID는 일반적으로 실제 실험적 조작을 가하지 않는 자연적인 사건, 예를 들어 정책 변화, 자연 재해 등이 발생한 경우를 이용하여 효과를 측정하는 것입니다.

 

DID는 두 개 이상의 그룹을 비교하여 효과를 측정합니다. DID는 시간적으로 서로 다른 두 그룹이 있는 경우에 주로 사용됩니다. 실험 그룹과 대조 그룹의 특성이 서로 다르지 않은 것이 전제되어야 하며, 이를 위해 DID는 '변화 전' 기간과 '변화 후' 기간을 모두 측정하여 효과를 비교합니다.

 

따라서 DID는 특정 정책 또는 사건이 효과를 유발한 경우 이를 검증하기 위해 널리 사용되는 분석 방법 중 하나이며, quasi-experimental design의 대표적인 예 중 하나입니다.

 

 

 

 

1. DID 

---

 

◯  Difference-in-Differences 

 

 

•  첫 번째 차분 : treatment group에서의 treatment 전후의 변화의 차이, control group에서의 treatment  전후의 변화의 차이 

•  두번째 차분 : treatment group에서의 차이와 control group에서의 차이를 한번 더 빼준다. 

 

 

•  potential outcome framework 관점에서 왜 DID 가 인과추론에 좋은 방법론인지 

↪ T'A 를 현실에서 관찰하기에는 어려움 

↪ (T'A - TB)는 treatment 가 없어도 시간에 따라 자연스럽게 변하는 counterfactual로 관찰 불가능 ⇨ control group에서의 시간에 따른 변화 CA - CB로 바꿈 ⇨ Inferred counterfactual 

 

 

↪ control group 에서 시간에 따라 변하는 변화량과 평행하게, treatment group에서의 counterfactual 도 변할 것이다라고 가정 

 

 

 

 

 

2. Identification assumption for DID 

---

 

•  처치집단과 통제집단에서 treatment 가 없을 때의 시간에 따른 변화인 time trend 가 얼마나 parallel 한지 ⇨ parallel trend assumption : 사실 엄밀하게 이야기하면 해당 가정을 입증하기는 어렵다. counterfactual에 대한 가정이기 때문에, 전체를 검증할 수는 없지만, 우리가 가지고 있는 데이터로의 최선은 treatment를 받기 이전에 대한 time trend parallel 은 살펴볼 수 있다. 시각화를 통해서 parellel 여부를 살펴볼 수 있다. 

 

 

•  왼쪽처럼 parallel 이 성립하지 않는다면, matching 을 통해 control group을 조정할 수 있다. 

 

 

 

 

3. Relative time model (leads-and-lags model)

---

 

•  treatment 가 (t에서) 특정 한 시점에만 있었다면 , 시각화는 쉽다. 만약 treatment 를 받은 시점이 각 treatment unit 마다 다르다면, 시각화로 보여주기 쉽지 않다. 

 

•  Relative time model : 일반적으로 DID 를 분석할 때, 처치그룹에 대해서 처치 이후의 시점을 binary = 1로 두고 분석을 진행하여서 효과를 동일시점에서 보는 것인데 반면, relative time model 은 treatment group에서 처치를 받은 상대적인 시점을 기준으로 각각의 relative time에 대해 time dummy variable 을 만들어 다 넣는 방식을 말한다. 

 

 

•  ex. 우버 (미국 각 도시별로 다를 때 론칭함)가 음주 관련 사고에 미치는 인과적 효과를 연구 

↪ 우버가 도입된 treatment group 에서 relative time을 구할 수 있음 

↪ 우버가 도입되기 1년전, 2년 전, 3년 전, 1년 후, 2년 후, 3년 후 이렇게 time dummy variable을 만들 수 있음 

↪ parallel trend 가정이 성립한다면, treatment 가 있기 이전의 기간에는 처치집단과 통제집단의 차이가 없어야 한다. 우버가 도입되기 이전 기간의 relative time dummy를 보면 통계적으로 유의하지 않아야 한다. 통계적으로 가정을 입증할 수 있다. 

 

 

 

 

 

4. Various cases of DID 

---

 

◯  Case1

 

•  (동일한 시점에 처치가 부여됨) + (처치집단과 통제집단이 처치에 의해 나뉘어지는 경우)

 

 

 

•  주제 : 콘텐츠를 온라인으로 스트리밍 하는 것의 인과적인 효과 

 

•  애플에서 협상결렬 문제로 NBC 콘텐츠가 전체적으로 내려갔던 기간이 발생했었음 ⇨ 외생적 충격 exogenous shock

↪  treatment group : NBC 콘텐츠, control group : 다른 콘텐츠들 

↪  natural experiment 

↪  treatment 가 발생하기 이전에 trend 가 parallel 하고, 이후에 두 그룹 간의 차이가 발생함 

 

 

↪  Treat_i : treatment 적용 여부 

↪  After_t : treatment 를 받은 시점 이후의 기간인지를 나타내는 변수

↪  Treat x After : treatment group 에서 treatment 이후 시점에서의 효과 (interaction term) 

↪  δi : 시간에 따라 변하지 않는 각 개체에 대한 변화를 설명하기 위해서 panel data에서는 unit fixed effect 를 넣음 (ex. 회사들의 판매 데이터를 수집한 경우, 각 회사는 그 자체로 고유한 특성을 가지고 있을 것이다. 이러한 특성은 해당 회사의 판매 결과에 영향을 미칠 수 있다. 따라서 unit fixed effect 를 통해 이러한 특성을 제거하고 회사들 간의 차이를 비교할 수 있다) 

↪  θt : 특정 시점에 공통적으로 영향이 있는 요인 (= 개체 간에는 동일하게 작용하지만 시간에 따라 변하는 요인들을 제거하기 위해) 들을 고려하기 위해 time fixed effect 도 넣음

↪  Treat_i는 unit fixed effect에 흡수되고 (누락되고), After_t는 time fixed effect에 흡수된다 (자동누락). 그래서 일반적으로 main term 없이 interaction term 만 있는 경우가 많다. 

 

case1 에서의 DID 수식

 

⇨ Dt 는 time fixed effect에 의해 사라진다고 하면 NBCi x Dt 만 남게 된다. 

 

 

 

※ random effect, fixed effect 

 

↪ Panel data 에서 fixed effect를 추가하는 것은 거의 필수다 

 

 

 

 

 

 

◯  Case2

 

•  (treatment 적용 시점이 다름) + (처치집단과 통제집단이 처치에 의해 나뉘어지는 경우)

 

 

•  주제 : 온라인 안경판매 플랫폼에서 오프라인 쇼룸을 오픈한 것이 treatment이고, 실제 경영 성과에 어떤 영향을 미쳤는지에 대한 연구 

 

↪  treatment group : 오프라인 쇼룸 30마일 반경 내에 있는 소비자들, control group : 반경 밖에 있는 소비자들 

↪  오프라인 쇼춤이 개장한 시점은 지역마다 다름 = different treatment timing 

 

 

↪  After_t 를 고려할 수 없음 : unit 마다 treatment를 받는 시점이 다 다르기 때문에 특정 시점을 기준으로 그 이후면 1, 아니면 0 이런 식으로 코딩하기가 불가능하다. 

↪  Treat 와 After 가 interaction 이 아니라, Treat_After와 같이 하나의 변수로 정의될 수밖에 없다. Treatment group 이면서 특정 시점에 처치를 받았으면 1, 아니면 0 이런 식으로 정의한다. 

↪  Treat_i 는 fixed effect에 흡수되어 사라짐 

 

case2 에서의 DID 수식

 

⇨ OPENit 만 남게 된다. 

 

 

 

 

◯  Case3

 

•  (treatment 가 동일 시점에서 적용) + (treatment 가 처치집단과 통제집단을 나누지 않음 → treatment의 영향을 받는 정도의 차이에 따라 구분됨)

 

① 주제 : 금융위기 기간 동안, 기업 성과에 CSR (기업의 사회적 책임) 이 미친 영향 

 

 

↪  금융 위기 (treatment) 는 모든 기업이 겪음 

↪  CSR 을 중심으로 해서, 금융위기에 영향을 덜 받았을 것으로 예측되는 CSR 이 높은 그룹과 금융위기에 영향을 더 받아 CSR 이 낮은 그룹으로 처치집단과 통제집단을 나누어 금융위기 전후로 분석 

 

 

 

② 주제 : Ebay 에서 머신러닝 기반의 번역 알고리즘을 통해 번역 기능이 향상된 것 

 

 

↪  모든 상품이 번역기능에 영향을 받았기 때문에, 번역기능을 받은 상품과 그렇지 않은 상품으로 나눌 수는 없다. 

↪  하지만, 번역 알고리즘에 영향을 더 많이 받았을 것 같은 상품과 그렇지 않은 상품으로 처치집단과 통제집단을 나누어 볼 수 있다. 

↪  상품 상세글의 길이가 길수록 번역의 품질이 상대적으로 떨어질 수밖에 없고, 상품의 상세정보 길이에 따라 번역의 효과가 달라질 것이라 가정했다. 

 

 

 

◯  Case4

 

•  (treatment 가 적용되는 시점이 다른 경우) + (treatment 가 처치집단과 통제집단을 나누지 않음 → treatment 의 영향을 받는 정도의 차이에 따라 구분됨)

 

 

•  주제 : shale boom 이 은행 예치금을 증가시켜, local finance 접근을 향상하고, 회사 창업에 영향을 미친 효과 (triple difference) 

 

↪  shale boom 은 미국의 state 마다 발생 시기가 다르다. 또한 shale boom 에 의해 영향을 크게 받는 산업 (중공업, treatment group) 이 있고 그렇지 않은 산업 (retail, control group) 이 있다. 

↪  shale boom 전후의 차이를 분석