[The Brave and True] 13. Difference-in-Differences

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

https://ysyblog.tistory.com/307

 

 

📜 정리 

 

•   DID 활용 목적 및 예제
•   DID estimator 추정 
•   Parallel trend 가정 
•   집계된 데이터에서의 DID estimator 

 

 

 

 

 

 

①  DiD 가 필요한 이유 

---

 

◯   DiD 가 필요한 상황

 

•   온라인 마케팅을 사용하면 어떤 고객이 어떤 광고를 보았는지 알 수 있고, 쿠키를 사용해 고객이 방문 페이지에 도달했는지 또는 다운로드 버튼을 클릭했는지 확인할 수 있다. 또한 머신러닝을 이용해 고객과 매우 유사한 잠재 고객을 찾고 해당 고객에게만 광고를 노출시킬 수 있다.  이러한 의미에서 온라인 마케팅은 매우 정확하다. 

 

•   반면, 광고판과 TV 광고 같은 경우엔  마케팅이 얼마나 효과적인지 알기가 훨씬 더 어렵다. 물론, 광고판을 어딘가에 배치하기 전후의 구매량 등을 측정할 수는 있다. 지표의 증가가 있다면 마케팅에 의해서 그런 것일 수 있지만, 제품 인지도에 의한 자연스러운 추세일 수도 있다. 증가의 원인이 광고판을 설치한 것인지 확인하기 위해선 counterfactual Y0 (애초에 광고판을 설치하지 않았다면 어떻게 될까) 를 살펴보아야 한다 ⇨ DiD

 

 

◯   DiD 활용 

 

•   DID 는 일반적으로 거시적 개입 (macro interventations) 의 효과를 평가하는 데 사용된다. 

↪  ex. 이민이 실업에 미치는 영향, 범죄율에 대한 총기법 변경의 영향, 마케팅 캠페인으로 인한 유저 참여 차이를 추정 

 

•   DID 는 모든 경우에 개입 전후에 기간이 있으며 일반적인 추세에서 개입의 영향을 파악하고자 하는 방법이다. 

 

 

◯  예제 데이터 설명 

 

•   광고판이 마케팅 채널로 얼마나 좋은지 알아보기 위해 브라질에서 가장 발전된 지역 (편의상 약자로) PA 에 3개의 광고판을 설치했다. 대조군으로는 다른 지역인 (편의상 약자로) FL 을 살펴본다. 

 

•   FL 을 대조군으로 하여 PA 와 비교했을 때, counterfactual 을 추정해볼 수 있다. 6월 한 달 동안 PA 지역에 광고판을 배치했다. 

 

 

↪  deposits (예금) : Outcome variable 로 광고판을 통해 늘리려고 하는 변수 

↪  poa : PA 지역 여부인지에 대한 Dummy variable. 0이면 FL 지역에서 가져온 데이터임을 의미 

↪  jul : 7월로, 사후 개인 기간 (post intervention period) 에 대한 더미변수이며, 값이 0이면 개입 전 기간 (pre-intervention period) 인 5월 데이터를 의미한다. 

 

 

 

 

 

 

 

②  DiD Estimator 

---

 

◯   DID estimator 

 

•   D : treatment 표기 

•   T : time 표기 

•   Y_D(T) : 기간 T의 처치 D에 대한 잠재적 결과 

↪  반사실을 관찰할 수 있는 이상적인 세계에서 아래와 같이 개입에 대한 처치효과를 추정해 볼 수 있다. 

 

 

↪  인과효과 = 개입 후 기간의 처치를 받은 대상의 결과에서 개입 후 기간의 처치를 받지 않은 대상의 결과를 뺀 값으로 볼 수 있다. 그러나 Y_0(1) 은 counterfactual 이기 때문에 관측할 수 없다 ⇨ 인과추론의 근본적인 문제 

 

 

 

◯   접근1. 처치 집단에 대해, 기간 전후 비교 

 

 

•   문제를 해결하는 방법은 전후 비교이다.  광고판을 배치하기 전과 후에 POA 의 평균 예금액을 비교해본다. 

 

poa_before = data.query("poa==1 & jul==0")["deposits"].mean()

poa_after = data.query("poa==1 & jul==1")["deposits"].mean()

poa_after - poa_before

41.04775

 

↪  개입 후 (PA 지역에 광고판을 설치하면) 예금이 $41.04 증가할 것으로 예상

↪  그러나 이러한 비교는, deposit 변수가 어떤 종류의 추세를 따른다고 했을 때 성립하지 않을 수 있다. 가령 PA 지역에서 개입이 없더라도 예금이 시간이 지남에 따라 점차 증가하는 추세를 가지고 있다면 개입의 영향이라고 말하기 어렵다. 

 

 

 

◯   접근2. 개입 이후 기간에 대해, 처치집단과 대조집단을 비교 

 

 

•   개입 후 기간에 PA 지역의 deposit 을 FL 지역의 예금과 비교 

 

fl_after = data.query("poa==0 & jul==1")["deposits"].mean()
poa_after - fl_after

-119.10175000000001

 

↪  캠페인이 긍정적인 효과를 가져오지 못하고, 소비자들의 예금이 $119.1 감소할 것이라고 예측 

↪  그러나 이러한 가정은 PA 지역과 FL 지역의 수준이 매우 유사할 경우에만 성립한다. 가령 FL 지역이 PA 지역보다 본래 deposit 규모가 훨씬 많았다면 위의 식은 맞지 않게 된다. 

 

 

 

◯   결론. Space 와 Time 기준을 모두 사용하자 

 

counterfactual

 

•   관측할 수 없는 counterfactual 을 대체해 효과를 추정할 수 있다. 

•   개입 전 처치된 그룹 E[Y1(0) | D=1] 에 추세 구성요소를 추가된 것을 보여주고 있다. 대조군 Y0 을 사용해 추정하고 있는데, 즉 개입 후 실험군이 만약 처치를 받지 못했다면, 처치 전 실험군에 대조군의 성장과 동일한 성장요소를 더한 것처럼 보일 것이다. 

 

수식의 왼쪽 부분은 counterfactual 에 대한 추세이다

 

 

 

◯   DID estimator 

 

 

•   DID 추정량은 위의 식과 같다. 

 

fl_before = data.query("poa==0 & jul==0")["deposits"].mean()

diff_in_diff = (poa_after-poa_before)-(fl_after-fl_before)
diff_in_diff

6.524557692307688

 

•   위의 식을 통해 추정한 DID 는 예금이 고객 당 $6.52 만큼 증가할 것이라고 예상 

※  두 도시 간의 성장 패턴이 동일하단 가정 

 

 

 

 

◯   DID 시각화 

 

plt.figure(figsize=(10,5))
plt.plot(["May", "Jul"], [fl_before, fl_after], label="FL", lw=2)
plt.plot(["May", "Jul"], [poa_before, poa_after], label="POA", lw=2)

plt.plot(["May", "Jul"], [poa_before, poa_before+(fl_after-fl_before)],
         label="Counterfactual", lw=2, color="C2", ls="-.")

plt.legend();

 

•   빨간선과 노란색 점선의 차이 = PA 에 대한 처치효과  

 

 

 

◯   회귀식 

 

 

•   β0 : 대조군에 대한 기준선 = 5월의 FL 의 예금 수준 

•   β1 :  POAi = 1 인 경우. 대조군에서 처치된 그룹으로 이동해 얻을 수 있는 증분 

↪  β0 + β1 은 개입 전 5월의 PA 기준선이고, β1 은 FL 위의 PA 기준선의 증가분이다. 

 

•   β2 : 대조군의 추세. 개입 전 기간에서 개입 후 기간으로 이동하여 얻는 증분 

•   β0 + β2 : PA 더미변수가 0이고 7월 더미변수가 1인 경우로, 개입 기간 후 7월 FL 지역에서의 수준

 

•   β3 : 5월에서 7월로 FL 에서 PA 로 이동할 때의 증분 영향 ⇨ DID 추정량 

•   β0 + β1 + β2 + β3 : 개입 후 PA 의 수준 

 

 

smf.ols('deposits ~ poa*jul', data=data).fit().summary().tables[1]

 

 

 

 

 

③  Non-Parallel Trends 

---

 

◯   평행추세 가정 

 

•   평행 추세 가정을 만족시키기는 어렵다. 

•   처치를 받은 그룹의 증가 추세가 대조군의 경향과 다르면 DID는 편향될  것이다. 

•   평행 추세 가정을 확인하는 방법은 과거 기간을 이용해 추세를 그려보는 것이다. 

 

PA 는 약간의 감소추세를 보이지만 FL 은 가파른 상승세를 보인다고 가정

 

↪  이러한 경우라면 우리가 구한 DID 추정량을 신뢰하기가 어려움 !

 

⇨   Synthetic control이라는 방법을 통해 이 문제를 해결하는 방법을 살펴볼 예정

      ↪  도시의 추세를 밀접하게 따르는 인위적인 도시를 생성하는 방법론

 

 

 

◯   집계된 데이터는 추정량의 신뢰구간을 둘 수 없다. 

 

•   DID 추정량에 신뢰 구간을 둘 수 없다는 점을 기억해야 한다. 

•   예를들어 FL 또는 PA 지역의 각 고객들에 대한 데이터는 없고, 대신에 개입 전후의 평균 예금에 대한 집계 데이터가 있다고 한다면, 인과효과를 추정할 수는 있지만 추정량에 대한 분산은 알 수 없다. 데이터의 모든 변동성이 집계를 통해 제거되었기 때문이다.