[The Brave and True] 8. Instrumental variables

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

📜 정리 

 

도구변수

•   Treatment 변수와 상관관계가 있으면서, Treatment 를 통해서만 결과변수에 영향을 주는 것 
•   2SLS 를 사용해 인과효과를 추정 
•   약한 도구변수라면 추정이 어려울 수 있다.
•   2SLS 는 일관성이 있긴 하지만, 여전히 인과효과를 추정하는데 있어선 편향된 방법이다. 

 

 

 

 

 

 

①   Going Around Omitted variable bias 

---

 

◯   Instrumental variables 

 

•  OVB(Omitted Variable Bias) 를 다루는 방법 중 하나는 생략된 변수를 모델에 추가하는 것이다. 그러나 생략된 변수를 항상 얻을 수 있는 것은 아니기 때문에 문제가 된다. 

 

•  도구변수의 아이디어는 처치변수를 유발하는 다른 변수를 찾는 것에서부터 시작되며, 도구변수 Z는 처치를 통한 결과 Y에만 상관관계가 있어야 한다. 즉, 도구변수는 Y와는 상관관계가 성립하지 않으면서 T 와의 상관관계는 성립해야 한다 = Exclusion Restriction 

↪ Cov(Z,u) = 0 , u 는 오차팡 

 

 

 

교육이 임금에 미치는 영향

 

 

•   2SLS

 

분자와 분모는 모두 회귀계수!

 

 

•  Reduced form : Z 에 대한 Y의 회귀분석 결과 = Y에 대한 Z의 영향 (Z가 T를 통해 Y에 미치는 효과)

•  1st stage coefficient : Z에 대한 T의 회귀식 = T에 대한 Z의 영향 

 

도함수로 표현

 

 

 

 

 

 

 

 

 

 

②   Quarter of Birth and the Effect of Education on Wage 

---

 

◯  임금-교육-출생4분기 

 

•   교육이 임금에 미치는 영향을 추정하기 위해 사람의 출생 4분기를 도구변수 Z로 사용한다. 

 

•   미국의 나이법에 의하면 4분기에 태어난 사람들은 평균적으로 연초에 태어난 사람보다 더 많은 교육을 받게 된다. 

 

 

•   출생분기(qob) 는 ability (능력 - Confounder) 요소와 무관하여 교육이 임금에 미치는 영향을 교란시키지 않는다는 것을 받아들인다면, 출생분기를 도구변수로 사용할 수 있다. 즉, 출생분기가 교육에 미치는 영향 외에는 임금에 영향을 미치지 않는다고 생각해야 한다. 

 

 

 

 

 

•   활용할 데이터셋 형태 

 

 

↪  log_wage : 로그 임금 (Y)

↪  years_of_schooling : 교육 기간 (T) 

↪  year_of_birth : 출생연도

↪  quarter_of_birth : 출생분기 (IV) 

↪  state_of_birth : 출생상태 

 

 

 

 

③   The 1st Stage 

---

 

 

 

◯  도구변수 가정 - 유효성 검증 

 

⑴  Cov(Z,T) ≠ 0 : 도구변수가 실제로 처치변수에 영향을 미친다는 첫 번째 단계를 충족 

⑵  Y ⊥ Z | T : Exclusion Restriction : 도구변수 Z가 처치 T를 통해서만 결과 Y 에 영향을 준다는 가정 

 

 

 

◯  첫번째 가정에 대한 검증 : 데이터에서 Cov(Z,T) 를 계산해 0이 아님을 확인할 수 있다. 

 

↪  출생분기가 도구변수로 기능하려면 올해 4분기에 태어난 사람들이 1분기에 태어난 사람들보다 약간 더 많은 교육 시간을 받았다는 것을 확인해야 한다. 데이터 시각화를 통해 확인해본다. 

 

 

위의 그래프에서 1분기에 태어난 사람들이 4분기에 태어난 사람들보다 거의 항상 더 적은 교육을 받는다는 것을 알 수 있다. 이런 1단계를 선형회귀로도 실행할 수 있다. 

 

import statsmodels.formula.api as smf

first_stage = smf.ols("years_of_schooling ~ C(year_of_birth) + C(state_of_birth) + q4", data=factor_data).fit()

print("q4 parameter estimate:, ", first_stage.params["q4"])
print("q4 p-value:, ", first_stage.pvalues["q4"])

 

도구변수 (q4) 회귀를 실행해본 결과는 위와 같다.  4분기에 태어난 사람들은 다른 분기에 태어난 사람들보다 평균적으로 0.1년 더 많은 교육을 받은 것으로 보인다. P-value 는 0에 가깝다. 즉, 출생분기가 학교 교육 시간에 실제로 유의미하게 영향을 주는 것을 확인해 볼 수 있다. Cov(Z,T) ≠ 0

 

 

 

 

 

④   The Reduced Form ✅

---

 

•  두 번째 도구변수 가정은 확인할 수 없다. 찬성하는 주장만 할 수 있을 뿐이다. 즉, 사람들이 태어나는 시간은 교육에 미치는 영향 외에, 개인적인 능력이나 수입에 차이를 일으킬 수 있는 요소가 아니라는 것이다. 출생 분기가 수입에 미치는 영향이 무작위로 할당된 것과 같다는 것이다. 

 

 

 

•  출생분기에 따른 임금 그래프를 그리면 위와 같다. 계절성을 확인해 볼 수 있는데, 연초에 태어난 사람들보다 그 해 늦게 태어난 사람들의 소득이 약간 더 높다. 이를 확인해보기 위해 임금 로그 값에 대한 도구변수인 q4를 다시 회귀 분석을 진행한다. 

 

reduced_form = smf.ols("log_wage ~ C(year_of_birth) + C(state_of_birth) + q4", data=factor_data).fit()

print("q4 parameter estimate:, ", reduced_form.params["q4"])
print("q4 p-value:, ", reduced_form.pvalues["q4"])

 

 

올해 4분기에 태어난 사람들은 평균적으로 임금이 무려 0.8% 더 높다. P-value 도 매우 유의한 수치이다. 

 

 

 

 

 

⑤   Instrumental variables by hand 

---

 

◯  ATE_IV 

 

reduced_form.params["q4"] / first_stage.params["q4"]

 

 

•  매 학년마다 임금이 8% 인상될 것으로 예상

 

 

 

 

◯  도구변수 추정치를 얻는 또 다른 방법 

 

•  2SLS  

 

 

iv_by_hand = smf.ols("log_wage ~ C(year_of_birth) + C(state_of_birth) + years_of_schooling_fitted",
                     data=factor_data.assign(years_of_schooling_fitted=first_stage.fittedvalues)).fit()

iv_by_hand.params["years_of_schooling_fitted"]

0.08530286490889338

 

 

파이썬의 2SLS 로 선형회귀 모델을 돌려도 같은 결과를 얻는다. 

 

from linearmodels.iv import IV2SLS


def parse(model, exog="years_of_schooling"):
    param = model.params[exog]
    se = model.std_errors[exog]
    p_val = model.pvalues[exog]
    print(f"Parameter: {param}")
    print(f"SE: {se}")
    print(f"95 CI: {(-1.96*se,1.96*se) + param}")
    print(f"P-value: {p_val}")
    
formula = 'log_wage ~ 1 + C(year_of_birth) + C(state_of_birth) + [years_of_schooling ~ q4]'
iv2sls = IV2SLS.from_formula(formula, factor_data).fit()
parse(iv2sls)

 

 

1년간의 추가 교육으로 평균 8.5%의 임금 인상이 기대된다고 볼 수 있다. 

 

 

 

 

 

⑥   Multiple instruments 

---

 

•   여러 개의 도구변수(IV)를 추가할 수 있다. 

•   태어난 모든 분기를 수년 간의 학교 교육의 도구변수로 활용해보는 예는 아래와 같다. 

 

formula = 'log_wage ~ 1 + C(year_of_birth) + C(state_of_birth) + [years_of_schooling ~ q1+q2+q3]'
iv_many_zs = IV2SLS.from_formula(formula, factor_data).fit()
parse(iv_many_zs)

 

•   3개의 더미들을 모두 포함하여, 현재 예상 교육 수익률은 0.1로, 즉  추가 교육을 받을 때마다 평균 10%의 수익 증가를 예상할 수 있다는 것을 의미한다. 

 

 

 

 

 

⑦   Weakness of Instruments 

---

 

•   도구 변수를 다룰 때 유념해야 하는 점은 간접적으로 ATE 를 추정하고 있다는 것이다. 

 

 

 

 

•   도구변수 IV 가 처치 T와 아주 적은 상관관계를 가지고 있다면 도구변수로부터 처치에 대해 많은 설명을 할 수 없다는 것을 의미한다. T와 Z의 상관관계가 매우 약할 때, ATE 의 측정치는 매우 크게 흩뿌러져 있다. 상관관계가 낮을 때 SE 값 또한 증가하기 때문이다.