[The Brave and True] 14. Panel data and fixed effects

 

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

 

📜 정리 

 

•   패널 데이터 : 여러 기간에 걸쳐 동일한 대상에 대해 측정값이 있는 데이터 
•   Entity (개체) 를 제어하는 고정효과 모델을 사용해 모든 대상과, 시간이 변하지 않는 변수를 고정할 수 있다. 고정효과 모델은 교란변수를 통제하는 강력하고 설득력있는 방법이다. 
•   그러나 역인과관계가 있거나 관측되지 않은 교란변수가 시간에 따라 변할 때 고정효과 모델이 인과효과를 도출하기 어려울 수 있다. 

 

 

 

 

 

 

①  Intro 

---

 

◯   Panel data 

 

•   Panel : 여러기간에 걸쳐 동일한 단위 (unit) 을 반복적으로 관찰한 경우 

•   패널 데이터는 여러 해에 걸쳐 여러 도시 또는 주에 대한 데이터를 추적할 수 있는 정부 정책 평가에서 많이 발생한다. 기업들이 몇 주 또는 몇 달에 걸쳐 유저 데이터를 추적하는 산업에서도 매우 일반적으로 볼 수 있다. 

 

지난 DiD 예제 : 반사실 결과 추정

 

•   Y0(1) : 기간이 1일 때, 대조군에 대한 결과 

•   counterfactual 에 대한 potential outcome 

 

POA 에 대한 ATT

 

•   광고판을 PA 지역에 배치하는 효과 = (광고판을 배치 후, POA 에서 측정한 결과) - (광고판을 배치하지 않았다면 일어날 일에 대한 추정치, counterfactual) 

 

 

 

 

 

 

 

 

②  Parallel trends 

---

 

◯  Independence assumption 

 

•   독립성 가정을 통해 parallel trends assumption 을 확인해볼 수 있다 : Yd ⊥ D

•   treatment assign 이 잠재적 결과로부터 독립적이어야 한다. 

↪ 독립성 가정이 위배되는 ex. 마케팅 매니저가 이미 은행 예금이 매우 높은 도시에만 광고판을 추가하기로 결정한 경우, 마케팅 효과와 상관없이 캠페인은 성공할 가능성이 높다. 즉, Y0 가 높은 도시에 treatment 를 주는 것이다. 

 

 

◯  Independence assumption 과 parallel trends 

 

 

 

 

 

 

 

③  Controlling what you cannot see

---

 

◯  unconfoundedness 

 

•   성향 점수, 선형회귀 및 매칭 방법은 랜덤하지 않은 데이터의 교란변수를 통제하는데 매우 좋은 방법이다. 그러나 해당 방법들은 중요한 가정인 conditional unconfoundedness 에 의존한다. 즉, 모든 교란변수를 알고있고 측정이 되어야 교란변수를 조건부로 두고, random assignment 와 같이 treatment 를 구성할 수 있다. 

 

 

•   문제는 교란변수를 항상 측정(관측) 할 수 없는 경우가 존재하는 것이다. 

•   측정되지 않은 교란변수가 있으면 bias 가 존재하기 때문에 인과효과 추정에 어려운 상황에 놓이게 된다. 교란변수를 효과적으로 처리하는 방법은 도구변수를 사용하는 것이다. 그러나 좋은 도구변수를 만드는 것은 쉽지 않으며, 많은 창의성을 요구한다. 대신 패널 데이터 구조를 활용해볼 수 있다. 

 

 

 

◯  unconfoundedness and panel data

 

•   패널구조에서 교란 변수를 바라보는 방법은 시간에 고정된 time fixed 교란변수를 각 실험대상에 고유한 속성으로 생각하는 것이다. 

 

 

결혼이 소득에 미치는 영향

 

 

•   사람의 외모나 지성과 같은 속성을 측정할 수는 없지만, 그 특징을 지닌 사람은 시간이 흘러도 같은 개인이다. 여기서 우리가 할 수 있는 것은 특정 사람을 나타내는 더미 변수를 만들고 선형 모델에 추가하는 것이다. 해당 더미변수를 추가함으로 사람 자체를 제어할 수 있다. 

 

•   사람에 대한 더미변수와 함께 결혼이 소득에 미치는 영향을 추정할 때, 회귀분석은 사람에 대한 변수를 고정된 상태로 유지하며 결혼의 효과를 찾는다. 

 

•   실험대상에 대한 더미변수를 추가하는 것을 Fixed effect model 이라고 한다. 

 

 

 

 

 

④  Fixed effects

---

 

◯   예제. 결혼이 소득에 미치는 인과적 영향 

 

•   nr : 개인 

•   year : 연도 

•   married : 기혼여부 

•   lwage : 소득의 로그변환 

•   expersq : 해당 연도의 근무 시간 

•   occupation : 교육 년수 

 

 

 

◯   고정효과 모델 

 

 

•   y_it : 시간 t에서 각 실험대상 i 의 결과 

•   X_it : 시간 t에서 실험대상 i 에 대한 변수들의 벡터

  ↪  시간에 따라 변하는 관찰 가능한 변수 ex. 결혼,경력

•   Ui : 실험대상 i 에 대해 관측 불가능한 변수의 집합 

  ↪  관측할 수 없는 변수들은 시간이 지남에 따라 변하지 않기 때문에 시간첨자가 없다. ex. 외모, 지성 

•   e_it : 오차항 

•   y_it : 임금에 대한 로그변환 

 

 

 

◯   fixed effect 구현 

 

•   실험대상에 대한 더미변수를 추가하는 것은 열의 개수가 매우 많이 추가되기 때문에 선형회귀를 2개의 개별모델로 분할하는 트릭을 활용한다. 

 

 

•   연도 year 더미변수에 대한 함수로 임금을 예측하는 모델 

 

mod = smf.ols("lwage ~ C(year)", data=data).fit()
mod.summary().tables[1]

baseline : 1980연도

 

↪  1981년 : 1.3935 + 0.1194  

 

 

data.groupby("year")["lwage"].mean()

 

↪  연도별 임금 평균 결과와 회귀 모델 결과가 같다. 즉, 패널 데이터의 모든 사람에 대한 평균을 얻으려면, 본질적으로 다른 변수에 대한 개별 더미에 회귀를 해야 한다. 

 

 

•   개인별로 데이터를 그룹화하여 표준편차의 합계를 얻을 수 있다. 만약 합계가 0이면 변수가 개별 대상에 대해 시간이 지남에 따라 변하지 않음을 의미한다. 

 

data.groupby("nr").std().sum()

 

↪  인종과 관련된 더미변수 black, hisp 와 교육 변수가 개별 실험대상에 대해 일정하기 때문에 제거할 필요가 있다. 또한 occupation (직업) 변수를 사용하지 않는다. 직업 변수는 결혼이 임금에 미치는 영향을 중재 (mediated) 하기 때문이다. 미혼 남성이 더 많은 시간을 요구하는 직업을 가질 수 있기 때문이다. 

 

 

 

 

◯   fixed effect 구현 

 

⑴   실험 대상 별 평균 데이터 생성 

 

Y = "lwage"
T = "married"
X = [T, "expersq", "union", "hours"]

mean_data = data.groupby("nr")[X+[Y]].mean()
mean_data.head()

 

 

⑵  평균 데이터에서 기존 데이터를 차분하기 

 

demeaned_data = (data
               .set_index("nr") # set the index as the person indicator
               [X+[Y]]
               - mean_data) # subtract the mean data

demeaned_data.head()

 

 

⑶ 평균을 뺀 데이터에 대해 고정효과 모델 적용 

 

mod = smf.ols(f"{Y} ~ {'+'.join(X)}", data=demeaned_data).fit()
mod.summary().tables[1]

 

↪  결혼이 남성의 임금을 11% 증가시킨다는 것을 의미 

 

 

 

⑷  고정효과 모델의 경우, 표준오차가 clustered 되어야 한다. linearmodels를 사용 및 해당 cluster_entity 인자를 True로 설정하면 된다. 

 

from linearmodels.panel import PanelOLS
mod = PanelOLS.from_formula("lwage ~ expersq+union+married+hours+EntityEffects",
                            data=data.set_index(["nr", "year"]))

result = mod.fit(cov_type='clustered', cluster_entity=True)
result.summary.tables[1]

 

 

 

 

◯   데이터의 시간부분을 고려하지 않은 간단한 OLS 모델 

 

•  시간에 일정한 변수들을 다시 추가 

 

mod = smf.ols("lwage ~ expersq+union+married+hours+black+hisp+educ", data=data).fit()
mod.summary().tables[1]

 

↪  결혼이 남성의 임금을 14% 증가시킨다는 것을 의미 

↪  intelligence, beauty 변수와 같은 고정된 개별 요인으로 일부 생략된 변수의 편향이 모델에 반영되지 않음을 의미 

 

 

 

 

 

 

 

 

⑤  Visualizing fixed effects

---

 

◯   Visualizing fixed effects 

 

•   고정효과 모델이 어떻게 동작하는지 직관적으로 살펴보기 

•   예제. 광고판 마케팅 캠페인이 인앱 구매에 미치는 영향을 추정

 

toy_panel = pd.DataFrame({
    "mkt_costs":[5,4,3.5,3, 10,9.5,9,8, 4,3,2,1, 8,7,6,4],
    "purchase":[12,9,7.5,7, 9,7,6.5,5, 15,14.5,14,13, 11,9.5,8,5],
    "city":["C0","C0","C0","C0", "C2","C2","C2","C2", "C1","C1","C1","C1", "C3","C3","C3","C3"]
})

m = smf.ols("purchase ~ mkt_costs", data=toy_panel).fit()

plt.scatter(toy_panel.mkt_costs, toy_panel.purchase)
plt.plot(toy_panel.mkt_costs, m.fittedvalues, c="C5", label="Regression Line")
plt.xlabel("Marketing Costs (in 1000)")
plt.ylabel("In-app Purchase (in 1000)")
plt.title("Simple OLS Model")
plt.legend();

 

↪  과거 데이터를 살펴보았는데, 구매수준이 낮은 도시 (애초에 인앱 구매를 거의 안하는 곳)에 광고판을 배치하는데 더 많은 마케팅 비용을 지출하는 경향이 있음을 확인하였다. 해당 데이터로 회귀분석을 진행하면, 마케팅 비용이 높을수록 인앱 구매가 감소하는 것처럼 보일 것이다. 그러나 이는 지출이 적은 지역에 투자가 편중되었기 때문에 발생한 결과이다. 

 

 

fe = smf.ols("purchase ~ mkt_costs + C(city)", data=toy_panel).fit()
# 🟡 C(city)

fe_toy = toy_panel.assign(y_hat = fe.fittedvalues)

plt.scatter(toy_panel.mkt_costs, toy_panel.purchase, c=toy_panel.city)
for city in fe_toy["city"].unique():
    plot_df = fe_toy.query(f"city=='{city}'")
    plt.plot(plot_df.mkt_costs, plot_df.y_hat, c="C5")

plt.title("Fixed Effect Model")
plt.xlabel("Marketing Costs (in 1000)")
plt.ylabel("In-app Purchase (in 1000)");

 

↪  따라서 고정효과모델을 실행하기로 결정하고, 도시의 지표를 모델에 더미변수로 추가한다. 고정효과모델은 시간에 따라 일정한 도시 고유의 특성을 통제하기 때문에 도시가 상품에 대해 구매수준이 낮으면 이를 포착해 반영하게 된다. 

 

↪  고정효과는 도시당 하나의 회귀선을 fitting 한다는 점과 적합된 회귀선이 평행하다는 점을 주목해야 한다. 회귀선의 기울기는 인앱 구매에 대한 마케팅 비용의 효과를 설명한다. 고정효과는 인과효과가 모든 개체 (해당 예시에서는 도시) 에 걸쳐 일정하다고 가정한다. 

 

↪  그러나 이러한 가정은 만약 도시별 인과효과를 추정하는데 관심이 있는 것이라면 약점이 될 수 있다. 고정효과 모델은 해당 효과가 개체 (도시) 간 일정하다고 가정하기 때문에 도시에 따른 인과효과 차이를 찾지 못한다. 인앱구매에 대한 마케팅의 전반적인 효과를 찾고자 한다면 해당 데이터의 패널 형태가 고정 효과를 탐색할 수 있게 도움을 준다. 

 

 

 

 

 

⑥  Time effects 

---

 

◯   Time effects

 

•   개별 수준에 대해 고정효과를 수행한 것처럼 시간 수준에 대해서도 고정효과를 설계할 수 있다. 

•   시간 더미를 추가하는 것은 각 기간동안 고정되는 변수들에 대해 통제할 수 있지만 시간이 지남에 따라 바뀔 수 있다. 

•  인플레이션은 시간이 지남에 따라 급여를 증가시킬 수 있으므로, 결혼과 급여 사이에 긍정적인 연관성이 있는 것은 단순히 시간이 지남에 따라 두 가지 변수가 모두 증가하기 때문일 것이다. 해당 교란효과를 보정하기 위해 각 기간에 대한 더미 변수를 추가할 수 있다.  패키지 'linearmodels'에서는 수식에 'TimeEffects'를 추가하고 'cluster_time'을 true로 설정할 수 있어서, 매우 간단하게 해결이 가능하다. 

 

mod = PanelOLS.from_formula("lwage ~ expersq+union+married+hours+EntityEffects+TimeEffects",
                            data=data.set_index(["nr", "year"]))

result = mod.fit(cov_type='clustered', cluster_entity=True, cluster_time=True) #🟡
result.summary.tables[1]

 

↪  결혼이 임금에 미치는 영향이 '0.1147'에서 '0.0476'으로 크게 감소. 그래도 해당 결과는 99% 신뢰 수준에서 유의미하므로 남자는 여전히 결혼으로 인한 수입 증가를 기대할 수 있다.

 

 

 

 

 

⑦  When panel data won't help you 

---

 

◯   패널 데이터의 접근이 어려운 경우 

 

•   랜덤 데이터나 인과추론을 위한 마땅한 방법이 없을 때, fixed effects 는 비실험 데이터로 인과추론을 할 때만큼 설득력이 존재한다. 그래도 언제나 적용될 수 있는 만병 통치약은 아니다. 패널 데이터조차 도움이 되지 않는 상황이 있기 마련이다. 분명한 것은 시간이 지남에 따라 변하는 관측되지 않는 교란변수 (ex. 지능) 가 있을 때이다. 고정 효과는 각 대상의 일정한 속성에 대해서만 편향을 제거할 수 있다.

 

•   고정 효과가 실패하는 또 다른 경우는 역인과관계가 있는 경우다. 예를들어 결혼을 한다고 해서 수입이 늘어나는 것은 아니라고 가정해보자. 수입이 늘어나면 결혼할 확률이 높아진다. 양의 상관성이 있는 것처럼 보이지만 수입이 먼저 선행되어야 한다. 해당 변수들은 시간에 따라 같은 방향으로 변할 것이므로, 고정 효과로는 시간에 변화에 대한 통제를 할 수 없다.