[The Brave and True] 6. Grouped and Dummy Regression

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

①  그룹화된 데이터를 사용한 회귀 

---

 

◯  이분산성 

 

•   분산이 낮은 영역과 높은 영역을 동시에 갖는 현상, 즉 변수의 모든 값에서 분산이 일정하지 않은 경우다. 

•   분산이 달라지는 가장 일반적인 이유는 그룹화된 데이터 때문이다. 

 

 

◯  smf.ols 와 smf.wls 차이 

 

•  smf.ols : OLS 회귀모델을 구축하는데 사용된다. 

•  smf.wls : 최소자승법의 변형으로 잔차의 가중치를 고려해 모델을 적합시킨다. 가중치는 각 데이터 포인트의 중요도를 나타내며, 특정 데이터 포인트에 더 큰 가중치를 부여해 모델이 해당 포인트에 더 적합하게 만든다. 오차의 분산이 다른 경우나 이상치에 덜 민감한 모델을 구축하고자 할 때 유용하다. 

 

 

 

◯  예제 

 

•   lhwage : 로그 시간당 임금, educ : 교육기간, IQ : 지능 

 

•   ols 추정 

 

model_1 = smf.ols('lhwage ~ educ', data=wage).fit()
model_1.summary().tables[1]

 

 

•   개별화된 데이터를 제공할 수 없다고 가정해보자. 대신 요청자가 교육을 받은 모든 사람을 그룹화하고 평균로그 시간당 임금과 그룹의 개인수만 알려달라고 요청한다. 그러면 아래와 같은 10개 데이터 포인트만 전달하게 된다. 

 

wage = pd.read_csv("./data/wage.csv")[["wage", "lhwage", "educ", "IQ"]]
group_wage = (wage
              .assign(count=1)
              .groupby("educ")
              .agg({"lhwage":"mean", "count":"count"})
              .reset_index())

group_wage

 

•   선형 회귀 모델에 가중치를 제공하여 위의 데이터만 가지고 smf.wls 를 모델링한다. weights 를 지정하여 소규모 그룹보다 표본 크기가 더 큰 그룹을 더 많이 고려하도록 한다. 

 

model_2 = smf.wls('lhwage ~ educ', data=group_wage, weights=group_wage["count"]).fit()
model_2.summary().tables[1]

 

↪ 그룹화된 데이터이지만, 개별 데이터로 추정했을 때와 모수 추정치가 매우 유사하다 (위의 예제는 동일함)  ↪ 또한 통계적으로 유의미한 계수를 얻었는데, 데이터 개수는 더 적지만, 그룹화를 했기 때문에 분산이 많이 줄어들었기 때문이다. 

 

•  그룹화된 데이터를 가중치가 없는 모델로 추정하면 아래와 같이 모수 추정치가 더 작아진다. (0.05 → 0.04) 

 

model_3 = smf.ols('lhwage ~ educ', data=group_wage).fit()
model_3.summary().tables[1]

 

•   집계된 데이터에서는 가중치를 사용하는 것이 좋다. 가중회귀분석을 사용하려면 평균 통계량이 필요하다. 그룹화 데이터를 사용한 가중 회귀분석 결과는 그룹화되지 않은 데이터의 회귀분석과 유사하게 나온다. 

 

 

•   그룹화된 데이터에서 추가 공변량 (IQ) 를 사용하는 예제

 

group_wage = (wage
              .assign(count=1)
              .groupby("educ")
              .agg({"lhwage":"mean", "IQ":"mean", "count":"count"})
              .reset_index())

model_4 = smf.wls('lhwage ~ educ + IQ', data=group_wage, weights=group_wage["count"]).fit()
print("Number of observations:", model_4.nobs)
model_4.summary().tables[1]

 

↪ 평균과 카운트를 구하고 평균으로 회귀하고 카운트를 가중치로 사용한다. 

 

 

 

 

 

②  Regression for Dummies 

---

 

◯  더미변수 

 

•  더미변수에 대한 회귀계수는 회귀선의 절편에 대한 증분 또는 treated 된 것과 되지 않은 것 간의 평균 차이이다. 더미가 1이면 예측값은 절편에 더미 계수를 더한 값이다. 

 

•  추가변수를 사용하면 더미계수가 평균의 조건부 차이가 된다. 가령 위의 예제에서, 12년이상의 교육을 받은 여부를 더미변수로 설정하고, IQ 변수를 추가한다고 하면, 더미계수는 IQ 를 고정한 상태에서 12년이상의 교육을 받을 때 얼마나 많은 임금 증가를 기대할 수 있는지 알려준다. 

 

 

 

 

◯  교호작용이 있는 경우 

 

 

↪  β0 : 처치가 0이고 IQ가 0점일 때 예상되는 임금 (IQ 가 0인 경우는 없기 때문에 해당 매개변수는 그다지 의미가 없다) 

↪  β1 : 처치가 1이고 IQ 가 0일 때 예상되는 임금 인상 폭 (이 또한 IQ 가 0인 경우는 없기 때문에 흥미로운 의미가 없다) 

↪  β2 : IQ 가 처치받지 않은 사람들의 임금을 얼마나 증가시키는지 알려준다. 가령 값이 0.11 이면, IQ 점수 1점당 교육을 12년 이상 받지 못한 사람은 시간 당 11센터를 더 얻을 것으로 기대해야 한다는 의미이다. 

↪  β3 : 교육을 12년 이상 받을 때, IQ 증가에 따른 임금 증가를 알려준다. 가령 값이 0.024 라고 하면, IQ 가 1점 오를 때마다 교육을 12년 이상 받은 사람이라고 하면 시간 당 임금을 2센트 더 받을 것으로 기대할 수 있다. 

 

 

 

◯  모델의 모든 변수가 더미인 경우 

 

•  IQ 를 4개의 범주로 분리하고 교육기간을 범주형 변수로 취급한다. 각 교육연도가 고유한 영향을 미치도록 허용한다. 이를 통해 교육의 효과가 더 이상 매개변수가 아니게 하여 유연성을 얻을 수 있게 된다. 그렇게 되면 모델은 단순히 각 교육 연도별 평균 임금을 계산한다. 

 

model_dummy = smf.ols('hwage ~ C(educ)', data=wage).fit()
model_dummy.summary().tables[1]

 

↪ 위와같이 추정하는 경우, 가령 교육연도 9년과 17년 개인 간 차이에 대해 계산해볼 수 있다. 

 

•  모델에 더 많은 더미 공변량을 포함하면 교육에 대한 매개변수는 각 더미 그룹에 대한 효과의 가중평균이 된다. 

 

 

 

 

👀 핵심정리 

 

•  선형모형을 추정할 때 표본 크기가 크고 분산이 낮은 표본에 더 많은 가중치를 부여해야 한다.