[The Brave and True] 7. Beyond Confounders

 

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

📜 정리 

 

①  포함해야 되는 변수 

•  Treatment 를 예측하지 않더라도 Outcome 에 대해 좋은 예측을 하는 변수 (⁂ Y를 예측하면 분산이 낮아지고 인과관계를 추정할 때 통계적으로 유의한 결과가 나타날 가능성이 높아지기 때문) 
•  교란 요인 



②  포함시키면 안되는 변수 

•  Treatment 를 예측하지만 Outcome 을 예측하지 않는 변수 (⁂ treatment의 변동성을 줄여 인과효과를 찾기 어렵게 만들기 때문) 
•  Treatment 와 outcome 사이의 매개변수 
•  Treatment 와 outcome 의 공통효과인 변수 

 

 

 

 

 

 

①  Good controls 

---

 

◯  통제변수 

 

•   통제변수가 Confounder 인 경우 모형에 추가하는 것이 좋으며, 필수적이다. 그러나 교란을 일으키는 요인은 실제 세계에서 매우 많으며 해당 변수를 모두 포함시키는 것은 오히려 인과효과를 식별하는데 도움이 되지 않을 수 있다. 

 

 

 

◯  예제1. 핀테크 데이터 

 

•  주제 : 핀테크 데이터 수집팀에서 주어진 task 로, 빚을 갚을 것을 요청하는 이메일을 보낼 때 그 효과를 파악하는 것 

•  반응변수 : 연체 고객으로부터의 지불금액 (payments) 

 

 

•  데이터 수집팀은 연체고객 중 랜덤하게 5천명을 선택하여 랜덤 테스트를 실시한다. 고객수만큼 동전을 던지는데, 동전이 앞면인 경우에는 이메일을 수신하고, 뒷면이 나올 경우 이메일을 수신하지 않게 된다. 해당 테스트를 통해 이메일 전송이 얼마나 많은 추가비용을 발생시키는지 알 수 있다. 

 

•  데이터가 랜덤이므로 단순한 평균 차이는 ATE 의 추정값이다. 즉 Potential outcome 과 Treatment 는 독립 관계를 가지고 있는 것이다 : (Y0, Y1) ⊥ T

↪  ATE = E[Y | T=1] - E[Y | T=0]

 

print("Difference in means:",
      data.query("email==1")["payments"].mean() - data.query("email==0")["payments"].mean())
      
      
model = smf.ols('payments ~ email', data=data).fit()
model.summary().tables[1]

 

↪  추정치가 -0.62 로, 이메일을 보내는 것이 연체 고객의 평균 지불 금액을 감소시킬 것이라고 해석되는데 이는 일반적인 상식과 반대된다. P-value 또한 0.8로 매우 큰 값을 가지기 때문에 추정치가 유의하다고 볼 수 없다. 

 

 

•  데이터에 credit_limit 이라는 연체 전 고객의 신용한도에 대한 feature 와 risk_score 라는 이메일을 보내기 전 고객의 예상 리스크에 대한 feature 가 있다. 이 두 변수는 연체 고객의 지불 금액을 예측하는데 매우 좋은 변수이다. 

 

•  Treatment 에 대한 통계적 유의성이 없는 이유를 생각해보면, Treatment 가 outcome 에 거의 영향을 미치지 않을 수 있기 때문이다. 사람들이 빚을 갚는 것은 재정, 수입 등을 관리하는 것을 통해 갚는다. 즉, 지불 금액의 변동성은 메일을 수신하는 것 이외의 다른 요인에 의해서도 설명되고 있는 것이다. 

 

 

•  이메일 수신여부에 대한 연체 고객의 지불금액을 그래프로 표시하면 아래와 같다. 회귀모형의 적합값은 빨간색으로 표시했다. 약간의 노이즈를 추가하여 데이터끼리 겹치지 않도록 했다. 

 

두 그룹 모두 400 에서 1000 사이의 범위를 보인다

 

•  통제변수를 추가함으로써 변동성을 낮추어볼 수 있다. 변수가 Outcome (여기선 Payments) 을 예측하는데 좋은 변수인 경우, Outcome 변수의 분산의 많은 부분을 설명해준다. 

 

•  회귀모형에 변수를 추가하는 것은 treatment 를 검토하는 동안 다른 변수는 일정한 값을 유지하는 것을 의미한다. 따라서 비슷한 credit_limit , risk_score 가 나온다면, payments 의 분산은 더 작아야 한다. 

 

 

 

 

◯ 예제1 이어서 : 통제 변수를 추가한 회귀분석 

 

 

•  두 단계로 회귀분석을 진행하는 방법을 사용한다. 실제로는 이러한 번거로운 과정으로 진행되지는 않으나, 교육을 위해 이렇게 설정한다. 

 

⑴  treatment (이메일) 과 outcome (지불금액) 에 대해 추가 통제변수인 credit_limit 과 risk_score 로 회귀한다. 

⑵  1단계에서 얻은 outcome 에 대한 잔차에 treatment 의 잔차를 회귀한다. 

 

 

model_email = smf.ols('email ~ credit_limit + risk_score', data=data).fit()
model_payments = smf.ols('payments ~ credit_limit + risk_score', data=data).fit()

residuals = pd.DataFrame(dict(res_payments=model_payments.resid, res_email=model_email.resid))

model_treatment = smf.ols('res_payments ~ res_email', data=residuals).fit()

 

 

•  이렇게 하면 Outcome 의 분산이 줄어든다.  credit_limit 과 risk_score 를 payments 에 회귀시키고 잔차를 얻음으로써 원래의 반응변수보다 변동성이 훨씬 적은 새로운 반응변수를 만들 수 있다. 

 

 

print("Payments Variance", np.var(data["payments"]))
print("Payments Residual Variance", np.var(residuals["res_payments"]))

print("Email Variance", np.var(data["email"]))
print("Email Residual Variance", np.var(residuals["res_email"]))

 

 

•  지불금액의 분산이 10807 에서 5652 로 변했다. 리스크와 신용한도를 통제할 경우 거의 절반으로 분산이 줄지만 treatment 의 경우에는 분산이 줄어들지 않았는데, 리스크와 신용한도는 이메일을 전혀 예측하지 못하기 때문에 해당 결과는 타당하다 볼 수 있다. (Randomness 때문)

 

 

model_treatment.summary().tables[1]

 

↪   잔차끼리의 회귀를 통해 유효한 표준오차 추정량과 ATE 를 알아낼 수 있다. 

↪  이메일을 수신한 고객이 이메일을 수신하지 않은 고객보다 평균 4.4 정도 더 지불할 것으로 예상된다. 

 

 

 

 

•  그러나 번거롭게 매번 잔차를 구해햐 하는 것은 아니다. 회귀모형에 control 변수를 추가해서 돌리면 아래와 같이 추정치는 정확히 동일하게 계산된다. 

 

model_2 = smf.ols('payments ~ email + credit_limit + risk_score', data=data).fit()
model_2.summary().tables[1]

통제변수는 treatment 효과와 추정치의 분산을 낮추는데 도움을 준다

 

 

 

 

 

 

 

 

 

 

②  Mostly harmful controls 

---

 

◯  예제2. 두 병원의 약물검사 

 

•   두 병원 모두 질병을 치료하기 위해 신약에 대한 무작위 실험을 진행하고 있으며 반응변수는 입원일수 이다. 치료가 효과적이라면 환자의 입원일수가 줄어들 것이다. 

•   A병원의 경우 치료와 관련된 정책으로 임의로 환자의 90% 에게는 진짜약을 투여하고 10% 는 위약을 투여한다. B병원의 경우에는 환자의 10% 에게 진짜약을 투여하고 90%는 위약을 투여한다. A병원의 경우가 보통 치료하는데 더 심각한 질병인 경우가 많다. 

 

 

•   단순히 treatment 를 outcome 에 대해 회귀한 결과는 아래와 같다. 

 

hosp_1 = smf.ols('days ~ treatment', data=hospital).fit()
hosp_1.summary().tables[1]

 

⇨  treatment 를 하면 입원일수가 증가하는 직관에 반하는 결과를 얻었다. 이때 중증도를 나타내는 severity 변수를 생각해보아야 한다. 중증도는 입원 일수 증가와 Positive 하게 연관되어 있으며 중증환자가 많은 병원에서 약물을 더 많이 투여하기 때문에, 약물은 입원 일수 증가와 확실히 상관 관계가 있다. 즉, 두 병원에 대해  E[Y0 | T=0] < E[Y0 | T=1] 이다. 즉, 중증도는 환자가 가는 병원과 약을 받을 확률을 결정하는 교란 작용으로 작용한다. 

 

 

 

◯  예제2 이어서. 2가지 접근방법

 

⑴  중증도 교란작용을 낮추는 첫번째는 각 병원별 ATE 를 살펴보는 것이다. 

 

hosp_2 = smf.ols('days ~ treatment', data=hospital.query("hospital==0")).fit()
hosp_2.summary().tables[1]

 

hosp_3 = smf.ols('days ~ treatment', data=hospital.query("hospital==1")).fit()
hosp_3.summary().tables[1]

 

 

•   병원별로 살펴본 결과 직관적인 ATE 를 얻었다. 약이 병원 입원 일수를 줄여주는 것 같다. 그러나, 각 병원을 개별적으로 보게 되어 고려하는 데이터 개수가 적어지기 때문에 통계적 유의성은 사라졌다. 

 

 

 

⑵  다른 접근법으로는 모델에 중증도 변수를 포함하여 통제하는 것이다. 

 

hosp_4 = smf.ols('days ~ treatment + severity', data=hospital).fit()
hosp_4.summary().tables[1]

 

•   중증도를 통제하고 나면 Hospital 변수는 더 이상 입원 일수와 상관관계가 없어진다. 

 

•   이때 Hospital 변수를 통제변수로 추가하면 아래와 같이 treatment 변수의 p-value 가 오히려 증가하는데, 이는 중증도를 통제한 상황에서, Hospital 변수가 treatment 예측 변수가 아니라 outcome 의 예측변수가 되어야 하는데 그렇지 않기 때문이다.  

 

hosp_5 = smf.ols('days ~ treatment + severity + hospital', data=hospital).fit()
hosp_5.summary().tables[1]

 

 

•   Treatment 에 좋은 예측변수인 통제변수는 추정량의 분산을 증가시키므로 추가해서는 안된다. 

 

 

 

 

 

 

 

 

③  Bad Controls - Selection bias 

---

 

◯   예제1 이어서

 

•   남은 변수 opened, aggrement 를 살펴보면, opened 는 메일을 열었는지 여부를 나타내는 더미변수이고, agreement 는 이메일 수신 후 관련 부서에 연락해 채무협상을 한 경우를 나타내는 더미변수이다. 

 

•   첫번째 모형 : treatment(email) + credit_limit + risk_score

 

email_1 = smf.ols('payments ~ email + credit_limit + risk_score', data=data).fit()
email_1.summary().tables[1]

 

 

•   두번째 모형 : opened, agreement 추가 

 

email_1 = smf.ols('payments ~ email + credit_limit + risk_score', data=data).fit()
email_1.summary().tables[1]

 

⇨  첫 번째 모형에서 이메일 변수는 통계적으로 유의해보이지만, 두 번째 모형에서는 그렇지 않다. 그러나 실제로는 두 번째 모형이 옳은 모형일수도 있고, treatment(이메일)은 outcome(지불금액)에 효과가 없을 수도있다. 그러나 고려해보아야 할 부분은, opened 와 agreement 변수는 Treatment (이메일) 변수가 원인 변수가 되는 변수들이라는 것이다. (이메일을 받아야 opened 가 가능하고 채무협상 agreement 가 가능) 

 

 

 

 

↪ 직관적으로 이메일을 연 사람들은 연락하고 빚을 갚을 것이라고 충분히 생각해 볼 수 있기 때문에 Opened 는 지불금액의 원인이 된다. agreement 도 같은 이유도 그렇다 볼 수 있다. 

↪  Payment 에 대해 생각해보면 다음과 같은 퍼널 관계를 생각해 볼 수 있다 : email  >  opened > agreement > payment 

↪  위의 그래프의 핵심은, 이메일에서 지불금액까지의 인과경로에 opened 와 agreement가 모두 있다는 것이다. 

 

추론 가능한 결과

 

 

 

 

◯   교란요인과 선택편향 

 

•  교란요인은 공통 원인에 대한 통제 실패에서 오는 편향이지만, 선택편향은 원인에서 효과까지의 경로 사이에 있는 공통효과 또는 변수에 대해 통제할 때 발생한다. 

•  모형에는 Y를 잘 예측할 수 있는 변수 혹은 교란 요인을 항상 포함시켜야 한다. Treatment만을 잘 예측하는 변수 혹은 treatment와 outcome 사이의 매개변수 또는 treatment와 outcome의 공통 효과인 변수는 항상 제외하는 것이 좋다. 

 

 

 

 

 

 

 

 

 

 

④  Bad COP 

---

 

◯  예제. 예측하려는 연속형 변수 'Customer spend' 있지만 분포에서 0이 매우 많은 상황이다. 

 

 

 

•   접근하는 첫번째 방식은 모델링을 두 단계로 나누는 것이다. 첫번째는 Y>0 일 확률, 즉 고객의 지출 여부를 결정하는 모형을 만든다. 두 번째는 Y>0 인 사람들에 대해 Y를 모델링한다. 이를 보통 Conditional-on-Positives 효과라 부른다. 이는 고객이 무엇이든 지출하기로 결정한 후 (Treatment) 지출한 금액을 나타낸다.

 

COP

 

•   T가 랜덤하게 할당되면 treatment 로 인한 지출 확률 증가를 포착할 수 있다. 그러나 COP 를 추정하는 과정에 문제가 존재한다. 무작위로 할당되더라도 편향될 수 있다 ⇨ COP 편향 

 

 

 

 

◯  예제. COP 편향 예시 : 마케팅 캠페인 

 

•   마케팅 캠페인을 봐야만 제품을 사는 사람들 (Frugal) 이 있고, 없어도 사는 고객 (Rich) 들이 있다. 

 

 

 

•   캠페인에 대한 ATE 를 추정하기 위해 무작위를 진행했다. 따라서 treatment 를 받은 것과 받지 않은 것만 비교하면 된다. 

 

 

⇨ 참가자 모집단만 필터링하면 무작위화로 인해 처음에는 편향이 없더라도 ATE에 대한 추정치가 편향된다. 

 

 

 

•  treatment와 outcome 사이에 있거나 outcome과 treatment의 공통적인 효과인 변수는 통제하지 말아야 한다. COP 편향이란 treatment에서 outcome 또는 treatment와 outcome의 공통적인 효과인 변수에 대한 인과 경로의 변수를 통제할 때 발생하는 편향이다.