[The Brave and True] 2. Randomized Experiments

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

①  The golden standard 

---

 

•  E(Y0 | T=0) = E(Y0 | T=1) 를 만족할 때 Bias 가 없다. 즉, 타겟군과 대조군이 처치를 받은 것을 제외하고 동등하거나 유사하면 인과관계가 성립한다. 

 

•   위와 같은 이론을 만족시킬 첫번 째 도구로는 Randomized experiments 가 있다. 무작위 실험은 Treatment Group과 Control group에 개개인을 랜덤하게 분배하는 방식이다. 이때 처치를 받는 타겟군의 비율이 꼭 50%일 필요는 없다. 랜덤하게 분배함으로써 potential outcome 을 treatment 로부터 독립적으로 만들어 bias 를 제거한다. 

 

 

•  무작위 실험에서는 treatment 가 처치군과 대조군 결과 사이에서 발생할 유일한 차이라는 것을 의미한다. 

 

 

 

 

 

②  In a school far, far away 

---

 

•  positive bias : treatment 를 받는 group 의 pre-treatment 상태가 더 큰 경우 : E(Y0 | T=1) > E(Y0 | T=0) 

↪ ex. 가령 온라인 수업을 받은 (→ treatment) 학생과 오프라인 수업을 받은 학생 간 성적을 비교할 때, 온라인 수업을 받은 집단이 더 잘하는 학생들만 배치되었을 수 있다. 

 

•  negative bias : treatment 를 받은 group 의 pre-treatment 상태가 더 작은 경우 : E(Y0 | T=1) < E(Y0 | T=0) 

↪ ex. 가령 온라인 수업이 더 저렴하여 공부 외에 다른 일들을 해야하는 부유하지 않은 학생들로 구성되어 있을 수 있다. 

 

•  첫번째 그룹의 학생들은 대면 강의를, 두번째 학생들은 온라인 수업을, 세번째 그룹의 학생들에게는 혼합형 수업을 듣도록 랜덤 배정을 진행하여 학기말 시험 점수에 대해 대면 수업(face_to_face)이 평균 약 78.55점인에 반해, 온라인 수업(online)의 경우 평균 73.63점을 보여주고 있다. (groupby, mean 함수 사용) 따라서 온라인 수업의 ATE 는 약 - 4.91 이다. 즉, 온라인 수업을 듣는 학생들은 평균적으로 약 5점 낮은 점수를 받는다는 것을 의미한다. 

 

 

•  랜덤화가 잘 이루어졌는지 확인하는 방법은 처치를 받은 것이 전처리 변수에서 처치를 받지 않은 것과 동일한지 확인하는 것이다. 위의 예시에서는 gender, asian, hispanic, white 변수에서 그룹간 비교적 비슷한 결과가 노오는 것을 확인해 볼 수 있다. black 변수에서는 다른 경향을 보이는데, 이는 샘플의 개수가 약 400개로 작기 때문임을 볼 수 있다. 표본이 크다면 이러한 차이는 많이 발생하지 않는다. 

 

 

 

③  The Ideal Experiment 

---

 

•  Randomised experiments, Randomised Controlled Trials: RCT 가 인과효과를 확인할 수 있는 가장 신뢰할만한 방법이다. 그러나 이러한 방법은 비용이 많이 들고, 비윤리성을 가지게 될 수 있다. 

 

 

 

 

④  The assignment mechanism 

---

 

•  Randomised experiments 에서 누구에게 처치를 진행할 것인가는 완전한 랜덤이다. 

•  모든 인과추론 기술들은 누구에게 처치를 진행하는지를 알고 싶어 한다. Assignment Mechanism을 잘 이해하게 된다면 처치가 랜덤하지 않아도 인과추론은 신뢰할 만 할것이다. 그러나 데이터를 살펴본다고 해서 이를 쉽게 발견하기는 어렵다. 

 

•  머신러닝은  적절한 순서에 따라 버튼들을 누르는 것에 불과하지만, 인과 추론은 데이터가 생산되는 과정에 대해 진지한 사고를 요한다.