[The Brave and True] 3. The-Most-Dangerous-Equation

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

①  Intro 

---

 

•  예제. 교육 데이터 : ENEM 점수(SAT와 유사한 브라질 표준 고등학교 점수)를 3년 동안 다른 학교들에서 수집 ⇨ 학생 규모가 작을 때 상위 1%에 해당하는 학교가 많았다. 그러나 하위 1% 학교를 살펴보았을 때도 학생수가 매우 적었다. 이는 학생 수가 적은 학교들의 경우, 분산이 크기 때문에 예측이 불확실해서 운에 의해 매우 높거나 낮은 분포를 보인 것이다. 

 

•  불확실성을 계산하는 방법 중 하나는 분산의 추정량을 구하는 것이다. 불확실성은 관측된 데이터가 클 수록 줄어든다. ATE 를 포함한 어떠한 요약 통계에 대해서도 이는 마찬가지다. 표본이 커질수록 분산은 줄어든다. 

 

 

 

 

②  Standard error of our estimates

---

 

•  복습. ATE, E[Y1-Y0] 을 처리 군과 대조군의 평균 간 차이인 E[Y|T=1] - E[Y|T=0] 으로 다루었다. 온라인 수업 예제에서 온라인 수업의 ATE 를 밝혀냈고, 대면수업일 때보다 5점 낮은 부정적인 효과를 확인했다. 이제 이 값이 통계적으로 유의한지 살펴보아야 한다. 이를 위해 표준오차를 추정한다. 

 

•  표준오차 추정치

 

 

•  추정치에 대한 표준오차는 확신에 대한 치수이다. 

 

 

 

 

③  Confidence Intervals 

---

 

•  표준오차를 통해 참 평균이 95% 안에 포함되도록 구간을 만들 수 있다 ⇨ 신뢰구간 

•  신뢰구간을 계산하기 위해 CLT 중심극한 정리를 이용한다. CLT 는 표본이 충분히 클 때, 표본의 평균이 정규분포를 따른다는 것을 의미한다. 

 

 

 

 

④  Hypothesis testing 

---

 

•  불확실성을 표현하는 또 다른 방법은 가설검정이다 ⇨ H0 : 차이를 검정하고 싶은 값 

 

 

 

 

 

⑤  P-value

---

 

•  p값은 귀무가설이 올바르다고 가정할 때, 검정 중에 실제 관찰될 수 있는 가장 극단적인 검정결과를 얻을 확률. 귀무가설이 참이라는 가정하에 p값은 그러한 데이터를 볼 확률을 의미한다 ⇨ P(data | H0) 

 

 

 

 

◯ 단일 A/B 테스트 비교함수 

 

def AB_test(test: pd.Series, control: pd.Series, confidence=0.95, h0=0):
    mu1, mu2 = test.mean(), control.mean()
    se1, se2 = test.std() / np.sqrt(len(test)), control.std() / np.sqrt(len(control))
    
    diff = mu1 - mu2
    se_diff = np.sqrt(test.var()/len(test) + control.var()/len(control))
    
    z_stats = (diff-h0)/se_diff
    p_value = stats.norm.cdf(z_stats)
    
    def critial(se): return -se*stats.norm.ppf((1 - confidence)/2)
    
    print(f"Test {confidence*100}% CI: {mu1} +- {critial(se1)}")
    print(f"Control {confidence*100}% CI: {mu2} +- {critial(se2)}")
    print(f"Test-Control {confidence*100}% CI: {diff} +- {critial(se_diff)}")
    print(f"Z Statistic {z_stats}")
    print(f"P-Value {p_value}")
        
AB_test(online, face_to_face, h0=-1) # 온라인과 대면 수업의 효과 차이가 -1인지 기각할 수 있을까

#  95% 신뢰도를 통해 차이가 -1보다 유의하다고 할 수 있으나 99% 신뢰도로는 할 수 없다.

 

 

 

↪  두 그룹을 비교하여 평균 처치효과를 계산하고, 그 주위의 신뢰구간까지 얻어낼 수 있는 A/B 검사 도구