[industry] 인과추론에서 도메인의 역할과 교란변수 보정

 

 

출처

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

 

① 도메인과 인과추론 

---

 

◯  인과추론은 도메인에 상당 부분 의존하는 방법론이다. Outcome 과 treatment 그리고 confounder (교란변수) 를 파악하는데 있어 도메인 지식은 필수다. 

 

 

 

◯  data-driven 하게 변수 간 그래프 구조를 식별하기 위한 시도로 causal discovery 라는 방법이 있다. 그러나 이 방법도 제약이 없으면 작동하기 어렵고, 변수 간의 모든 조합을 고려하는 것은 계산량이 너무 많다. 

 

◯  인과추론 : 실험/처치/행동/정책이 가져온 효과를 정량적으로 분석 → 변수들 간의 모든 관계를 알 필요는 없다. treatment 를 추정할 때 교란변수를 보정 (모형에 추가) 했다는 사실이 중요하다. 변수들 간의 관계 자체는 bias 에 영향을 미치지 않는다. 

 

 

 

 

 

②  모형 기반의 교란변수 보정 

---

 

◯  모형을 기반으로 교란변수 (처치와 결과 동시에 영향을 주는 변수) 를 보정하려면, 잠재적 교란변수의 대상은 한정해주어야 한다. 변수들 간의 시간적 선후관계를 통해 Pre-treatment covariate 만 걸러 남겨주어야 한다. 

 

◯  교란변수는 처치와 결과에 모두 영향을 주는 변수이기 때문에 Outcome Y 에 대한 모형 (ex. Lasso 회귀모형) 뿐 아니라, Treatment 에 대한 모형도 고려해주어야 한다. 결과와 처치에 대한 모형을 동시에 적합한다. 

 

 

 

 

③  트리 모형 기반의 교란변수 보정 

---

 

◯  머신러닝 기반의 교란변수 보정 모형은 인과효과에 대한 추정은 정밀하게 수행할 수 있지만, 어떤 변수가 교란변수로 작동하는지는 알 수 없다. 그러나 BART (베이지안 트리 앙상블 모형) (Kim et al., 2023) 을 사용하면 정확한 효과 추정, 교란변수일 확률까지 동시에 수행하는 것이 가능하다. 

 

◯  BART 는 treatment 에 대한 모형과 outcome 에서 나무 분기에 동시에 사용되는 변수들에 더 큰 가중치를 주어 학습하는 방식이다. 이로써 교란변수가 아닌 변수들은 최종 모형에 전혀 포함되지 않고, 교란변수 혹은 outcome 에 영향을 주는 변수만 선택되어 정확한 인과효과 추정이 가능하다. 

 

 

 

 

• Kim, C., Tec, M., and Zigler, C. Bayesian nonparametric adjustment of confounding. Biometrics (2023).
• 파이썬 예제 
• R 예제 
• R 라이브러리 

 

 

 

④  뉴럴넷 기반의 교란변수 보정 

---

 

◯  대표적인 모형으로 Draggonet (Shi et al., 2019) 이 있다. 잠재적 교란변수 X들로 네트워크를 거쳐 treatment 에 대한 예측을 수행하고, 만들어진 가중치들로 다시 Potential outcome 을 예측하는 모형이다. 데이터 수가 적은 경우에는 좋은 성능을 고려하기 어려울 수 있다. 관측치 n 의 개수가 충분하면서 잠재적 교란변수의 개수 p 가 많은 경우 사용하면 좋다. 

 

 

 

 

 

 

• Shi, C., Blei, D., adn Veitch, V. Adapting neural networks for the estimation of treatment effects. In Advances in Neural Information Processing Systems (2019).
• 코드

 

 

 

 

⑤  BART, 베이지안 트리 앙상블 모델링 

---

 

출처

 

◯  Bayesian additive regression trees : 랜덤포레스트와 부스팅 같은 트리 앙상블 모형에 대한 베이지안 버전이다. 

 

◯  트리모형의 분산 (예측의 불확실성) 에 대한 정보를 다루기 위해 베이지안을 도입한다. 모든 과정이 deterministic 했던 트리 모형과 달리 베이지안 트리 모형은 모든 결정이 stochastic 하다. tree 가 깊어지면서 더 분기할지에 대해 확률적으로 선택하고, 나무가 깊어질수록 해당 노드에서 분기할 확률을 낮춰주는 방식으로 작동한다. 

 

 

 

◯  또한 예측값을 얻는 것에도 있어 기존 트리모형은 y 값들의 평균을 예측값으로 사용한 반면, 베이지안 트리 모형은 y 값들의 평균을 중심으로 두는 정규분포에서 샘플링을 진행하여 이를 통해 얻어진 값을 예측값으로 사용한다. 또한 MCMC 과정을 통해 사후분포를 따르는 샘플을 얻게 되는데, MCMC 과정마다 트리를 추가적으로 분기할지, 가지치기를 시행할지, 분기 기준 변수를 변경할 지 확률적으로 선택한다. 

 

※ MCMC

 

 

◯  BART 의 각 tree 는 너무 깊이 분기하지 않는다. 또한 tree 의 개수가 커질수록 각 나무의 영향력이 더 약해지도록 통제하는 것이 가능하다. 

 

◯  확률적인 트리를 앙상블함으로써 예측의 불확실성을 계량할 수 있다는 점이 중요하다. 

 

 

 

 

◯  최근 관찰데이터에 대한 인과추론에 BART 를 사용하는 경우들이 많아졌다.