인과추론과 데이터사이언스

 

 

👀 인과추론 개인 공부용 포스트 글입니다. 출처는 첨부한 링크를 참고해주세요!

 

 

 

①  글1 : 인과성, 인공지능, 기계학습, 데이터 사이언스

---

 

•   인공지능은 어떤 에이전트가 목표를 성취하기 위해 주어진 환경에서 합리적인 액션을 취하는 것이다. 이때 환경에 변화를 주어, 원하는 상태로 변화시키는 인과관계로 해석이 가능하다. 기계학습은 데이터의 상관성을 학습하는 것인데, 이때 인과관계를 통해 해석하는 것도 가능하다. 데이터를 통해 풀고자 하는 질문에 따라 다르겠지만, 어떤 데이터를 수집하고 처리, 분석하고 해당 결과를 인간과 어떻게 상호작용할 것인가 하는 많은 부분에서 상관성과 인과성 모두 복합적으로 고려한다. 

 

 

◯  Pearl's Causal Hierarchy 

 

(1) Associational or Observational 관측계층 : 관측을 통해 시스템을 구성하고 있는 변수들의 상관성을 알 수 있다. 가령 아스피린을 먹은 사람과 그렇지 않은 사람들의 두통의 심한 정도를 눈으로 관찰 가능하다. 현상들 간의 연관성과 추세를 바탕으로 예측한다. 

→ Current Machine learning 

 

 

(2) Interventional or Experimental 실험계층 : 주어져 있는 연구를 하고자 하는 시스템을 intervention (중재) 라고 하는데, 중재 (or 실험) 을 통해 나오는 결과에 관심이 있다. 가령 아스피린을 두 그룹에 무작위하게 먹게 하여 두통이 어떤식으로 바뀌었는지를 실험할 수 있다. 

→ Randomized controlled trials, a/b test

→ Current Reinforcement Learning 

 

(3) Counterfactual 반사실적 계층 : 관측 값과 실험에 의한 값을 동시에 고려하는 계층으로, 가령 아스피린을 먹고 두통이 사라졌을 때, 만약 아스피린을 먹지 않았다면 두통이 어떻게 변했을지에 대한 질문에 답을 한다. 

 

 

 

 

◯ 심슨의 역설 

 

•  각각의 변수에 신경쓰지 않고 전체 통계 결과를 유추하다 일어나는 오류이다. 

•  인과적인 분석을 하기 위해선, 주어진 데이터 뿐 아니라 각 변수들이 가지는 인과적 관계에 대한 자세한 이해가 필요하다. 

 

 

 

 

② 글2 : 데이터 과학과 우리나라 데이터 과학 업계에 관한 생각 

---

 

•   데이터 과학을 학문이라 표현하는 것보단, "도구" 라는 단어가 더욱 적절하다. 

•   추론 (inference) 과 예측 (prediction) 

•   인과추론이 가지는 가치는 추론 모델링에서만 발휘되지 않는다. 예측 모델링에서도 인과추론이 갖는 가치는 충분히 존재한다.  머신러닝 분야의 최대 학회 중 하나인 NeurIPS에서도 Causal Inference Workshop이 열리고 있다. 

↪ 워크샵홈페이지1 , 워크샵 홈페이지2

 

•   우리나라 데이터 과학 업계는 여전히 예측 방법론에 지나치게 치중되어 있다. 추론 방법론과 예측 방법론을 균형맞추어 양립해 가야 한다. 

 

 

 

 

 

 

③ 영상 : 다짜고짜 배워보는 인과추론 _ PAP 

---

 

•   인과관계는 데이터 분석의 핵심이자, 비즈니스에서 끊임없이 물어보는 문제이다. 상관관계는 데이터를 통해서 가져올 수 있는 가장 베이직한 인사이트이다. 

 

 

◯  예측 vs 추론 : 인과관계를 아는 것은 사업의 action 과 직접적으로 연결되어 있다. 

 

 

 

◯   인과관계를 입증하는데 있어 중요한 관점 : treatment group 과 control group 을 구분하는 것 

 

 

◯   현실에서 인과관계를 입증하기 어려운 이유 ⇨ 이를 극복하기 위한 다양한 방법론들이 등장 

 

 

 

◯   한 눈에 보는 인과추론 방법론 : 위로 갈수록 인과관계 수준이 높아 증명이 비교적 쉬운 방법론이고 아래로 갈수록 인과관계 수준이 낮아, 인과성 증명이 비교적 어려운 방법론이다. 

 

 

•  Meta-analysis : 특정한 분석 방법론을 지칭하는 것은 아니고, 여러 방법론들을 결합해 사용하는 것을 의미한다. 

 

•  무작위 비교 실험 (A/B test) : group 할당에 randomness 를 부여하여 인과추론을 가능하게 하는 방법

↪  큰수의 법칙이나 중심극한 정리, 베이지안 추론 등 통계학의 근본 정리들이 이 방식의 유효성과 정확성을 보증한다. 

 

 

•  준실험 :  treatment 적용과 group 구분을 내가 의도한대로 통제할 수 없을 때 사용하는 방법. AB test 가 적용되기 어려운 상황일 때 사용하는 방법론으로, 여러 통계적 가설을 적용해 실험을 설계하고 진행하진 못하지만, 실험과 유사한 상황을 역으로 찾아 분석하는 방법이다. 준실험 안에서도 다양한 방법론들이 존재한다.

↪  ⑴ DiD 이중차분법 

↪  ⑵ Synthetic Control Method (SCM) 

↪  ⑶ Causal Impact 

↪  ⑷ Interrupted time series

↪  ⑸ Regression discontinuity design 

↪  ⑹ IV

 

•  도구변수 : 준실험이 어려운 환경에서 활용하는 방법으로, 인과관계 추정에 방해가 되는 요인을 끊어내기 위해 사용하는 방법이다. 

 

•  회귀분석 : 변수들간의 관계를 확률적인 수식으로 표현하는 방법으로, 여러가지 데이터를 분석해서 추정하고자 하는 결과값을 설명하는 일종의 공식을 만들어내는 방법이다. 

 

 

하위로 갈수록 더 많은 Robustness check 과정이 필요해진다

 

※  좋은 설명 글

 

 

 

◯   준실험 방법론들 예시 : 문제 정의에 따라 다양한 방법들을 적용해볼 수 있다. 

 

•  RD 디자인 (회귀 불연속, Regression Discontinuity) : 정책이나 의사결정에 의해 데이터에 경계선이 생기는 경우 데이터의 불연속을 활용하여 인과관계를 측정하는 방법론 

 

 

 

◯   넷플릭스의 인과추론 사용 예시 

 

•  넷플릭스에서는 준실험을 많이 사용한다고 한다. 

대중매체를 통해 알 수 없는 범위의 사람으로부터 정보가 전달되는 경우, 특정 개인에게만 적용되는 추천시스템이 개입되는 경우, 통제할 수 없는 사용자 사이의 소문 등 ⇨ 이런 부분들이 완벽하게 통제되지 않음 

 

 

 

옥외광고의 경우에는 광고를 봤는지, 보지 않았는지, 본 사람이 회원가입을 했는지에 대한 정보를 알 수 없다. 즉, treatment group 과 control group 을 individual 로 보지 않고, 지역으로 나누었다. 

 

 

 

※ 넷플릭스 리서치 : 제어된 A/B 실험을 사용하여 새로운 추천 알고리즘, 사용자 인터페이스(UI) 기능, 콘텐츠 홍보 전술, 원본 출시 전략, 스트리밍 알고리즘, 새 회원 가입 프로세스 및 지불 방법을 포함하여 제품에 대해 제안된 거의 모든 변경 사항을 테스트합니다. A/B 실험이 불가능할 때 우리는 특히 새로운 마케팅 및 광고 아이디어를 측정하기 위해 유사 실험 및 인과 관계 추론 방법에 의존합니다. 또한 우리는 실험 설계, 검정력을 높이는 기술, 인과 추론에 대한 베이지안 접근법, 대규모 데이터 세트를 위한 빠른 부트스트래핑을 포함하여 Netflix에서 실험 및 추론의 모든 측면을 개선하기 위한 적극적인 응용 연구 의제를 유지합니다.

 

 

※ 비즈니스 적용 예시 

 

 

•  중요한 비즈니스 문제는 인과관계 추론을 필요로 한다. 좋은 데이터 분석은 인과관계를 바탕으로 스토리텔링하는 것이기 때문이다. 우리를 인간으로 만든 핵심적인 인지발달 과정은 경험을 원인과 결과로 구분해온 것에 기반하지만, ML 은 이것을 놓치고 있다. ML 은 다양한 피쳐들을 기반으로 목표 값을 예측하는 것이 근본 구조이다. 

 

 

•  게임 도메인 예시 : 실전 이탈 예측 모델링을 위한 고려사항 : 예측모델과 인과추론 모델의 차이 

 

 

 

예측모델, 인과추론 모델 차이

 

 

기획, 개발 ⇨ 인과추론

 

 

 

•  인과추론 라이브러리

 

•  NCSOFT_인과관계 블로그