์ฐธ๊ณ ์์ : Bootcamp 5-3. ๊ตฌ์กฐ์ ์ธ๊ณผ๋ชจํ
1. Structural model
โฏ Causal inference = How to address endogeneity
• treatment ์ ๋ํ selection process (data generation process) ๋ฅผ ์๊ธฐ ์ด๋ ค์ด ๊ฒฝ์ฐ๊ฐ ๋ง์์, ์ธ๊ณผ์ถ๋ก ์ด ์ด๋ ค์ ์ง๋ ๊ฒ์ด๋ค. ๋ฐ๋ผ์ ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ์ฌ๋ฌ ๋ฐฉ๋ฒ๋ก ๋ค์ด ๋ฑ์ฅํ ๊ฒ์ด๋ค.
• Design based approach : selection process ๋ฅผ ์ ์ ์๋ research design ์ ํ์ฉํ๋ ๋ฐฉ๋ฒ
• Selection model : selection process ๋ฅผ ํต๊ณ์ ์ผ๋ก ๋ชจ๋ธ๋ง ํจ์ผ๋ก์จ selection process ์์ selection bias ๋ฅผ ์ง์ ๊ณ์ฐํ๊ณ , ์ด๋ฅผ ์ง์ ํต์ ํ์๋ ์ ๊ทผ
• Causal graph : data generation process ๋ฅผ ํต๊ณ์ ์ธ ๊ทธ๋ํ๋ก ํํํ๊ณ , ๊ทธ ๊ทธ๋ํ๋ฅผ ํ์ฉํด์ data generation process ๋ฅผ ๊ฐ์ํ ์ํ์์ ์ธ๊ณผ์ถ๋ก ์ ํ๊ณ ์ ํ๋ ์ ๊ทผ
โฏ Structural causal model = probabilistic causal mechanisms
• Structural causal model : data generation ์ ํํํ๋ causal mechanism ์ด ์กด์ฌํ๊ณ ์ด๊ฒ์ ์ํ์ ์ผ๋ก ํํํ ๋ชจ๋ธ
• Data generation process ๊ฐ structural causal model ๋ก ์ ์ํ ์ ์๋ค๊ณ ๋ณด์ง๋ง, ์ค์ ์ธ๊ณ์์๋ ์ด๋ฌํ causal model ์ ๋ช ํํ ์ ์ํ๊ธฐ๊ฐ ์ฝ์ง ์๋ค.
• ์ฐ๋ฆฌ๊ฐ ์ถ๋ก ํด ๋ณผ ์ ์๋ ๊ฒ์ ๊ฐ์ง๊ณ ์๋ ๋ฐ์ดํฐ๋ก๋ถํฐ ํ๋ฅ ๋ถํฌ๋ฅผ ์ถ๋ก ํด ๋ณด๋ ๊ฒ
• ๊ด์ฐฐ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๊ทธ์ ๋ํ ํ๋ฅ ๋ถํฌ์ 3๊ฐ์ง ๊ตฌ๋ถ
โ ๊ด์ฐฐ๋ ๋ฐ์ดํฐ์์ ๋ณผ ์ ์๋ ํ๋ฅ ๋ถํฌ : associational distribution
โก ์ด๋ค ๋ณ์์ ๋ํ ํ๋์ ์ทจํ์ ๋ ๋ํ๋๋ ํ๋ฅ ๋ถํฌ (์ธ๊ณผ๊ด๊ณ์ ๋ํ ํ๋ฅ ๋ถํฌ) : interventional distribution
โข ํน์ ํ๋์ ๋ํ ์ธ๊ณผ๊ด๊ณ๋ฅผ ๋์ด, ๋ค๋ฅธ ํ๋์ ์ทจํ๋ค๋ฉด ์ด๋ป๊ฒ ๋์์๊น์ ๋ํ ํ๋ฅ ๋ถํฌ : counterfactual distribution
โช ์์ ๋จ๊ณ์ ํ๋ฅ ๋ถํฌ๋ ์๋ ๋จ๊ณ์ ์ ๋ณด๋ง์ผ๋ก๋ ๋ตํ ์ ์๋ค.
2. Causal inference with SCM
โฏ SCM
• causal inference ๋ผ๋ ๊ฒ์, ๋ฐ์ดํฐ์์ ๊ด์ฐฐ๋๋ ๋จ์ํ ํ๋ฅ ๋ถํฌ๊ฐ ์๋๋ผ, ์ด๋ค ํ๋์ ์ทจํ์ ๋ ๋ํ๋๋ ๊ฒฐ๊ณผ์ ๋ํ ํ๋ฅ ๋ถํฌ์ด๊ธฐ ๋๋ฌธ์, Interventional distribution ๊ณผ counterfactual distribution ์ ๊ตฌํ๋ ๊ฒ์ด ๊ฒฐ๊ตญ causal inference ๋ค.
• ๊ทธ๋ฌ๋ ์ฐ๋ฆฌ๊ฐ ์ค์ ์ธ๊ณ์์ ๊ด์ฐฐํ ์ ์๋ ๊ฒ์ associational distribution ์ด๊ณ , ํ์๋จ๊ณ์ ์ ๋ณด๋ง์ ๊ฐ์ง๊ณ ์์๋จ๊ณ์ ์ ๋ณด๋ ์ ์ ์๋ค. ๋ฐ๋ผ์ ๋ฐ์ดํฐ ๊ทธ ์ด์์ ์ ๋ณด๊ฐ ํ์ํ๋ค. ๊ทธ๋์ causal graph ๋ฅผ ์ด์ฉํด์ผ ํ๋ค.
• ๋น๋ก data generation process ์ ๋ํ ์ค์ causal SCM ์ ์ ์ ์์ง๋ง, ์ ์ด๋ ๋ณ์๋ค์ด ์ด๋ ํ ๊ด๊ณ๋ก ๊ทธ๋ํ๋ก ํํํ ์ ์์์ง๋ ์ ์ ์๋ค. Graphical model ์ ํ์ฉํด์ ํ์๋จ๊ณ ์ ๋ณด๋ก ์์๋จ๊ณ ์ ๋ณด๋ฅผ ์ถ์ ํ๊ณ ์ ํ๋ ๊ฒ์ด SCM ํ์์์ causal inference ๋ผ๊ณ ๋ณผ ์ ์๋ค.
• graphical model + associational distribution ๋ฅผ ํตํด interventional distribution, ๋ ๋์๊ฐ ์ด๋ฐ ์ ๋ณด๋ฅผ ์ข ํฉํด์ counterfactual distribution ์ ๊ตฌํ ์ ์๊ฒ ๋๋ค.
3. Definition of Causal effect using do-operator
โฏ do-operator
• SCM ์์๋ interventional distribution ์ ์ด๋ก ์ ์ผ๋ก ๊ตฌํ๊ณ , associational distribution ๊ณผ causal graph ๋ฅผ ๊ฒฐํฉํจ์ผ๋ก์จ, ์ค์ ๋ก ๊ตฌํด๋ณด์๋ ๊ฒ โจ SCM ์์์ ์ธ๊ณผ์ถ๋ก : ์ด๋ก ์ ์ผ๋ก ์ธ๊ณผ๊ด๊ณ๋ฅผ ๋จผ์ ์ ์ํ๋ ๊ฒ์ด ํ์ํ๋ค.
• do operator : ์ฃผ์ด์ง causal graph ๋ฅผ ๊ทธ๋๋ก ๋ถ์ํ๋ฉด backdoor path ๋ก ์ธํด ์๊ด๊ด๊ณ์ ์ธ๊ณผ๊ด๊ณ๋ฅผ ๊ตฌ๋ถํ๊ธฐ ์ด๋ ต๊ธฐ ๋๋ฌธ์, ์ด๋ก ์ ์ผ๋ก backdoor path ๊ฐ ์๋ ์ํ์์ ๊ณ์ฐํ ์ธ๊ณผ์ ํจ๊ณผ๊ฐ, ์ฐ๋ฆฌ๊ฐ ๊ณ์ฐํด์ผ ํ ์ธ๊ณผ์ ํจ๊ณผ๋ผ๊ณ ์ ์ํ๋ ๊ฒ
• ๋ฐ์ดํฐ๋ฅผ ํตํด ๊ตฌํ ์ ์๋ associational (conditional) distribution ์ธ P(Y|X) ๋ ์ธ๊ณผ์ ํจ๊ณผ๋ผ ๋งํ ์ ์๋ค. C ๋ผ๋ confounder ๋ก ์ธํ backdoor path ๊ฐ ์๊ธฐ ๋๋ฌธ์ด๋ค. X๊ฐ Y์ ๋ฏธ์น๋ ์ํฅ ๋ฟ ์๋๋ผ C๋ก ์ธํ non-causal association ๋ ์๋ค.
• ๋ง์ฝ ์ฌ๊ธฐ์ confounder ์์ด X๊ฐ ์ค์ ์์ธ์ด์ฌ์ ์ธ๊ณผํจ๊ณผ๊ฐ ์๋ค๋ฉด ์ด๋จ๊น โจ ์ด๋ก ์ ์ผ๋ก ๊ตฌํด๋ด : do(X) : non causal effect ๋ฅผ ์ฐจ๋จํ๋ ํ์์ผ๋ก ์ ์ํด ๋ณผ ์ ์์
• do() ํจ์๋ X์ ์ด๋ ํ action ์ ์ทจํ๋ ํํ๊ฐ ์๋๋ผ, treatment ๋ณ์์ ๋ถ๋ชจ๋ ธ๋, ์ฆ treatment ๋ณ์์ ์ํฅ์ ์ฃผ๋ ๋ค๋ฅธ ์์ธ๋ค์ ํจ๊ณผ๋ฅผ ๋ฐฐ์ ํ์๋ ์ด๋ก ์ ์ธ ๊ฐ์ ์ด๋ค. interventional distribution
• ๋ฐ์ดํฐ๋ฅผ ํตํด์ ๊ตฌํ ์ ์๋ conditional distribution ์ ํตํด์, ์ด๋ก ์ ์ผ๋ก ๊ตฌ์ถํ interventional distribution ์ ์ด๋ป๊ฒ ๊ตฌํ ์ ์๋์ง๊ฐ ์ค์ โจ interventional distribution ์ conditional distribution ์ผ๋ก ๋ณํํ ์ ์๋๊ฒ ์ค์ํ๋ค. ๊ทธ๋ฌํ ๋ณํ์ ๊ณผ์ ์ด ๊ฐ๋ฅํ๋ค๋ฉด identification ์ด๋ผ๊ณ ๋ถ๋ฅธ๋ค. ๋ถ๊ฐ๋ฅํ๋ค๋ฉด non-identification ์ด๋ผ ๋ถ๋ฅธ๋ค.
โฏ do-calculus : ๊ทธ๋ ๊ฒ ๋ณํํ๋๋ฐ ๋์์ ์ค ์ ์๋ ์ผ๋ จ์ graphical rule ์ do-calculus ๋ผ ์ ์
• ์ผ์ชฝ์ do-operator ์์ด T๊ฐ Y ์ ๋ฏธ์น๋ ํจ๊ณผ๋ฅผ ์ดํด๋ณด๋ฉด, ๋นจ๊ฐ์ ์ ์ ์ฒ๋ผ non-causal path ๊ฐ ์กด์ฌํ๊ธฐ ๋๋ฌธ์ ์ด๋ causal effect ๋ผ ๋ณผ ์ ์๋ค. ๊ทธ๋ฌ๋ ์ด๋ก ์ ์ผ๋ก ์๊ฐํด์ do(T) ๋ฅผ ํ๋ค๋ฉด, ๋นจ๊ฐ์ path ๋ ๋ชจ๋ ์ฐจ๋จ๋๊ณ ํด๋น causal effect ๊ฐ ์ด๋ก ์ ์ผ๋ก ๊ตฌํด์ผ ํ ์ธ๊ณผํจ๊ณผ์ ํด๋นํ๊ฒ ๋ ๊ฒ์ด๋ค.
• ๊ทธ๋ฌ๋ ์ค๋ฅธ์ชฝ์ ์ด๋ก ์ ์ผ๋ก ๊ตฌ์ถํ ์ ์๋ ๊ตฌ์กฐ์ด์ง๋ง, ์ค์ ๋ก ๊ตฌํ๊ธฐ๋ ์ด๋ ต๋ค โจ ์์ธ : Random assignment
• potential outcome framework ์์ causal inference ์ gold standard ๋ Random assignment ์ธ๋ฐ, ์ด๋ SCM ์์๋ ๋ง์ฐฌ๊ฐ์ง์ด๋ค. ๋ฐ๋ผ๋ณด๋ ๊ด์ ์ด ๋ค๋ฅธ ๊ฒ์ด๋ค. potential outcome framework ์ ๊ฒฝ์ฐ์๋ counterfactual ์ ๊ฐ์ฅ ์ ์ค๋ช ํ ์ ์๋ control group ์ ์ฐพ๋ ๊ฒ์ด ๋ชฉํ๋ก ๋๊ณ ์์ด ์ด๋ฅผ random assignment ๋ก ์คํํด๋ณด๊ฒ ์๋ ์ ์ฅ์ธ ๊ฒ์ด๊ณ , SCM ๊ด์ ์์๋ random assignment ๋ ์ค์ ๋ชจ๋ธ์ ์ ์ฉํ ์ ์๋๋ก ๋์์ฃผ๋ ๋งค๊ฐ์ฒด (๋๋คํ ๋ฐฐ์ ์ ํตํด non-causal ํ ํ์ดํ๋ฅผ ๋ชจ๋ ์ฌ๋ผ์ง๊ฒ ํจ) ๋ก ๋ณด๋ ๊ฒ์ด๋ค.
4. Identification of causal effect
โฏ Identification ์ ํ๋ ๋ฐฉ๋ฒ : backdoor criterion
• w2์ C๋ฅผ conditioning ํ๋ฉด non-causal association ์ด ์ฐจ๋จ๋๋ค โจ ์ด๋ก ์ ์ผ๋ก ์ ์ํ do operation ๊ณผ ๋์ผํ ํํ์ ํ๋ฅ ๋ถํฌ๋ฅผ ์ป์ ์ ์๊ฒ ๋จ
• Backdoor criterion : ์ด๋ค ๋ณ์๋ฅผ conditioning ํด์ผ์ง backdoor path ๋ฅผ ์ฐจ๋จํ ์ ์๋์ง formal ํ๊ฒ ์ ์ํ ๊ฒ. backdoor criterion ์ ํด๋นํ๋ ๋ณ์๋ค์ ๋ชจ๋ conditioning ํ๋ฉด ์ด๋ก ์ ์ผ๋ก ๊ณ์ฐํ intervention distribution ์ ์ค์ ๋ก ๊ณ์ฐ ๊ฐ๋ฅํ association distribution ์ผ๋ก ๋ณํํ ์ ์๊ณ , causal inference ๋ฅผ ํ ์ ์๋ค.
โฏ do-calculus
• do-calculus : ๋ชจ๋ ๊ทธ๋ํ์ ์ํฉ์์ ์ ์ฉ ๊ฐ๋ฅํ identification ์ ์ํ ๊ทธ๋ํ์ ๋ฒ์น
โฏ Identification of causal effect
• query : ์ฐ๋ฆฌ๊ฐ ๊ตฌํด์ผ ํ๋ ๊ฒ. do operator ์ ๊ธฐ๋ฐํ interventional distribution
• identification : causal graph ๋ฅผ ํ์ฉํด์ interventional distribution ์ ์ค์ ๊ณ์ฐ ๊ฐ๋ฅํ ํํ์ ๋ถํฌ๋ก ๋ณํํ๋ ๊ฒ
โฏ Estimation of causal effect
• ์ค์ ๋ฐ์ดํฐ๋ฅผ ํ์ฉํด์ ์ถ์ ํ๋ ๊ฒ, identification ๋ค์ ๋จ๊ณ
โป Dobule ML
5. Further reading and advanced topics
• SCM ์ ์ ์ค๋ช ํ ๋ ผ๋ฌธ!
6. Potential outcome framework VS Structural causal model
โฏ ๋น๊ต
• Potential outcome framework ๋ social science ์์ ๋ง์ด ํ์ฉ๋๊ณ ์๊ณ , SCM ์ ์ปดํจํฐ ์ฌ์ด์ธ์ค์์ ๋ง์ด ํ์ฉ๋๊ณ ์๋ค.
โฏ ์ฐจ์ด์ (1) Manipulability
• ์์ธ๋ณ์์ ๋ํ ์ฐจ์ด
• Potential outcome framework ๋ ๊ธฐ๋ณธ์ ์ผ๋ก manipulability ๋ฅผ ๊ฐ์ ํ๊ณ ์๋ค.
• ๋ฐ๋ฉด SCM ์์ manipulability ๋ ์๋ฌด๋ฐ ์ญํ ์ ํ์ง ์๋๋ค.
โฏ ์ฐจ์ด์ (2) Causal Structure/Knowledge
• ex. ์ฐ๋ชจ์ ์ํ๊ฐ ์์ด์ ๊ฑด๊ฐ์ํ์ ๋ฏธ์น๋ ์ํฅ ๋ถ์ : causal graph ํ์์ causal knowledge ๋ฅผ ํ์ฉํ์ฌ ์ธ๊ณผ์ถ๋ก ์ด ๊ฐ๋ฅ
• Potential outcome framework ์์๋ causal knowledge ๋ฅผ ๋ฐ๋์ ์๊ตฌํ๋ ๊ฒ์ ์๋๋ค. ์๋ฒฝํ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ถ๊ณ ์์ง ์๋๋ผ๋, counterfactual ์ ๊ฐ๊น์ด ๋น๊ต๊ฐ๋ฅํ control group์ ๊ณ ์ํ๋ ์ ์ ํ ์ฐ๊ตฌ๋์์ธ๋ง์ผ๋ก ์ธ๊ณผํจ๊ณผ๋ฅผ ์ถ๋ก ๊ฐ๋ฅํ๋ค. ๊ฐ๋ น ์น ๋ ์ง์ง๋ฐ์์ ์ํฅ์ ๋ฐ์๋ ์ง์ญ์์ ์คํธ๋ ์ค๋ฅผ ๋ฐ์๋ ์ฐ๋ชจ๋ค์ treatment ๋ก ์ํฅ์ ๋ฐ์ง ์์๋ ์ง์ญ์ ์ฐ๋ชจ๋ค์ control group ์ผ๋ก ์ค์ ํ์ฌ ๋น๊ตํด ๋ณผ ์ ์๋ค.
โฏ Policy-based VS Knowledge-based
๋๊ธ