1๏ธโฃ AI•DS/๐ฅ Casual inference47 ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ_2023 - week2. RCT ๐ ๊ฐ์์๋ฃ ํ๊ธฐ๋ณธ โ Potential Outcome Framework โข Potential Outcome Framework • counterfactual : ํด๋น treatment ๊ฐ ์์๋ค๋ฉด ์ด๋ ํ์๊น • Causal effect = (Actual outcome for treated if treated) – (Potential outcome for treated if not treated) โข Fundamental Problem of Causal Inference : Selection Bias • ํ์ค์์๋ ์ ์ฌ์ ๊ฒฐ๊ณผ๋ฅผ ๊ด์ธกํ ์ ์๋ค. ํ๋์ ๋์์ ๋ํด์๋ ์ค์ง ํ๋์ ์ํ๋ง ๊ด์ฐฐํ ์ ์๋ค • ํ์ค์์ Control group (treatment ๋ฅผ ๋ฐ์ง ์์ ๊ทธ๋ฃน) ๋ง ๊ด์ฐฐ ๊ฐ๋ฅํ๋ค. • .. 2024. 1. 9. ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ_2023 - week1. ๋น ๋ฐ์ดํฐ, AI ์๋์์์ ์ธ๊ณผ์ถ๋ก ๐ ๊ฐ์์๋ฃ ํ๊ธฐ๋ณธ โ Credibility Revolution โข Causal inference • observational data ๋ก๋ถํฐ ํน์ ํ ํ์์ ์ธ๊ณผ๊ด๊ณ๋ฅผ ๋ฐํ๋ด๋ ๊ฒ • Econometrics : ๋ฐ์ดํฐ ๋ถ์์ ํตํด ๊ฒฝ์ ํ์์ ๋ถ์ํ๊ณ ์ด๋ก ์ ํ ์คํธ ํ๋ ๋ถ์ผ • ์ธ๊ณผ์ถ๋ก ์ ๋ชจํ์ ์ด๋ป๊ฒ ์ ์ํ๋๋ ๋ณด๋ค, ์ ์ค๊ณ๋ Research design ์ด ๋ ์ค์ํ๋ค. • Experimental approaches Example โ RCT โ Quasi-experiments - DiD, Instrumental variables, Fixed effects, RD, Matching, Synthetic control) โก Challenges in Causal inference โข Correlation.. 2024. 1. 5. two-way fixed effects model ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! โ Two-way fixed effects model โฏ Staggered DiD • ์ด๋ฉ์ผ ๋ฑ๋ก์ด ๊ณ ๊ฐ ์ฐธ์ฌ์ ๋ฏธ์น๋ ์ํฅ์ ๋ถ์ํ๋ Task โจ ์ด๋ฉ์ผ ๋ฑ๋ก์ ์ ์ ๋ง๋ค ๋ค๋ฅธ ์์ ์์ ์์ํ๊ธฐ ๋๋ฌธ์ ์ ์ง์ ์ธ ์ด์ค์ฐจ๋ถ๋ฒ (Staggered DiD) ๋ฅผ ์ ์ฉํ ์ ์๋ค. โฏ DiD ์ ๋ํ ๊ฐ๋จํ ์ค๋ช • ์ฐ๋ฆฌ๊ฐ ๊ถ๊ธํ ์ ์ฑ ์ ํจ๊ณผ๋ฅผ ๊ฒ์ฆํ๊ธฐ ์ํด์ ์ ์ฑ ์ด ๋์ ๋ ํน์ ๊ทธ๋ฃน๊ณผ ๊ทธ๋ ์ง ์์ ๊ทธ๋ฃน์ ์ ์ฑ ๋์ ์ ํ๋ฅผ ๋น๊ตํ๋ ๊ธฐ๋ฒ • ์๋ฅผ๋ค์ด ๋ชจ๋ฐ์ผ ์ฑ์์ ์ ๋ฐ์ดํธ๋ฅผ ํ๋๋ฐ ๊ทธ ํจ๊ณผ๋ฅผ ์ธก์ ํ๊ธฐ ์ํด, ์๋๋ก์ด๋ ์ฑ์์๋ ๊ฐํธ์ ์์ํ๊ณ iOS ์ฑ์์๋ ๊ธฐ์กด์ ์ ์ฑ ์ ์ ์งํ๋ฉด์ ๊ทธ ์ฐจ์ด๊ฐ ์ด๋ป๊ฒ ๋ณํ๋์ง ๊ตฌํ ์ ์๋ค. ์ด๋ ๋ ์ฑ.. 2023. 8. 14. [The Brave and True] 14. Panel data and fixed effects ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! ๐ ์ ๋ฆฌ • ํจ๋ ๋ฐ์ดํฐ : ์ฌ๋ฌ ๊ธฐ๊ฐ์ ๊ฑธ์ณ ๋์ผํ ๋์์ ๋ํด ์ธก์ ๊ฐ์ด ์๋ ๋ฐ์ดํฐ • Entity (๊ฐ์ฒด) ๋ฅผ ์ ์ดํ๋ ๊ณ ์ ํจ๊ณผ ๋ชจ๋ธ์ ์ฌ์ฉํด ๋ชจ๋ ๋์๊ณผ, ์๊ฐ์ด ๋ณํ์ง ์๋ ๋ณ์๋ฅผ ๊ณ ์ ํ ์ ์๋ค. ๊ณ ์ ํจ๊ณผ ๋ชจ๋ธ์ ๊ต๋๋ณ์๋ฅผ ํต์ ํ๋ ๊ฐ๋ ฅํ๊ณ ์ค๋๋ ฅ์๋ ๋ฐฉ๋ฒ์ด๋ค. • ๊ทธ๋ฌ๋ ์ญ์ธ๊ณผ๊ด๊ณ๊ฐ ์๊ฑฐ๋ ๊ด์ธก๋์ง ์์ ๊ต๋๋ณ์๊ฐ ์๊ฐ์ ๋ฐ๋ผ ๋ณํ ๋ ๊ณ ์ ํจ๊ณผ ๋ชจ๋ธ์ด ์ธ๊ณผํจ๊ณผ๋ฅผ ๋์ถํ๊ธฐ ์ด๋ ค์ธ ์ ์๋ค. โ Intro โฏ Panel data • Panel : ์ฌ๋ฌ๊ธฐ๊ฐ์ ๊ฑธ์ณ ๋์ผํ ๋จ์ (unit) ์ ๋ฐ๋ณต์ ์ผ๋ก ๊ด์ฐฐํ ๊ฒฝ์ฐ • ํจ๋ ๋ฐ์ดํฐ๋ ์ฌ๋ฌ ํด์ ๊ฑธ์ณ ์ฌ๋ฌ ๋์ ๋๋ ์ฃผ์ ๋ํ ๋ฐ์ดํฐ๋ฅผ ์ถ์ ํ ์ ์๋ ์ ๋ถ ์ ์ฑ ํ๊ฐ์์ .. 2023. 7. 26. [The Brave and True] 13. Difference-in-Differences ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! https://ysyblog.tistory.com/307 ๐ ์ ๋ฆฌ • DID ํ์ฉ ๋ชฉ์ ๋ฐ ์์ • DID estimator ์ถ์ • Parallel trend ๊ฐ์ • ์ง๊ณ๋ ๋ฐ์ดํฐ์์์ DID estimator โ DiD ๊ฐ ํ์ํ ์ด์ โฏ DiD ๊ฐ ํ์ํ ์ํฉ • ์จ๋ผ์ธ ๋ง์ผํ ์ ์ฌ์ฉํ๋ฉด ์ด๋ค ๊ณ ๊ฐ์ด ์ด๋ค ๊ด๊ณ ๋ฅผ ๋ณด์๋์ง ์ ์ ์๊ณ , ์ฟ ํค๋ฅผ ์ฌ์ฉํด ๊ณ ๊ฐ์ด ๋ฐฉ๋ฌธ ํ์ด์ง์ ๋๋ฌํ๋์ง ๋๋ ๋ค์ด๋ก๋ ๋ฒํผ์ ํด๋ฆญํ๋์ง ํ์ธํ ์ ์๋ค. ๋ํ ๋จธ์ ๋ฌ๋์ ์ด์ฉํด ๊ณ ๊ฐ๊ณผ ๋งค์ฐ ์ ์ฌํ ์ ์ฌ ๊ณ ๊ฐ์ ์ฐพ๊ณ ํด๋น ๊ณ ๊ฐ์๊ฒ๋ง ๊ด๊ณ ๋ฅผ ๋ ธ์ถ์ํฌ ์ ์๋ค. ์ด๋ฌํ ์๋ฏธ์์ ์จ๋ผ์ธ ๋ง์ผํ ์ ๋งค์ฐ ์ ํํ๋ค. • ๋ฐ๋ฉด, ๊ด๊ณ ํ๊ณผ TV ๊ด๊ณ ๊ฐ์ ๊ฒฝ์ฐ.. 2023. 7. 20. [The Brave and True] 12. Doubly Robust Estimation ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! ๐ ์ ๋ฆฌ • Doubly robust estimator = ์ ํํ๊ท + ๊ฒฝํฅ์ ์ • ๋ ์ค ํ๋๊ฐ ๋ถ์์ ํด๋ ์ ๋นํ ์ถ์ ์น๋ฅผ ์ป์ ์ ์๋ค. โ Introduction โฏ Doubly Robust Estimation • E[Y|T=1] - E[Y|T=0] | X ๋ฅผ ์ถ์ ํ๊ธฐ ์ํด ์ ํํ๊ท, Propensity score weighting ๋ฐฉ๋ฒ์ ๋ฐฐ์ ๋ค. • ์ด ๋์ ๊ฒฐํฉํด์ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ด Doubly Robust Estimation ์ด๋ค. โฏ ์์ • chapter 11 ์์ ์ ๋์ผ • ๋ถ์ํ๊ธฐ ์ ์ ๋ฒ์ฃผํ ๋ณ์๋ค์ dummy ์ฒ๋ฆฌํ๋ค. categ = ["ethnicity", "gender", "school_urbanicit.. 2023. 7. 14. [The Brave and True] 11. Propensity score ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! โป ์ ๋ฆฌ 1 โป ์ ๋ฆฌ 2 ๐ ์ ๋ฆฌ • ์ฑํฅ์ ์ = Treatment ๋ฅผ ๋ฐ์ ํ๋ฅ • ์ฑํฅ์ ์๊ฐ ์๋ค๋ฉด Confounder ๋ฅผ ์ง์ ์ ์ดํ ํ์๊ฐ ์์ผ๋ฉฐ, ์ฑํฅ์ ์๋ฅผ ํต์ ํ๋ ๊ฒ๋ง์ผ๋ก ์ถฉ๋ถํ๋ค. โ Example โฏ ์ฃผ์ • ํ์๋ค์ด ํ๊ต์์ ์ฑ์ฅ ๋ง์ธ๋์ ์ ๋ํ ์ธ๋ฏธ๋๋ฅผ ์ฐธ์ฌํ๊ณ ๊ต์ก์ ๋ฐ์ ํ์๋ค์ด ํ์ ์ ์ผ๋ก ์ด๋ ํ ์ฑ์ทจ๊ฐ ์์๋์ง ์ธก์ ํ๊ธฐ ์ํด ์ธ๋ฏธ๋ ์์ ์ ๋ฐ์ ํ์๋ค์ ๋ํ์ํ์ ์ถ์ ํ๋ค. โฏ ๋ฐ์ดํฐ์ • school_achievement : ํ์คํ๋ ์ฑ์ทจ๋ (ํ์คํ ๋จ = ๋ณ์๊ฐ ํ์คํธ์ฐจ๋ก ์ธก์ ๋จ) • success_expect : ์๊ธฐ๊ฐ๋ฐ ์ฑ๊ณต ๊ธฐ๋๋ (๋ฏธ๋ ์ฑ๊ณต์ ๋ํ ์์ฒด ๊ธฐ๋ ํ๊ฐ) → ๋ฌด์์ ํ ๋น ์ด์ ์ ์ธก.. 2023. 7. 13. [The Brave and True] 10. Matching ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! โป ์ ๋ฆฌ ๐ ์ ๋ฆฌ • ํ๊ท : ๋ฐ์ดํฐ๋ฅผ ์ ๋ก ๋ถํ ํ๊ณ , ๊ฐ ์ ์์ ATE ๋ฅผ ๊ณ์ฐํ ๋ค์, ์ ์ ATE ๋ฅผ ์ ์ฒด ๋ฐ์ดํฐ์ ์ ๋ํ ๋จ์ผ ATE ๋ก ๊ฒฐํฉํ๋ ๊ฒ • ๋งค์นญ estimator โ What is Regression Doing After All? โฏ ํ๊ท๋ถ์ • ํ๊ท๋ถ์์ ์ ์ฉํ๋ฉด Treatment group ๊ณผ Control group ์ ๋น๊ตํ ๋, ์ถ๊ฐ์ ์ธ ๋ณ์๋ค์ ์ ์ดํ ์ ์๋ค. ์ฆ, X๋ฅผ ํต์ ํจ์ผ๋ก์จ ATE ๋ฅผ ์๋ณํ ์ ์๋ค : (Y0, Y1) ⊥ T | X โจ ์กฐ๊ฑด๋ถ ๋ ๋ฆฝ์ฑ ๊ฐ์ • ํ๊ท๋ถ์๊ณผ Matching ์ functional form ์ ๊ฐ์ ํ๋๋ ์ ํ๋๋์ ์ฐจ์ด๋ง ์กด์ฌํ๋ค. โก The Subcla.. 2023. 7. 11. [The Brave and True] 9. Non Compliance and LATE ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! ๐ ์ ๋ฆฌ ๋๊ตฌ๋ณ์๋ก ์ถ์ ํ๋ ATE ๋ LATE ์ด๋ค. • compiler์ ๋ํ LATE ์ด๋ค. โ Heterogeneous โฏ ๋๊ตฌ๋ณ์์ ๋ํ ๋ฐ์ ์ข ๋ฅ • Compliers, Never Takers, Always Takers, Defieres • ex. ์ ์ฝ ํจ๊ณผ ํ ์คํธ๋ฅผ ์ํด ํผ์คํ์๋ ์ฝ๋ฌผ ๋๋ ์์ฝ์ ํ ๋น๋ฐ๋๋ค. Compliers ์ฝ๋ฌผ ๋๋ ์์ฝ์ ๊ฑฐ๋ถ๊ฐ ์์ด ๋ณต์ฉํ๋ ์ง๋จ Never Takers ํ ๋น ๋ฐ์ ์ฝ์ ๋ณต์ฉ(Treatment)์ ๊ฑฐ๋ถ ๋๋ ๋ฐ์ง ์๋ ์ฌ๋ (์ด๋ ํ ์ฝ์ ํ ๋น๋ฐ์๋ ๋ณต์ฉํ์ง ์์ ์ฌ๋) Always Takers ์ฝ ํ ๋น๊ณผ ๋ณ๊ฐ๋ก ํญ์ ์ง์ง ์ฝ๋ฌผ์ ๋ณต์ฉํ๋ ์ฌ๋๋ค Defieres ํต์ ์ ํ ๋น๋.. 2023. 7. 4. [The Brave and True] 8. Instrumental variables ๐ ์ธ๊ณผ์ถ๋ก ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ์ ๋๋ค. ์ถ์ฒ๋ ์ฒจ๋ถํ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์! ๐ ์ ๋ฆฌ ๋๊ตฌ๋ณ์ • Treatment ๋ณ์์ ์๊ด๊ด๊ณ๊ฐ ์์ผ๋ฉด์, Treatment ๋ฅผ ํตํด์๋ง ๊ฒฐ๊ณผ๋ณ์์ ์ํฅ์ ์ฃผ๋ ๊ฒ • 2SLS ๋ฅผ ์ฌ์ฉํด ์ธ๊ณผํจ๊ณผ๋ฅผ ์ถ์ • ์ฝํ ๋๊ตฌ๋ณ์๋ผ๋ฉด ์ถ์ ์ด ์ด๋ ค์ธ ์ ์๋ค. • 2SLS ๋ ์ผ๊ด์ฑ์ด ์๊ธด ํ์ง๋ง, ์ฌ์ ํ ์ธ๊ณผํจ๊ณผ๋ฅผ ์ถ์ ํ๋๋ฐ ์์ด์ ํธํฅ๋ ๋ฐฉ๋ฒ์ด๋ค. โ Going Around Omitted variable bias โฏ Instrumental variables • OVB(Omitted Variable Bias) ๋ฅผ ๋ค๋ฃจ๋ ๋ฐฉ๋ฒ ์ค ํ๋๋ ์๋ต๋ ๋ณ์๋ฅผ ๋ชจ๋ธ์ ์ถ๊ฐํ๋ ๊ฒ์ด๋ค. ๊ทธ๋ฌ๋ ์๋ต๋ ๋ณ์๋ฅผ ํญ์ ์ป์ ์ ์๋ ๊ฒ์ ์๋๊ธฐ ๋๋ฌธ์ ๋ฌธ์ ๊ฐ ๋๋ค. • ๋๊ตฌ๋ณ์์ ์์ด๋์ด๋ .. 2023. 7. 3. ์ด์ 1 2 3 4 5 ๋ค์ 728x90