1๏ธโฃ AI•DS/๐ฅ Casual inference47 ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ - ๋ฌด์์ ํต์ ์คํ ์ฐธ๊ณ ์์ : Bootcamp 2-2. ๋ฌด์์ ํต์ ์คํ 1. Random assignment • ๋๋คํ๊ฒ group ์ ํ ๋นํ๋ฉด ์ง๋จ ๊ฐ ํน์ฑ์ด ๋น์ทํด์ง๋ค. โฏ Potential Outcomes ๊ด์ ์์ ์ธ๊ณผ์ถ๋ก ์ ์์ค • ์๋๋ก ๊ฐ์๋ก ์ธ๊ณผ์ถ๋ก ์ ์ฆ๋ช ํ๊ธฐ ์ด๋ ค์ด ๋ฐฉ๋ฒ๋ก , ์๋ก ๊ฐ์๋ก ์ฆ๋ช ํ๊ธฐ ์ฌ์ด ๋ฐฉ๋ฒ๋ก • ๊ฐ์ฅ ์ธ๊ณผ์ถ๋ก ์ ์์ค์ด ๋์ ๊ฒ์ Randomized Controlled trial ์ด๋ค. (RCT) • ํ์ค ์ํฉ์์๋ ๋ฌด์์ ์คํ์ ํ๊ธฐ ์ด๋ ค์ด ๊ฒฝ์ฐ๊ฐ ๋ง๋ค. ๋ฐ๋ผ์, ์คํ๊ณผ ์ ์ฌํ ์ํฉ์ ๋์ ํ๋ ๊ฒ์ ์ค์คํ (Quasi-Experiment) ๋ฅผ ์ํํ๋ค. ๋ง์ฝ ์ค์คํ๋ ์คํํ๊ธฐ ์ด๋ ค์ด ์ํฉ์ด๋ผ๋ฉด, ๋ด์์ฑ์ ์ ๊ฑฐํ๊ธฐ ์ํ ํต๊ณ์ ์ธ ๋๊ตฌ์ธ Instrumental variable ๋ฅผ ํ์ฉํ ์ ์๋ค.. 2023. 4. 21. ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ - ์ ์ฌ์ ๊ฒฐ๊ณผ ํ๋ ์์ํฌ ์ฐธ๊ณ ์์ : Bootcamp 2-1. ์ ์ฌ์ ๊ฒฐ๊ณผ ํ๋ ์์ํฌ 1. Potential outcome framework โฏ Potential outcome framework • ํน์ ์์ธ (treatment) ์ ์ธ๊ณผ์ ํจ๊ณผ๋ฅผ ์ ์ฌ์ ๊ฒฐ๊ณผ์ ์ฐจ์ด๋ก์ ์ ์ํ๊ณ ๋ถ์ํ๋ ๊ฒ • ๊ทธ๋์ ๊ฒฐ์ ์ด ์์ธ์ด ๋์ด ์ง๊ธ์ ๊ฒฐ๊ณผ๊ฐ ๋์ด. ๊ทธ๋์ ๊ฒฐ์ ์ด ๋ฌ๋๋ค๋ผ๋ฉด ์ ์ฌ์ ์ธ ๊ฒฐ๊ณผ๋ ์ด๋ป๊ฒ ๋์์๊น โจ ์ฐ๋ฆฌ๊ฐ ์ผ์์์์ ์ฌ๊ณ ํ๋ ๋ฐฉ์์ด Potential outcome ์ด ์ธ๊ณผ๊ด๊ณ๋ฅผ ์ ์ํ๋ ๋ฐฉ์์ด๋ผ ๋ณผ ์ ์์ • Causal effect = (treatment ๋ฅผ ๋ฐ์ ์ค์ ๊ฒฐ๊ณผ) - (treatment ๋ฅผ ๋ฐ์ง ์์๋๋ผ๋ฉด ์์์ ์ ์ฌ์ ๊ฒฐ๊ณผ) โฏ Counterfactual • treatment ๋ฅผ ๋ฐ์ง ์์๋๋ผ๋ฉด ์์์ ์ ์ฌ.. 2023. 4. 21. The science of price experiments in the Amazon Store ์๋ฌธ โฏ ์๋ง์กด ์คํ ์ด์์์ ๊ฐ๊ฒฉ ์คํ • ์๋ง์กด ์คํ ์ด์ ์ํ์ ๊ฐ๊ฒฉ์ ์์,๊ณ์ ์ฑ,์ผ๋ฐ์ ์ธ ๊ฒฝ์ ์ ํธ๋ ๋์ ๊ฐ์ ์์๋ฅผ ๋ฐ์ํ๊ณ ์๋ค. • ๊ฐ๊ฒฉ ์ ์ฑ ๋ ๊ทธ๋ฌํ ๋ถ๋ถ์ ์ค์ํ๊ฒ ๋๊ณ ์๋ค. ์๋ก์ด ๊ฐ๊ฒฉ ์ ์ฑ ์ ๋จธ์ ๋ฌ๋ ๋ฐฉ๋ฒ๋ก ์ ๋ง์ด ํ์ฉํ๊ณ ์๋ค. Amazon pricing labs ์์๋ ์๋ก์ด ๊ฐ๊ฒฉ ์ ์ฑ ์ ํ๊ฐํ๊ธฐ ์ํด ์จ๋ผ์ธ A/B test ๋ฅผ ์ํํ๊ณ ์๋ค. • ์๋ง์กด ์คํ ์ด๋ฅผ ๋ฐฉ๋ฌธํ๋ ๋ชจ๋ ์๋น์๋ค์ด ๋์์ ๋ชจ๋ ์ ํ์ ๋ํด ๋์ผํ ๊ฐ๊ฒฉ์ ๊ตฌ๋งคํ ์ ์๋๋ก ํ๋ ์ฐจ๋ณ์๋ ๊ฐ๊ฒฉ ์ฑ ์ ์ ์ค์ฒํ๊ณ ์์ผ๋ฏ๋ก, ๊ฐ๊ธฐ ๋ค๋ฅธ ๊ณ ๊ฐ์๊ฒ ๋ค๋ฅธ ๊ฐ๊ฒฉ์ ์ ์ํ๋ ๊ฒ์ด ์๋๋ผ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ ํ ๊ฐ๊ฒฉ์ ๋ํ ์คํ์ ์ธ ์ฒ์น๋ฅผ ์ ์ฉํด์ผ ํ๋ค. โฏ Time-bound experiment • ์๋ก์ด ๊ฐ๊ฒฉ ์ฑ ์ ์ ํ๊ฐ.. 2023. 4. 21. ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ - ์ธ๊ณผ์ถ๋ก ์ ์ด๋ ค์๊ณผ ์ธ๊ณผ์ถ๋ก ์ ๋ต ์ฐธ๊ณ ์์ : Bootcamp 1-2. ์ธ๊ณผ์ถ๋ก ์ ์ด๋ ค์๊ณผ ์ธ๊ณผ์ถ๋ก ์ ๋ต 1. Challenges in causal inference • ์๊ด๊ด๊ณ๋ ์ธ๊ณผ๊ด๊ณ๋ฅผ ์๋ฏธํ์ง ์๋๋ค. โฏ Ex1. ์ต์ ์๊ธ๊ณผ ๊ณ ์ฉ๋ฅ • ์ธ๊ณผ์ถ๋ก ์ ์ ์ฉํ๊ธฐ ๋งค์ฐ ์ด๋ ค์ด ์ฃผ์ ์ด๊ณ ๊ฐ๋ก ์๋ฐ์ด ๊ณ์ ์ด์ด์ง๋ ์ฃผ์ • ์ต์ ์๊ธ์ ๋ํ ์์ฐ์คํ ์ฐ๊ตฌ • ์ธ๊ณผ์ถ๋ก ์ฐ๊ตฌ์ ์ฝ์ : external validity and transportability ๋ค๋ฅธ ์ํฉ์ผ๋ก์ ์ ์ฉ โฏ Ex2. ์ถ์ฒ์์คํ • ์๊ณ ๋ฆฌ์ฆ์ ์ฑ๊ณผ๋ฅผ ๋์ด๋ ๊ฒ๋ฟ๋ง ์๋๋ผ, ์ด๋ฌํ ์๊ณ ๋ฆฌ์ฆ์ ๋์ ํ์ ๋ ์ค์ง์ ์ธ ์ ํ ํ๋งค ์ฆ๊ฐ๋ก ์ด์ด์ก๋๊ฐ๊ฐ ๋ ์ค์ํ ๊ฒ • ์ถ์ฒ์์คํ ์ ๊ฐ๋ฐํ๋ ๊ฑด ์๊ณ ๋ฆฌ์ฆ์ ์ธ ๋ฌธ์ ์ง๋ง, ์ด๋ฌํ ์ถ์ฒ์์คํ ์ ๋์ ํ ์ง ๋ง์ง๋ฅผ ๊ฒฐ์ ํ๋ ๊ฒ์ ์ธ๊ณผ์ถ๋ก ๋ฌธ์ ๊ฐ ๋ ์ .. 2023. 4. 20. ์ธ๊ณผ์ถ๋ก ์ ๋ฐ์ดํฐ ๊ณผํ - ์ธ๊ณผ์ถ๋ก ๊ณผ ์์ธก ๋ฐฉ๋ฒ๋ก ์ ์ฐจ์ด ์ฐธ๊ณ ์์ : Bootcamp 1-1. ์ธ๊ณผ์ถ๋ก ๊ณผ ์์ธก ๋ฐฉ๋ฒ๋ก ์ ์ฐจ์ด 1. ๋ฐ์ดํฐ ๊ณผํ : ์ธ๊ณผ์ถ๋ก ๋ฐฉ๋ฒ๋ก (ex. ๊ณ๋๊ฒฝ์ ํ) + ์์ธก ๋ฐฉ๋ฒ๋ก (ex.๋จธ์ ๋ฌ๋) 2. ์ํ "๋จธ๋๋ณผ" • ์ผ๊ตฌ ์ฝ์น๋ค์ ์ ์๋ค์ด ๋ ์ข์ ์ฑ๊ณผ๋ฅผ ๋ผ ์ ์๋ ์์ธ๋ค (causes) ์ ์ฐพ๊ณ , ๋ฐ์ดํฐ์ฌ์ด์ธํฐ์คํธ๋ค์ ๊ตฌ์ฒด์ ์ธ ์ ์์ ๋ํ ์์ธ๋ค์ ์๊ด์์ด ์น๋ฆฌํ ํ๋ฅ ์ ๋์ด๋ ๊ฒ์ ๋ ์ค์ํ๊ฒ ์ฌ๊ธด๋ค. • Prediction ๊ณผ causual inference ๋ ๋ค๋ฅด๋ค. 3. ๋ฐ์ดํฐ๊ณผํ/๋ถ์์ ํ๋ ์์ํฌ • Causual inference ๊ฐ ํ์ํ ๊ฒฝ์ฐ โช Input-Oriented approach โจ ex. ์ฝ๋ก๋ 19 ๋ฐฑ์ ์ ๋ง์์ผ ๋๋์ง, ๋ง์ผํ ํ๋ก๋ชจ์ ์ ์งํํด์ผ ํ๋์ง, ์ ์ฑ ์ ๋์ ํด์ผ ํ๋์ง ๋ง์์ผ ํ๋์ง • Pr.. 2023. 4. 20. ๋์ฒด๋ก ํด๋กญ์ง ์์ ๊ณ๋๊ฒฝ์ ํ ์ ๋ฆฌ - Part1 ๐ ๊ณ๋๊ฒฝ์ ํ ๊ฐ์ธ ๊ณต๋ถ์ฉ ํฌ์คํธ ๊ธ ์ ๋๋ค. Part1. ์ค๋น๋จ๊ณ โ ์ฅ. ์ง๋ฌธ์ ๋ํ ์ง๋ฌธ • ๊ด์ฌ์ ๋์์ด ๋๋ ๊ด๊ณ (relationship of interest) : ๊ณผ์ฐ ๋ฌด์์ด ๊ด์ฌ์ ๋์์ด ๋๋ ์ธ๊ณผ๊ด๊ณ์ธ๊ฐ • ์ด์์ ์ธ ์คํ (ideal experiment) : ๊ด์ฌ์ ๋์์ด ๋๋ ์ธ๊ณผํจ๊ณผ๋ฅผ ๋์ถํ๊ธฐ ์ํด ๊ฐ์ฅ ์ด์์ ์ผ๋ก ์ฌ์ฉ๋ ์ ์๋ ์คํ • ์๋ณ์ ๋ต (identification strategy) : ์ฐ๊ตฌ์๊ฐ ๊ด์ธก์๋ฃ (์ฆ, ๋ฌด์์ ์คํ์ ํตํ์ง ์๊ณ ๋ง๋ค์ด์ง ์๋ฃ) ๋ฅผ ์ฌ์ฉํด ์ง์ง ์คํ์ ๊ทผ์ฌํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํ๊ธฐ ์ํด ์๋ณ ์ ๋ต์ด๋ผ๋ ์ฉ์ด๋ฅผ ์ฌ์ฉํ๋ค. • ์ถ๋ก ๋ฐฉ๋ฒ (the mode of inference) : ์ด๋ค ํต๊ณ์ ์ถ๋ก ๋ฐฉ์์ธ๊ฐ โก ์ฅ. ์ด์์ ์ธ ์คํ • ๊ฐ์ฅ ์ ๋ขฐํ ๋งํ๊ณ ์ํฅ๋ ฅ.. 2023. 4. 11. Choosing sequential testing framework - comparisons and discussions https://engineering.atspotify.com/2023/03/choosing-sequential-testing-framework-comparisons-and-discussions/ Choosing Sequential Testing Framework — Comparisons and Discussions - Spotify Engineering Choosing Sequential Testing Framework — Comparisons and Discussions - Spotify Engineering engineering.atspotify.com โข Sequential testing • Sequential testing ์ด๋ A/B ํ ์คํธ๋ฅผ ํ๋ ๋์ ๋ฐ์ดํฐ๊ฐ ๋ฐ์ํ์ ๋, ์์ฐจ์ ์ผ๋ก ๋ชจ๋ํฐ๋ง.. 2023. 3. 26. ์ด์ 1 2 3 4 5 ๋ค์ 728x90