๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

1๏ธโƒฃ AI•DS/๐ŸฅŽ Casual inference47

์ธ๊ณผ์ถ”๋ก ์˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™ - ๋ฌด์ž‘์œ„ ํ†ต์ œ ์‹คํ—˜ ์ฐธ๊ณ ์˜์ƒ : Bootcamp 2-2. ๋ฌด์ž‘์œ„ ํ†ต์ œ์‹คํ—˜ 1. Random assignment • ๋žœ๋คํ•˜๊ฒŒ group ์„ ํ• ๋‹นํ•˜๋ฉด ์ง‘๋‹จ ๊ฐ„ ํŠน์„ฑ์ด ๋น„์Šทํ•ด์ง„๋‹ค. โ—ฏ Potential Outcomes ๊ด€์ ์—์„œ ์ธ๊ณผ์ถ”๋ก ์˜ ์ˆ˜์ค€ • ์•„๋ž˜๋กœ ๊ฐˆ์ˆ˜๋ก ์ธ๊ณผ์ถ”๋ก ์„ ์ฆ๋ช…ํ•˜๊ธฐ ์–ด๋ ค์šด ๋ฐฉ๋ฒ•๋ก , ์œ„๋กœ ๊ฐˆ์ˆ˜๋ก ์ฆ๋ช…ํ•˜๊ธฐ ์‰ฌ์šด ๋ฐฉ๋ฒ•๋ก  • ๊ฐ€์žฅ ์ธ๊ณผ์ถ”๋ก ์˜ ์ˆ˜์ค€์ด ๋†’์€ ๊ฒƒ์€ Randomized Controlled trial ์ด๋‹ค. (RCT) • ํ˜„์‹ค ์ƒํ™ฉ์—์„œ๋Š” ๋ฌด์ž‘์œ„ ์‹คํ—˜์„ ํ•˜๊ธฐ ์–ด๋ ค์šด ๊ฒฝ์šฐ๊ฐ€ ๋งŽ๋‹ค. ๋”ฐ๋ผ์„œ, ์‹คํ—˜๊ณผ ์œ ์‚ฌํ•œ ์ƒํ™ฉ์„ ๋„์ž…ํ•˜๋Š” ๊ฒƒ์„ ์ค€์‹คํ—˜ (Quasi-Experiment) ๋ฅผ ์ˆ˜ํ–‰ํ•œ๋‹ค. ๋งŒ์•ฝ ์ค€์‹คํ—˜๋„ ์‹คํ–‰ํ•˜๊ธฐ ์–ด๋ ค์šด ์ƒํ™ฉ์ด๋ผ๋ฉด, ๋‚ด์ƒ์„ฑ์„ ์ œ๊ฑฐํ•˜๊ธฐ ์œ„ํ•œ ํ†ต๊ณ„์ ์ธ ๋„๊ตฌ์ธ Instrumental variable ๋ฅผ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค.. 2023. 4. 21.
์ธ๊ณผ์ถ”๋ก ์˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™ - ์ž ์žฌ์ ๊ฒฐ๊ณผ ํ”„๋ ˆ์ž„์›Œํฌ ์ฐธ๊ณ ์˜์ƒ : Bootcamp 2-1. ์ž ์žฌ์  ๊ฒฐ๊ณผ ํ”„๋ ˆ์ž„์›Œํฌ 1. Potential outcome framework โ—ฏ Potential outcome framework • ํŠน์ • ์›์ธ (treatment) ์˜ ์ธ๊ณผ์  ํšจ๊ณผ๋ฅผ ์ž ์žฌ์  ๊ฒฐ๊ณผ์˜ ์ฐจ์ด๋กœ์„œ ์ •์˜ํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ๊ฒƒ • ๊ทธ๋•Œ์˜ ๊ฒฐ์ •์ด ์›์ธ์ด ๋˜์–ด ์ง€๊ธˆ์˜ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์˜ด. ๊ทธ๋•Œ์˜ ๊ฒฐ์ •์ด ๋‹ฌ๋ž๋‹ค๋ผ๋ฉด ์ž ์žฌ์ ์ธ ๊ฒฐ๊ณผ๋Š” ์–ด๋–ป๊ฒŒ ๋˜์—ˆ์„๊นŒ โ‡จ ์šฐ๋ฆฌ๊ฐ€ ์ผ์ƒ์†์—์„œ ์‚ฌ๊ณ ํ•˜๋Š” ๋ฐฉ์‹์ด Potential outcome ์ด ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ์ •์˜ํ•˜๋Š” ๋ฐฉ์‹์ด๋ผ ๋ณผ ์ˆ˜ ์žˆ์Œ • Causal effect = (treatment ๋ฅผ ๋ฐ›์€ ์‹ค์ œ ๊ฒฐ๊ณผ) - (treatment ๋ฅผ ๋ฐ›์ง€ ์•Š์•˜๋”๋ผ๋ฉด ์žˆ์—ˆ์„ ์ž ์žฌ์  ๊ฒฐ๊ณผ) โ—ฏ Counterfactual • treatment ๋ฅผ ๋ฐ›์ง€ ์•Š์•˜๋”๋ผ๋ฉด ์žˆ์—ˆ์„ ์ž ์žฌ.. 2023. 4. 21.
The science of price experiments in the Amazon Store ์›๋ฌธ โ—ฏ ์•„๋งˆ์กด ์Šคํ† ์–ด์—์„œ์˜ ๊ฐ€๊ฒฉ ์‹คํ—˜ • ์•„๋งˆ์กด ์Šคํ† ์–ด์˜ ์ƒํ’ˆ์˜ ๊ฐ€๊ฒฉ์€ ์ˆ˜์š”,๊ณ„์ ˆ์„ฑ,์ผ๋ฐ˜์ ์ธ ๊ฒฝ์ œ์  ํŠธ๋ Œ๋“œ์™€ ๊ฐ™์€ ์š”์†Œ๋ฅผ ๋ฐ˜์˜ํ•˜๊ณ  ์žˆ๋‹ค. • ๊ฐ€๊ฒฉ ์ •์ฑ…๋„ ๊ทธ๋Ÿฌํ•œ ๋ถ€๋ถ„์„ ์ค‘์š”ํ•˜๊ฒŒ ๋‘๊ณ  ์žˆ๋‹ค. ์ƒˆ๋กœ์šด ๊ฐ€๊ฒฉ ์ •์ฑ…์€ ๋จธ์‹ ๋Ÿฌ๋‹ ๋ฐฉ๋ฒ•๋ก ์„ ๋งŽ์ด ํ™œ์šฉํ•˜๊ณ  ์žˆ๋‹ค. Amazon pricing labs ์—์„œ๋Š” ์ƒˆ๋กœ์šด ๊ฐ€๊ฒฉ ์ •์ฑ…์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด ์˜จ๋ผ์ธ A/B test ๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ  ์žˆ๋‹ค. • ์•„๋งˆ์กด ์Šคํ† ์–ด๋ฅผ ๋ฐฉ๋ฌธํ•˜๋Š” ๋ชจ๋“  ์†Œ๋น„์ž๋“ค์ด ๋™์‹œ์— ๋ชจ๋“  ์ œํ’ˆ์— ๋Œ€ํ•ด ๋™์ผํ•œ ๊ฐ€๊ฒฉ์— ๊ตฌ๋งคํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ์ฐจ๋ณ„์—†๋Š” ๊ฐ€๊ฒฉ ์ฑ…์ •์„ ์‹ค์ฒœํ•˜๊ณ  ์žˆ์œผ๋ฏ€๋กœ, ๊ฐ๊ธฐ ๋‹ค๋ฅธ ๊ณ ๊ฐ์—๊ฒŒ ๋‹ค๋ฅธ ๊ฐ€๊ฒฉ์„ ์ œ์‹œํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ ์‹œ๊ฐ„์ด ์ง€๋‚จ์— ๋”ฐ๋ผ ์ œํ’ˆ ๊ฐ€๊ฒฉ์— ๋Œ€ํ•œ ์‹คํ—˜์ ์ธ ์ฒ˜์น˜๋ฅผ ์ ์šฉํ•ด์•ผ ํ•œ๋‹ค. โ—ฏ Time-bound experiment • ์ƒˆ๋กœ์šด ๊ฐ€๊ฒฉ ์ฑ…์ •์„ ํ‰๊ฐ€.. 2023. 4. 21.
์ธ๊ณผ์ถ”๋ก ์˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™ - ์ธ๊ณผ์ถ”๋ก ์˜ ์–ด๋ ค์›€๊ณผ ์ธ๊ณผ์ถ”๋ก  ์ „๋žต ์ฐธ๊ณ ์˜์ƒ : Bootcamp 1-2. ์ธ๊ณผ์ถ”๋ก ์˜ ์–ด๋ ค์›€๊ณผ ์ธ๊ณผ์ถ”๋ก  ์ „๋žต 1. Challenges in causal inference • ์ƒ๊ด€๊ด€๊ณ„๋Š” ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ์˜๋ฏธํ•˜์ง€ ์•Š๋Š”๋‹ค. โ—ฏ Ex1. ์ตœ์ €์ž„๊ธˆ๊ณผ ๊ณ ์šฉ๋ฅ  • ์ธ๊ณผ์ถ”๋ก ์„ ์ ์šฉํ•˜๊ธฐ ๋งค์šฐ ์–ด๋ ค์šด ์ฃผ์ œ์ด๊ณ  ๊ฐ‘๋ก ์„๋ฐ•์ด ๊ณ„์† ์ด์–ด์ง€๋Š” ์ฃผ์ œ • ์ตœ์ €์ž„๊ธˆ์— ๋Œ€ํ•œ ์ž์—ฐ์‹คํ—˜ ์—ฐ๊ตฌ • ์ธ๊ณผ์ถ”๋ก  ์—ฐ๊ตฌ์˜ ์•ฝ์  : external validity and transportability ๋‹ค๋ฅธ ์ƒํ™ฉ์œผ๋กœ์˜ ์ ์šฉ โ—ฏ Ex2. ์ถ”์ฒœ์‹œ์Šคํ…œ • ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ์„ฑ๊ณผ๋ฅผ ๋†’์ด๋Š” ๊ฒƒ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ์ด๋Ÿฌํ•œ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๋„์ž…ํ–ˆ์„ ๋•Œ ์‹ค์งˆ์ ์ธ ์ œํ’ˆ ํŒ๋งค ์ฆ๊ฐ€๋กœ ์ด์–ด์กŒ๋Š”๊ฐ€๊ฐ€ ๋” ์ค‘์š”ํ•  ๊ฒƒ • ์ถ”์ฒœ์‹œ์Šคํ…œ์„ ๊ฐœ๋ฐœํ•˜๋Š” ๊ฑด ์•Œ๊ณ ๋ฆฌ์ฆ˜์ ์ธ ๋ฌธ์ œ์ง€๋งŒ, ์ด๋Ÿฌํ•œ ์ถ”์ฒœ์‹œ์Šคํ…œ์„ ๋„์ž…ํ• ์ง€ ๋ง์ง€๋ฅผ ๊ฒฐ์ •ํ•˜๋Š” ๊ฒƒ์€ ์ธ๊ณผ์ถ”๋ก  ๋ฌธ์ œ๊ฐ€ ๋  ์ˆ˜ .. 2023. 4. 20.
์ธ๊ณผ์ถ”๋ก ์˜ ๋ฐ์ดํ„ฐ ๊ณผํ•™ - ์ธ๊ณผ์ถ”๋ก ๊ณผ ์˜ˆ์ธก ๋ฐฉ๋ฒ•๋ก ์˜ ์ฐจ์ด ์ฐธ๊ณ ์˜์ƒ : Bootcamp 1-1. ์ธ๊ณผ์ถ”๋ก ๊ณผ ์˜ˆ์ธก ๋ฐฉ๋ฒ•๋ก ์˜ ์ฐจ์ด 1. ๋ฐ์ดํ„ฐ ๊ณผํ•™ : ์ธ๊ณผ์ถ”๋ก  ๋ฐฉ๋ฒ•๋ก  (ex. ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™) + ์˜ˆ์ธก ๋ฐฉ๋ฒ•๋ก  (ex.๋จธ์‹ ๋Ÿฌ๋‹) 2. ์˜ํ™” "๋จธ๋‹ˆ๋ณผ" • ์•ผ๊ตฌ ์ฝ”์น˜๋“ค์€ ์„ ์ˆ˜๋“ค์ด ๋” ์ข‹์€ ์„ฑ๊ณผ๋ฅผ ๋‚ผ ์ˆ˜ ์žˆ๋Š” ์š”์ธ๋“ค (causes) ์„ ์ฐพ๊ณ , ๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ๋“ค์€ ๊ตฌ์ฒด์ ์ธ ์„ ์ˆ˜์— ๋Œ€ํ•œ ์š”์ธ๋“ค์— ์ƒ๊ด€์—†์ด ์Šน๋ฆฌํ•  ํ™•๋ฅ ์„ ๋†’์ด๋Š” ๊ฒƒ์„ ๋” ์ค‘์š”ํ•˜๊ฒŒ ์—ฌ๊ธด๋‹ค. • Prediction ๊ณผ causual inference ๋Š” ๋‹ค๋ฅด๋‹ค. 3. ๋ฐ์ดํ„ฐ๊ณผํ•™/๋ถ„์„์˜ ํ”„๋ ˆ์ž„์›Œํฌ • Causual inference ๊ฐ€ ํ•„์š”ํ•œ ๊ฒฝ์šฐ โ†ช Input-Oriented approach โ‡จ ex. ์ฝ”๋กœ๋‚˜ 19 ๋ฐฑ์‹ ์„ ๋งž์•„์•ผ ๋˜๋Š”์ง€, ๋งˆ์ผ€ํŒ… ํ”„๋กœ๋ชจ์…˜์„ ์ง„ํ–‰ํ•ด์•ผ ํ•˜๋Š”์ง€, ์ •์ฑ…์„ ๋„์ž…ํ•ด์•ผ ํ•˜๋Š”์ง€ ๋ง์•„์•ผ ํ•˜๋Š”์ง€ • Pr.. 2023. 4. 20.
๋Œ€์ฒด๋กœ ํ•ด๋กญ์ง€ ์•Š์€ ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™ ์ •๋ฆฌ - Part1 ๐Ÿ‘€ ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™ ๊ฐœ์ธ ๊ณต๋ถ€์šฉ ํฌ์ŠคํŠธ ๊ธ€ ์ž…๋‹ˆ๋‹ค. Part1. ์ค€๋น„๋‹จ๊ณ„ โ‘  ์žฅ. ์งˆ๋ฌธ์— ๋Œ€ํ•œ ์งˆ๋ฌธ • ๊ด€์‹ฌ์˜ ๋Œ€์ƒ์ด ๋˜๋Š” ๊ด€๊ณ„ (relationship of interest) : ๊ณผ์—ฐ ๋ฌด์—‡์ด ๊ด€์‹ฌ์˜ ๋Œ€์ƒ์ด ๋˜๋Š” ์ธ๊ณผ๊ด€๊ณ„์ธ๊ฐ€ • ์ด์ƒ์ ์ธ ์‹คํ—˜ (ideal experiment) : ๊ด€์‹ฌ์˜ ๋Œ€์ƒ์ด ๋˜๋Š” ์ธ๊ณผํšจ๊ณผ๋ฅผ ๋„์ถœํ•˜๊ธฐ ์œ„ํ•ด ๊ฐ€์žฅ ์ด์ƒ์ ์œผ๋กœ ์‚ฌ์šฉ๋  ์ˆ˜ ์žˆ๋Š” ์‹คํ—˜ • ์‹๋ณ„์ „๋žต (identification strategy) : ์—ฐ๊ตฌ์ž๊ฐ€ ๊ด€์ธก์ž๋ฃŒ (์ฆ‰, ๋ฌด์ž‘์œ„ ์‹คํ—˜์„ ํ†ตํ•˜์ง€ ์•Š๊ณ  ๋งŒ๋“ค์–ด์ง„ ์ž๋ฃŒ) ๋ฅผ ์‚ฌ์šฉํ•ด ์ง„์งœ ์‹คํ—˜์— ๊ทผ์‚ฌํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•˜๊ธฐ ์œ„ํ•ด ์‹๋ณ„ ์ „๋žต์ด๋ผ๋Š” ์šฉ์–ด๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค. • ์ถ”๋ก ๋ฐฉ๋ฒ• (the mode of inference) : ์–ด๋–ค ํ†ต๊ณ„์  ์ถ”๋ก  ๋ฐฉ์‹์ธ๊ฐ€ โ‘ก ์žฅ. ์ด์ƒ์ ์ธ ์‹คํ—˜ • ๊ฐ€์žฅ ์‹ ๋ขฐํ• ๋งŒํ•˜๊ณ  ์˜ํ–ฅ๋ ฅ.. 2023. 4. 11.
Choosing sequential testing framework - comparisons and discussions https://engineering.atspotify.com/2023/03/choosing-sequential-testing-framework-comparisons-and-discussions/ Choosing Sequential Testing Framework — Comparisons and Discussions - Spotify Engineering Choosing Sequential Testing Framework — Comparisons and Discussions - Spotify Engineering engineering.atspotify.com โ–ข Sequential testing • Sequential testing ์ด๋ž€ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๋Š” ๋™์•ˆ ๋ฐ์ดํ„ฐ๊ฐ€ ๋ฐœ์ƒํ–ˆ์„ ๋•Œ, ์ˆœ์ฐจ์ ์œผ๋กœ ๋ชจ๋‹ˆํ„ฐ๋ง.. 2023. 3. 26.
728x90