๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

1๏ธโƒฃ AI•DS/๐ŸŒ LLM5

[์ฑ…์Šคํ„ฐ๋””] 4. GPT-3๊ฐ€ ์ฑ—GPT๋กœ ๋ฐœ์ „ํ•  ์ˆ˜ ์žˆ์—ˆ๋˜ ๋ฐฉ๋ฒ• ๐Ÿ“ ํ˜„์žฌ์˜ ์ฑ—GPT๊ฐ€ ํƒ„์ƒํ•  ์ˆ˜ ์žˆ์—ˆ๋˜ ๋ฐฐ๊ฒฝ 1. ์ง€์‹œ ๋ฐ์ดํ„ฐ์…‹์„ ํ™œ์šฉํ•ด Supervised fine tuning ๋ฐฉ๋ฒ•์œผ๋กœ ์‚ฌ์šฉ์ž์˜ ์š”์ฒญ์— ๋งž๋Š” ์‘๋‹ต์„ ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•™์Šตํ•จ 2. ์‚ฌ์šฉ์ž์—๊ฒŒ ๋” ๋„์›€์ด๋˜๊ณ  ๋” ์„ ํ˜ธํ•˜๋Š” ์‘๋‹ต์„ ํ•  ์ˆ˜ ์žˆ๋„๋ก, ๊ฐ•ํ™”ํ•™์Šต๋ฐฉ๋ฒ•(RLHF, PPO)์„ ์‚ฌ์šฉํ•˜๊ฑฐ๋‚˜ ๊ฐ•ํ™”ํ•™์Šต์„ ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ๋ฐฉ๋ฒ• (Rejective sampling, DPO) ๋ฐฉ๋ฒ•์„ ์‚ฌ์šฉํ•จ 1. ์‚ฌ์ „ ํ•™์Šต๊ณผ ์ง€๋„ ๋ฏธ์„ธ ์กฐ์ • 1.1 LLM์˜ ์‚ฌ์ „ํ•™์Šต โ LLM์€ ๋ธ”๋กœ๊ทธ, ๊ธฐ์‚ฌ, ์ฝ”๋“œ ๋“ฑ ์ธํ„ฐ๋„ท์ƒ์— ์žˆ๋Š” ๋‹ค์–‘ํ•œ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•œ ๋Œ€์šฉ๋Ÿ‰์˜ ํ…์ŠคํŠธ๋กœ ์‚ฌ์ „ ํ•™์Šต์„ ํ•œ๋‹ค. โ†ช๏ธŽ ์šฐ๋ฆฌ๊ฐ€ ์ฑ…, ๊นƒํ—ˆ๋ธŒ์ฝ”๋“œ ๋“ฑ ๋‹ค์–‘ํ•œ ์ž๋ฃŒ๋ฅผ ํ†ตํ•ด ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด์˜ ๋ฌธ๋ฒ•์ด๋‚˜ ์ž๋ฃŒ๊ตฌ์กฐ, ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ฐ™์€ ๊ธฐ๋ณธ ๊ฐœ๋…์„ ๊ณต๋ถ€ํ•˜๋Š” ๊ณผ์ •๊ณผ ์œ ์‚ฌ.. 2025. 7. 6.
[์ฑ… ์Šคํ„ฐ๋””] 3. ํ—ˆ๊น…ํŽ˜์ด์Šค ํŠธ๋žœ์Šคํฌ๋จธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๐Ÿ‘€ LLM์„ ํ™œ์šฉํ•œ ์‹ค์ „ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ ์ฑ… ์Šคํ„ฐ๋”” ์ •๋ฆฌ ์ž๋ฃŒ (์ €์ž‘๊ถŒ ๋ฌธ์ œ์‹œ ์ž ๊ธˆํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค~!)   โ–ถ๏ธ ์‹ค์Šต์ฝ”๋“œ (๊นƒํ—™ ๊ณต๊ฐœ์ฝ”๋“œ ํ™œ์šฉ)โ–ถ๏ธ ๊นƒํ—™์ฝ”๋“œ     1. ํ—ˆ๊น…ํŽ˜์ด์Šค ํŠธ๋žœ์Šคํฌ๋จธ๋ž€  โ—ฏ  Transformer ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ   •   ๊ณตํ†ต๋œ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์„ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•˜์—ฌ ๋”ฅ๋Ÿฌ๋‹ ๋ถ„์•ผ์˜ ํ•ต์‹ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ค‘ ํ•˜๋‚˜ (์˜คํ”ˆ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ) •   ๋ชจ๋ธ๊ณผ ํ† ํฌ๋‚˜์ด์ € → transformer ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ : AutoTokenizer, AutoModel•   ๋ฐ์ดํ„ฐ์…‹ → datasets ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ   from transformers import AutoTokenizer, AutoModeltext = "What is Huggingface Transformers?"# BERT ๋ชจ๋ธ .. 2024. 12. 16.
[์ฑ… ์Šคํ„ฐ๋””] 2. ํŠธ๋žœ์Šคํฌ๋จธ ์•„ํ‚คํ…์ฒ˜ ์‚ดํŽด๋ณด๊ธฐ ๐Ÿ‘€ LLM์„ ํ™œ์šฉํ•œ ์‹ค์ „ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ ์ฑ… ์Šคํ„ฐ๋”” ์ •๋ฆฌ ์ž๋ฃŒ โ–ถ๏ธ LLM • ๋Œ€๋ถ€๋ถ„์˜ LLM์ด ํŠธ๋žœ์Šคํฌ๋จธ ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ๋‹ค. • ์ตœ๊ทผ์˜ LLM์€ ๋””์ฝ”๋”๋งŒ์„ ์‚ฌ์šฉํ•œ GPT ๋ชจ๋ธ ๊ทธ๋ฃน์ด๊ณ  ์ธ๊ณผ์  ํ•™์Šต ๋ชจ๋ธ๋ง์„ ํ†ตํ•ด ํ•™์Šตํ•œ๋‹ค. 1. ํŠธ๋žœ์Šคํฌ๋จธ ์•„ํ‚คํ…์ฒ˜ โ—ฏ ํŠธ๋žœ์Šคํฌ๋จธ • 2017๋…„ ๊ตฌ๊ธ€์˜ Attention is all you need ๋…ผ๋ฌธ์—์„œ ์ฒ˜์Œ ๋“ฑ์žฅํ•œ ๊ฐœ๋…์œผ๋กœ, ๊ธฐ๊ณ„๋ฒˆ์—ญ ์„ฑ๋Šฅ์„ ๋†’์ด๊ธฐ ์œ„ํ•œ ๋ฐฉ๋ฒ•์œผ๋กœ ๋“ฑ์žฅํ–ˆ๋‹ค. • ํ˜„์žฌ๋Š” NLP๋Š” ๋ฌผ๋ก , CV, ์ถ”์ฒœ์‹œ์Šคํ…œ๋“ฑ ๋ชจ๋“  AI ๋ถ„์•ผ์—์„œ ํ•ต์‹ฌ ์•„ํ‚คํ…์ฒ˜๋กœ ์‚ฌ์šฉ๋˜๊ณ  ์žˆ๋‹ค. โ—ฏ RNN • ํ† ํฐ : ๋ชจ๋“  ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ์˜ ๊ธฐ๋ณธ ์—ฐ์‚ฐ ๋‹จ์œ„ • h : ์ž…๋ ฅ ํ† ํฐ์„ RNN ๋ชจ๋ธ์— ์ž…๋ ฅํ–ˆ์„ ๋•Œ ์ถœ๋ ฅ → ์ด์ „ ํ† ํฐ์˜ ์ถœ๋ ฅ.. 2024. 12. 11.
[์ฑ… ์Šคํ„ฐ๋””] 13.LLM ์šด์˜ํ•˜๊ธฐ ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€ ์ž…๋‹ˆ๋‹ค. 2024. 12. 3.
[์ฑ… ์Šคํ„ฐ๋””] 1. LLM ๊ธฐ์ดˆ : sLLM, RAG ๐Ÿ‘€ LLM์„ ํ™œ์šฉํ•œ ์‹ค์ „ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๊ฐœ๋ฐœ ์ฑ… ์Šคํ„ฐ๋”” ์ •๋ฆฌ ์ž๋ฃŒ โ–ถ๏ธ ๋“ค์–ด๊ฐ€๋ฉฐ • 2024๋…„ 7์›” ๊ธฐ์ค€, AI์™€ LLM ์‹œ์žฅ์˜ ํ‚ค์›Œ๋“œ : ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ, ์—์ด์ „ํŠธ, ์˜จ๋””๋ฐ”์ด์Šค • ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ : AI๋ชจ๋ธ์ด ํ…์ŠคํŠธ ๋ฟ ์•„๋‹ˆ๋ผ ์ด๋ฏธ์ง€, ์Œ์„ฑ, ๋™์˜์ƒ ๋“ฑ ๋‹ค์–‘ํ•œ ํ˜•์‹์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ฒƒ์„ ์˜๋ฏธ • ์—์ด์ „ํŠธ : AI๋ชจ๋ธ์ด ์žฅ๊ธฐ๊ธฐ์–ต์„ ๊ฐ€์ง€๊ณ  ์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰, ์ฝ”๋“œ ์‹คํ–‰ ๋“ฑ ๋‹ค์–‘ํ•œ ๋„๊ตฌ๋ฅผ ํ™œ์šฉํ•ด ์‚ฌ์šฉ์ž์˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋” ๋ฐœ์ „๋œ ์‹œ์Šคํ…œ (๋‹จ์ˆœํžˆ ์งˆ๋ฌธ์— ๋‹ตํ•˜๋Š” ๊ฒƒ์„ ๋„˜์–ด, ์ฃผ์–ด์ง„ ๋ชฉํ‘œ๋ฅผ ๋‹ฌ์„ฑํ•˜๊ธฐ ์œ„ํ•ด ์Šค์Šค๋กœ ํŒ๋‹จํ•˜๊ณ  ํ–‰๋™ํ•˜๋Š” ์†Œํ”„ํŠธ์›จ์–ด ํ”„๋กœ๊ทธ๋žจ) • ์˜จ๋””๋ฐ”์ด์ŠคAI : AI๋ชจ๋ธ์ด ํด๋ผ์šฐ๋“œ๋‚˜ ๊ณ ์„ฑ๋Šฅ ์„œ๋ฒ„์—์„œ ์‹คํ–‰๋˜๋Š” ๊ฒƒ์ด ์•„๋‹Œ, ์‚ฌ์šฉ์ž์˜ ์žฅ๋น„์—์„œ ์ง์ ‘ ์‹คํ–‰๋˜๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•œ๋‹ค. ๊ฐœ์ธ ์ •๋ณด์˜ ์œ ์ถœ.. 2024. 12. 1.
728x90