1๏ธโฃ AI•DS/๐ LLM5 [์ฑ ์คํฐ๋] 4. GPT-3๊ฐ ์ฑGPT๋ก ๋ฐ์ ํ ์ ์์๋ ๋ฐฉ๋ฒ ๐ ํ์ฌ์ ์ฑGPT๊ฐ ํ์ํ ์ ์์๋ ๋ฐฐ๊ฒฝ 1. ์ง์ ๋ฐ์ดํฐ์ ์ ํ์ฉํด Supervised fine tuning ๋ฐฉ๋ฒ์ผ๋ก ์ฌ์ฉ์์ ์์ฒญ์ ๋ง๋ ์๋ต์ ํ ์ ์๋๋ก ํ์ตํจ 2. ์ฌ์ฉ์์๊ฒ ๋ ๋์์ด๋๊ณ ๋ ์ ํธํ๋ ์๋ต์ ํ ์ ์๋๋ก, ๊ฐํํ์ต๋ฐฉ๋ฒ(RLHF, PPO)์ ์ฌ์ฉํ๊ฑฐ๋ ๊ฐํํ์ต์ ์ฌ์ฉํ์ง ์๋ ๋ฐฉ๋ฒ (Rejective sampling, DPO) ๋ฐฉ๋ฒ์ ์ฌ์ฉํจ 1. ์ฌ์ ํ์ต๊ณผ ์ง๋ ๋ฏธ์ธ ์กฐ์ 1.1 LLM์ ์ฌ์ ํ์ต โ LLM์ ๋ธ๋ก๊ทธ, ๊ธฐ์ฌ, ์ฝ๋ ๋ฑ ์ธํฐ๋ท์์ ์๋ ๋ค์ํ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ์์งํ ๋์ฉ๋์ ํ ์คํธ๋ก ์ฌ์ ํ์ต์ ํ๋ค. โช๏ธ ์ฐ๋ฆฌ๊ฐ ์ฑ , ๊นํ๋ธ์ฝ๋ ๋ฑ ๋ค์ํ ์๋ฃ๋ฅผ ํตํด ํ๋ก๊ทธ๋๋ฐ ์ธ์ด์ ๋ฌธ๋ฒ์ด๋ ์๋ฃ๊ตฌ์กฐ, ์๊ณ ๋ฆฌ์ฆ ๊ฐ์ ๊ธฐ๋ณธ ๊ฐ๋ ์ ๊ณต๋ถํ๋ ๊ณผ์ ๊ณผ ์ ์ฌ.. 2025. 7. 6. [์ฑ ์คํฐ๋] 3. ํ๊น ํ์ด์ค ํธ๋์คํฌ๋จธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๐ LLM์ ํ์ฉํ ์ค์ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ์ฑ ์คํฐ๋ ์ ๋ฆฌ ์๋ฃ (์ ์๊ถ ๋ฌธ์ ์ ์ ๊ธํ๊ฒ ์ต๋๋ค~!) โถ๏ธ ์ค์ต์ฝ๋ (๊นํ ๊ณต๊ฐ์ฝ๋ ํ์ฉ)โถ๏ธ ๊นํ์ฝ๋ 1. ํ๊น ํ์ด์ค ํธ๋์คํฌ๋จธ๋ โฏ Transformer ๋ผ์ด๋ธ๋ฌ๋ฆฌ • ๊ณตํต๋ ์ธํฐํ์ด์ค๋ก ํธ๋์คํฌ๋จธ ๋ชจ๋ธ์ ํ์ฉํ ์ ์๋๋ก ์ง์ํ์ฌ ๋ฅ๋ฌ๋ ๋ถ์ผ์ ํต์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค ํ๋ (์คํ์์ค ๋ผ์ด๋ธ๋ฌ๋ฆฌ) • ๋ชจ๋ธ๊ณผ ํ ํฌ๋์ด์ → transformer ๋ผ์ด๋ธ๋ฌ๋ฆฌ : AutoTokenizer, AutoModel• ๋ฐ์ดํฐ์ → datasets ๋ผ์ด๋ธ๋ฌ๋ฆฌ from transformers import AutoTokenizer, AutoModeltext = "What is Huggingface Transformers?"# BERT ๋ชจ๋ธ .. 2024. 12. 16. [์ฑ ์คํฐ๋] 2. ํธ๋์คํฌ๋จธ ์ํคํ ์ฒ ์ดํด๋ณด๊ธฐ ๐ LLM์ ํ์ฉํ ์ค์ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ์ฑ ์คํฐ๋ ์ ๋ฆฌ ์๋ฃ โถ๏ธ LLM • ๋๋ถ๋ถ์ LLM์ด ํธ๋์คํฌ๋จธ ์ํคํ ์ฒ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ค. • ์ต๊ทผ์ LLM์ ๋์ฝ๋๋ง์ ์ฌ์ฉํ GPT ๋ชจ๋ธ ๊ทธ๋ฃน์ด๊ณ ์ธ๊ณผ์ ํ์ต ๋ชจ๋ธ๋ง์ ํตํด ํ์ตํ๋ค. 1. ํธ๋์คํฌ๋จธ ์ํคํ ์ฒ โฏ ํธ๋์คํฌ๋จธ • 2017๋ ๊ตฌ๊ธ์ Attention is all you need ๋ ผ๋ฌธ์์ ์ฒ์ ๋ฑ์ฅํ ๊ฐ๋ ์ผ๋ก, ๊ธฐ๊ณ๋ฒ์ญ ์ฑ๋ฅ์ ๋์ด๊ธฐ ์ํ ๋ฐฉ๋ฒ์ผ๋ก ๋ฑ์ฅํ๋ค. • ํ์ฌ๋ NLP๋ ๋ฌผ๋ก , CV, ์ถ์ฒ์์คํ ๋ฑ ๋ชจ๋ AI ๋ถ์ผ์์ ํต์ฌ ์ํคํ ์ฒ๋ก ์ฌ์ฉ๋๊ณ ์๋ค. โฏ RNN • ํ ํฐ : ๋ชจ๋ ์์ฐ์ด ์ฒ๋ฆฌ์ ๊ธฐ๋ณธ ์ฐ์ฐ ๋จ์ • h : ์ ๋ ฅ ํ ํฐ์ RNN ๋ชจ๋ธ์ ์ ๋ ฅํ์ ๋ ์ถ๋ ฅ → ์ด์ ํ ํฐ์ ์ถ๋ ฅ.. 2024. 12. 11. [์ฑ ์คํฐ๋] 13.LLM ์ด์ํ๊ธฐ ๋ณดํธ๋์ด ์๋ ๊ธ ์ ๋๋ค. 2024. 12. 3. [์ฑ ์คํฐ๋] 1. LLM ๊ธฐ์ด : sLLM, RAG ๐ LLM์ ํ์ฉํ ์ค์ AI ์ ํ๋ฆฌ์ผ์ด์ ๊ฐ๋ฐ ์ฑ ์คํฐ๋ ์ ๋ฆฌ ์๋ฃ โถ๏ธ ๋ค์ด๊ฐ๋ฉฐ • 2024๋ 7์ ๊ธฐ์ค, AI์ LLM ์์ฅ์ ํค์๋ : ๋ฉํฐ๋ชจ๋ฌ, ์์ด์ ํธ, ์จ๋๋ฐ์ด์ค • ๋ฉํฐ๋ชจ๋ฌ : AI๋ชจ๋ธ์ด ํ ์คํธ ๋ฟ ์๋๋ผ ์ด๋ฏธ์ง, ์์ฑ, ๋์์ ๋ฑ ๋ค์ํ ํ์์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ๊ฒ์ ์๋ฏธ • ์์ด์ ํธ : AI๋ชจ๋ธ์ด ์ฅ๊ธฐ๊ธฐ์ต์ ๊ฐ์ง๊ณ ์ธํฐ๋ท ๊ฒ์, ์ฝ๋ ์คํ ๋ฑ ๋ค์ํ ๋๊ตฌ๋ฅผ ํ์ฉํด ์ฌ์ฉ์์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ ๋ฐ์ ๋ ์์คํ (๋จ์ํ ์ง๋ฌธ์ ๋ตํ๋ ๊ฒ์ ๋์ด, ์ฃผ์ด์ง ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๊ธฐ ์ํด ์ค์ค๋ก ํ๋จํ๊ณ ํ๋ํ๋ ์ํํธ์จ์ด ํ๋ก๊ทธ๋จ) • ์จ๋๋ฐ์ด์คAI : AI๋ชจ๋ธ์ด ํด๋ผ์ฐ๋๋ ๊ณ ์ฑ๋ฅ ์๋ฒ์์ ์คํ๋๋ ๊ฒ์ด ์๋, ์ฌ์ฉ์์ ์ฅ๋น์์ ์ง์ ์คํ๋๋ ๊ฒ์ ์๋ฏธํ๋ค. ๊ฐ์ธ ์ ๋ณด์ ์ ์ถ.. 2024. 12. 1. ์ด์ 1 ๋ค์ 728x90