본문 바로가기

LinkedIn
깃허브 바로가기

1️⃣ AI•DS/📗 NLP21

[cs224n] 2강 내용 정리 💡 주제 : Word vectors and Word Senses 📌 핵심 Task : 단어 임베딩 - Word2vec (2강) , Glove (3강) 📌 목차 정리 1. 최적화 Gradient Descent Stochastic Gradient Descent 학습 데이터 중에서 랜덤하게 샘플을 한개씩 뽑아 gradient 를 계산한 후 업데이트 하는 방식 계산량이 적음 & 학습이 빠름 & local min 에 빠지지 않고 학습될 수 있음 word vector 가 sparse 해짐 → 불필요한 계산 발생 2. Word2vec 의 계산 효율성 높이기 (SGD 외) Negative Sampling 등장 배경 : softmax 를 출력층에서 계산할 때, 전체 단어를 대상으로 벡터 내적과 exp 계산을 취해주어야 .. 2022. 3. 14.

이전 1 2 3 다음

728x90

티스토리툴바