TRANSFORMER1 [cs224n] 13강 내용정리 💡 주제 : Contextual Word Representations and Pretraining 📌 핵심 Task : Word representation (Word embedding) , pre-training ELMO, Transforemr, BERT 1️⃣ Reflections on word representations 1. Word representation ✔ word embedding ◽ 워드 임베딩을 통해 단어를 벡터로 표현하여 컴퓨터가 이해할 수 있도록 자연어를 변환해준다. ◽ Word2Vec, GloVe, fastText 등을 학습 2. Pre-trained word vectors 사전 훈련된 단어 벡터 모델이 학습한 Vocabulary 에서 각 단어마다 매칭되는 word vector 가.. 2022. 7. 4. 이전 1 다음 728x90
