본문 바로가기

LinkedIn
깃허브 바로가기

1️⃣ AI•DS/📗 NLP21

[cs224n] 14강 간단 내용정리 📌 핵심 Task : Transformer, Self - Attention ✅ Self Attention 🔹 Seq2Seq learning NMT, QA, Summarization 가변 길이의 data 를 고정 크기의 vector 또는 matrix 로 표현하는 과정이 필수적 🔹 기존 RNN 계열 모델의 한계점 RNN 계열의 모델은 병렬화가 불가능 long-term dependency 를 잘 반영하지 못함 : LSTM, GRU 도 입력 시퀀스가 굉장히 긴 경우에 이를 잘 반영하지 못함 🔹 CNN 모델의 한계점 CNN 은 병렬 처리가 가능하지만 long-term dependency 를 위해 다수의 레이어가 필요하다 🔹 Self attention 병렬화가 가능하고 각 토큰이 최단거리로 연결되기 때문에 long.. 2022. 7. 18.

[cs224n] Future NLP (2021 version) 📌 참고 자료 : https://www.youtube.com/watch?v=dZi6INuLyOQ 1️⃣ GPT-3 ① GPT-1 📌 https://velog.io/@stapers/GPT-1-Languageunderstandingpaper Semi-supervised : Unsupervised pre-training + supervised fine-tuning 1. Pre-train 👉 Unsupervised : Transformer decoder 를 이용해 대량의 레이블이 없는 코퍼스로 LM 을 사전학습 2. Finetune 👉 supervised : pretrain 된 모델을 task 에 맞게 input 과 label 로 구성된 코퍼스에 대해 지도학습을 진행 ✔ Improving Language und.. 2022. 7. 18.

[cs224n] 18강 내용정리 💡 주제 : Tree Recursive Neural Networks, Constituency Parsing, and Sentiment 📌 핵심 Task : TreeRNN 을 활용한 문장 구조 분석 구조적으로 문장을 나누고 각 단어의 조합이 나타내는 의미를 찾아 문장 전체의 의미 파악하기 Simple Tree RNN, SU-RNN, MV-RNN , RNTN TreeRNN 은 현실적으로 사용하기 힘들다고 함 → GPU 연산이 어려움 + 데이터 구축의 어려움 요즘 NLP 에선 TreeRNN 이 아닌 LSTM, CNN, Transformer 등 contextual language model 의 성능이 더 좋음 물리학, 프로그래밍 언어 번역 등 다른 영역에서 적용이 시도되고 있는 상황이다. 1️⃣ Composit.. 2022. 7. 18.

[cs224n] 15강 내용정리 💡 주제 : NLG 📌 핵심 Task : NLG - Natural language generation text summarization 1️⃣ LM and decoding algorithms ① NLG task ✔ NLP = NLU + NLG : 자연어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일 👉 NLU : 자연어를 기계가 이해할 수 있는 형태로 변환하는 NLP 분야 👉 NLG : 시스템 계산 결과를 자연어로 자동 생성하는 NLP 분야 ✔ NLG = 새로운 text 를 만들어 내는 모든 task 를 의미한다. ◽ Task : 기계번역, 텍스트 요약, 채팅, 스토리텔링, QA 등이 있다. ✔ 좋은 NLG 기준 ◽ 적절성 : 생성된 문장이 모호하지 않고 원래의 input text 와 의미가 일치해.. 2022. 7. 4.

[cs224n] 13강 내용정리 💡 주제 : Contextual Word Representations and Pretraining 📌 핵심 Task : Word representation (Word embedding) , pre-training ELMO, Transforemr, BERT 1️⃣ Reflections on word representations 1. Word representation ✔ word embedding ◽ 워드 임베딩을 통해 단어를 벡터로 표현하여 컴퓨터가 이해할 수 있도록 자연어를 변환해준다. ◽ Word2Vec, GloVe, fastText 등을 학습 2. Pre-trained word vectors 사전 훈련된 단어 벡터 모델이 학습한 Vocabulary 에서 각 단어마다 매칭되는 word vector 가.. 2022. 7. 4.

NER 실습 📌 필사 자료 링크 : https://colab.research.google.com/drive/1wsD4VE-GIwn6CASc7RWk3s0PO7FC9LC4?usp=sharing week4_NER_실습.ipynb Colaboratory notebook colab.research.google.com NER _ 개체명 인식 ✔ 태깅 작업 태깅 : 각 단어가 어떤 유형에 속하는지 알아내는 작업 대표적인 태깅 작업으로 개체명 인식과 품사태깅이 있다. 품사태깅 : 단어의 품사가 명사, 동사, 형용사 인지 알아내는 작업 ✔ 개체명 인식 개체명 인식을 사용하면 코퍼스로부터 어떤 단어가 사람, 장소, 조직 등을 의미하는 단어인지를 찾을 수 있다. '호비는 2022년에 카카오 인턴에 합격했다' 👉 호비 - 사람 , 202.. 2022. 6. 2.

Glove 실습 📌 필사 자료 링크 : https://colab.research.google.com/drive/148V1ytOU36pT4oX1fbcWUaC3B6F4O62s?usp=sharing week3_Glove 실습.ipynb Colaboratory notebook colab.research.google.com Glove 💡 논문 : https://nlp.stanford.edu/pubs/glove.pdf 1️⃣ glove python https://wikidocs.net/22885 05) 글로브(GloVe) 글로브(Global Vectors for Word Representation, GloVe)는 카운트 기반과 예측 기반을 모두 사용하는 방법론으로 2014년에 미국 스탠포드대 ... wikidocs.net ✔ 개념.. 2022. 5. 31.

[cs224n] 12강 내용정리 💡 주제 : Subword Models 📌 핵심 Task : Character level models BPE, WordPiece model, SentencePiece model, hybrid models 1️⃣ Linguistic Knowledge 1. 언어학 개념 정리 ✔ 음운론 Phonology ◽ 언어의 '소리' 체계를 연구하는 분야 → 사람의 입으로 무한의 소리를 낼 수 있지만, 언어로 표현될 때는 연속적인 소리가 범주형으로 나눠져서 인식된다. ✔ 형태론 Morphology ◽ 최소한의 의미를 가지는 구조 ◽ 단어의 어형 변화를 연구하는 문법의 한 분야 → 작은 단위의 단어들이 모여 하나의 의미를 완성 👉 형태소 단위의 단어들을 딥러닝에 사용하는 경우는 거의 없다. 단어를 형태소 단위로 쪼개는 과.. 2022. 5. 23.

[cs224n] 11강 내용 정리 💡 주제 : ConvNets for NLP 📌 핵심 Task : sentence classification CNN, 2014 논문, 2017 논문 1️⃣ CNN 1. RNN 의 문제 ✔ Prefix context 를 모두 포함 ◽ the, of .. 와 같은 prefix context 없이 phrase 를 잡아내지 못한다. ◽ 이전 토큰들에 대해 연산을 모두 진행한 후 다음 토큰에 대해 연산을 진행한다. ✔ Last hidden state 에 의미가 축약됨 ◽ softmax 가 마지막 step 에서만 계산되므로 마지막 단어에 영향을 많이 받는다 👉 단점을 보완하기 위해 LSTM, GRU, Attention 같은 모델들이 등장 2. CNN for text ✔ main Idea What if we compu.. 2022. 5. 19.

텍스트 분석 ② 📌 파이썬 머신러닝 완벽가이드 공부 내용 정리 📌 실습 코드 https://colab.research.google.com/drive/1aMlFfX927tDFnPUisw2M3tB6NwGy5c7q?usp=sharing 08. 텍스트 분석(2).ipynb Colaboratory notebook colab.research.google.com 1️⃣ 문서 군집화 💡 문서 군집화 ✔ 개념 비슷한 텍스트 구성의 문서를 군집화 하는 것 텍스트 분류 기반의 문서 분류는 사전에 target category 값이 필요하지만, 이 없이도 비지도 학습 기반으로 동작 가능하다. 1. 텍스트 토큰화 & 벡터화 2. 군집화 알고리즘 적용 : Kmeans 3. cluster_centers_ 로 군집별 핵심 단어 추출하기 ✔ 실습 - .. 2022. 5. 17.

이전 1 2 3 다음

728x90

티스토리툴바