본문 바로가기

LinkedIn
깃허브 바로가기

1️⃣ AI•DS/📗 NLP21

텍스트 분석 ① 📌 파이썬 머신러닝 완벽가이드 공부 내용 정리 📌 실습 코드 https://colab.research.google.com/drive/1UzQNyu-rafb1SQEDcQCeCyYO54ECgULT?usp=sharing 08. 텍스트 분석.ipynb Colaboratory notebook colab.research.google.com 1️⃣ 텍스트 분석의 이해 👀 개요 💡 NLP 와 텍스트 마이닝 ✔ NLP 인간의 언어를 이해하고 해석하는데 중점을 두고 발전 텍스트 마이닝을 향상하게 하는 기반 기술 기계번역, 질의응답 시스템 등 ✔ 텍스트 마이닝 비정형 텍스트에서 의미있는 정보를 추출하는 것에 중점 1. 텍스트 분류 : 문서가 특정 분류 또는 카테고리에 속하는 것을 예측하는 기법 ex. 신문 기사 카테고리 분.. 2022. 5. 14.

[cs224n] 10강 내용 정리 💡 주제 : Question Answering 📌 핵심 Task : QA 질문 응답, reading comprehension, open-domain QA SQuAD dataset BiDAF , BERT 1️⃣ Introduction 1. Motivation : QA ✔ QA 와 IR system 의 차이 ◽ IR = information retrieval 정보검색 💨 QA : Query (specifit) → Answer : 문서에서 정답 찾기 ex. 우리나라 수도는 어디야? - 서울 💨 IR : Query (general) → Document list : 정답을 포함하고 있는 문서 찾기 ex. 김치볶음밥은 어떻게 만들어? - 유튜브 영상 리스트, 블로그 리스트 👉 최근에는 스마트폰, 인공지능 스피커 기.. 2022. 5. 13.

[cs224n] 9강 내용 정리 📑 9장. NLP 연구 전반, CS224N 프로젝트 1️⃣ Starting Research ✨ SQuAD 스탠포드 대학의 NLP 그룹에서 크라우드 소싱을 통해 만든 위키피디아 아티클에 대한 107,785개의 질문-대답 데이터셋이다. 한국에는 KorQuAD 가 있다. 지문(Context) - 질문(Question) - 답변 (Answer) 으로 이루어진 데이터셋 형태이다. 질문의 답변 여부에 따라 70만건은 정답이 있는 데이터셋, 30만건은 정답이 없는 데이터셋으로 구성되어 있다. ✨ 연구의 시작은 1. 논문을 열심히 읽는다. 2. NLP 논문에 대한 ACL Anthology 참고 3. 주요 ML 컨퍼런스들의 논문 참고 : NeurlPS, ICML, ICLR 4. 기존 프로젝트 참조 ✨ NLP 연구에서 가.. 2022. 5. 9.

[cs224n] 8강 내용 정리 💡 주제 : Seq2Seq , Attention, 기계번역 📌 핵심 Task : machine translation 기계번역 Seq2Seq Attention 기계번역은 대표적인 Seq2Seq 형태의 활용 예제 중 하나이고, attention 이라는 방법론을 통해 성능이 개선되었다. 1️⃣ Machine Translation 1. 기계번역 ✔ 정의 입력으로 들어온 Source language 를 target language 형태로 번역하는 Task ✔ 역사 ➰ 1950's : The early history of MT 러시아어를 영어로 번역하는 등의 군사 목적으로 개발되기 시작하였다. Rule-based 의 번역 시스템으로 같은 뜻의 단어를 대체하는 단순한 방식을 사용했다. ➰ 1990s - 2010s :.. 2022. 5. 9.

[cs224n] 7강 내용 정리 Vanishing Gradients and Fancy RNNs 💡 주제 : Vanishing Gradients and Fancy RNNs 📌 핵심 Task : 문장이 주어질 때 지금까지 나온 단어들 이후에 나올 단어를 예측 Sequential data : 순서가 의미 있으며 순서가 달라질 경우 의미가 손상되는 데이터로 순환신경망을 사용하는 이유는 입력을 순차데이터로 받거나, 출력을 순차 데이터로 내기 위해서다. RNN : 다음에 올 단어를 예측하는 과제를 효과적으로 수행하기 위해 도입한 NN 의 일종 👉 문제점 : 기울기소실/폭증, 장기의존성 LSTM : RNN 의 장기의존성의 문제점을 보완해 등장한 모델 👉 cell state , 3 개의 gate 개념을 도입 1️⃣ Language model, RNN.. 2022. 4. 21.

[cs224n] 6강 내용 정리 💡 주제 : Language models and RNN (Recurrent Neural Network) 📌 핵심 Task : 문장이 주어질 때 지금까지 나온 단어들 이후에 나올 단어를 예측 RNN : 다음에 올 단어를 예측하는 과제를 효과적으로 수행하기 위해 도입한 NN 의 일종 📌 목차 / 내용 1. Language model (1) Language model 이란 ✔ 정의 단어의 시퀀스(문장) 에 대해 얼마나 자연스러운 문장인지를 '확률' 을 이용해 예측하는 모델 Language modeling = 주어진 단어의 시퀀스에 대해 다음에 나타날 단어가 어떤 것인지를 예측하는 작업 특정 문장에 확률을 할당한다. 문장의 단어 w(1), w(2) , ... w(t) 가 주어졌을 때 다음에 올 단어 w(t+1).. 2022. 3. 24.

[cs224n] 5강 내용 정리 💡 주제 : Dependency Parsing 📌 핵심 Task : 문장의 문법적인 구성, 구문을 분석 Dependency Parsing : 단어 간 관계를 파악하여 단어의 수식 (문법) 구조를 도출해내기 📌 목차 1. Dependency Parsing 이란 (1) Parsing ✔ 정의 각 문장의 문법적인 구성이나 구문을 분석하는 과정 주어진 문장을 이루는 단어 혹은 구성 요소의 관계를 결정하는 방법으로, parsing의 목적에 따라 Consitituency parsing과 Dependency parsing으로 구분 ✔ 비교 토크나이징 : 문장이 들어오면 의미를 가진 단위로 쪼개주는 것 pos-tagging : 토큰들에 품사 tag 를 붙여주는 과정 Paring : 문장 분석 결과가 Tree 형태로 나.. 2022. 3. 22.

[cs224n] 4강 내용 정리 💡 주제 : Backpropagation and Computation Graphs 📌 목차 정리 1. Matrix gradient for NN (1) NN 의 과정 feedforward : X * W = output vector = predict 값 backpropagation : output vector 를 weight matrix 에 대해 미분 (2) 가중치 행렬 (parameter) 의 미분 Chain Rule : 함수의 연쇄법칙을 기반으로 이루어지는 계산 규칙 (합성함수의 미분) NN 은 chain rule 을 이용해 최종 scalar 값을 weight 로 미분해가며 가중치를 업데이트 하는 방식으로 학습을 진행한다. dz/dw 를 계산하는 과정 (3) Gradient Tips 변수를 잘 정의하고 .. 2022. 3. 18.

NLP deep learning 👀 위키독스 : https://wikidocs.net/35476 의 딥러닝 개요 파트 공부한 것 정리 (이미지 출처는 모두 위키독스 홈페이지) 📌 소프트맥스 회귀 로지스틱회귀 : 이진 분류 문제 VS 소프트맥스 회귀 : 다중 클래스 분류 문제 대표적인 다중 클래스 분류 예제 : iris 붓꽃 품종 분류 (k=3) Softmax function 클래스의 개수가 k 개일 때, k 차원의 벡터를 입력받아 각 클래스에 대한 확률을 추정한다. zi : k차원의 벡터에서 i 번째 원소 pi : i 번째 클래스가 정답일 확률 k 차원의 벡터를 입력 → 벡터 원소 값을 0과 1 사이의 값으로 변경 → 다시 k 차원의 벡터를 반환 👀 샘플 데이터 벡터(4차원) 을 소프트맥스 함수의 입력벡터 3차원으로 축소하는 방법? 👉.. 2022. 3. 15.

[cs224n] 3강 내용 정리 💡 주제 : Word Window Classification, NN and Matrix Calculus 📌 핵심 Task : 분류 - 개체명 분류 (Named Entity Recognition) 📌 목차 정리 1. Classification Review / introduction NLP 에서의 분류 문제 👉 input data : 단어, 문장, 문서 등 👉 Class : 감정분류, 개체명 분류 (Named entity) , 같은 의미/품사의 단어끼리 분류 등 👉 결정경계 (decision boundary) 를 결정할 Weight 를 학습 지도학습 👉 Train set → Loss function → Validation / Test set 손실함수 👉 예측한 데이터(y hat) 의 확률분포와 실제 데이터(.. 2022. 3. 14.

이전 1 2 3 다음

728x90

티스토리툴바