[cs224n] 3강 내용 정리

💡 주제 : Word Window Classification, NN and Matrix Calculus 

 

📌 핵심

• Task : 분류 - 개체명 분류 (Named Entity Recognition) 

 

📌 목차 정리 

1. Classification Review / introduction 

• NLP 에서의 분류 문제 

   👉 input data : 단어, 문장, 문서 등 

   👉 Class : 감정분류, 개체명 분류 (Named entity) , 같은 의미/품사의 단어끼리 분류 등 

   👉 결정경계 (decision boundary) 를 결정할 Weight 를 학습 

 

• 지도학습 

   👉 Train set → Loss function → Validation / Test set

 

• 손실함수 

   👉 예측한 데이터(y hat) 의 확률분포와 실제 데이터(y) 의 확률분포가 비슷해지도록 학습한다

        : MLE (모든 훈련 샘플의 확률 최대화) 

 

   👉 Entropy 와 cross Entropy 

       ✔ softmax 함수는 cost 함수를 크로스 엔트로피로 채택하여 모델을 최적화 한다. 

       ✔ 크로스 엔트로피는 softmax 가 적용된 예측값 S와 실제 값 L 의 차이, 즉 비용을 구하기 위한 식이다. 

 

 

2. Neural Networks (classifiers) 

• 개요 

  👉 활성화 함수 : 비선형함수 Sigmoid, Relu 등으로 결정 경계를 학습하면 선형이 아닌 경계면까지 학습할 수 있다. 

 

 

• 결정경계 

  👉 NLP에서는 parameter W 와 word vector X 를 같이 학습한다. 

       ✔ embedding vector (Word2vec, Glove, ELMO, BERT 등) 

  👉 Pre-trained word vector 를 이용한다 → (4장) 

 

 

3. Neural Networks in NLP (Window classification)

Named Entity Recognition (NER) 

 

1️⃣ 개요

 

👉 문장에서 개체명(고유명사)을 분류하는 방법론으로, 문맥 context 를 보고 개체명을 결정한다. 

👉 개체명을 기준으로 동사와 기타 단어들이 관계를 맺는 구조로 이어지기 때문에, 즉 문법적으로 중요한 품사로 해석되어 문맥을 파악하는데 핵심 역할을 하므로 NER 은 NLP task 에서 중요하게 간주된다. 

👉 NER 에 자주 쓰이는 모델 : CRF, RNN 

 

ORG (조직), O (고유명사가 아님), PER (사람)

 

 

2️⃣ 한계점 

 

 🧐 문장내에서 사용되는 entity 의 정확한 개체를 분류하기 어려운 한계점 

      ✨ 문맥까지 고려하는 window classification 방법론 등장! 

            👀 Idea : 중심 단어와 주변 단어들을 함께 분류 문제에 활용하는 방법 

 

 

✔ Method1. 단어벡터의 평균으로 게산한다. but 위치 정보를 잃어버리는 단점이 존재 

✔ Method2. 벡터를 concatenate 하여 Xwindow 벡터를 만들고 이를 input 으로 취하여, 다층퍼셉트론과 softmax clssifier 를 훈련하여 분류를 진행

• NER Location 분류 예제 : X(paris) 를 Location 으로 분류하는 문제 
  • museums in Paris are amazing 라는 X(window) 벡터만 True 로 처리하여 높은 점수를, 그 외에 window vector (Not all museums in Pares와 같은)은 낮은 점수를 return 하도록 score 를 정의 

s = score('museums in Paris are amazing')

score (s) 값에 softmax 를 취해주고 error 함수를 계산하여 W를 업데이트 시킨다. 

 

 

 

Softmax (Logistic) 

  👉 딥러닝 신경망의 출력층에서 Output 을 확률로 표현하는데 쓰이는 활성화 함수로, 다중 클래스 분류 문제에 활용된다. (결정경계 생성에 기준이 되는 함수) 

  👉 Xi 를 입력받아 각 클래스에 속할 확률 Pi를 추정한다. max 확률 값을 soft하게 뽑아내어 y를 분류 

  👉 확률의 총합을 1로 만들어 계산하기 때문에 특정 input x 가 어떤 분류에 속할 확률이 높을지 쉽게 인지할 수 있다. 

 

  cf. 시그모이드는 이중 클래스 판별 

 

➕ https://joey09.tistory.com/53 : 소프트맥스, 비선형함수가 필요한 이유 

 

 

Max-margin loss 

 

👉 앞선 NER 예제에서 score 함수를 직접 정의했기 때문에, Output을 그대로 이용하는 score 산출 방식으로 정답과 오답 사이의 거리를 최대로 만드는 margin 을 찾는 방식의 max-margin loss 함수를 손실함수로 사용한다. 

input X 에 대해 정답 클래스와 오답 클래스 간의 차이를 최대화 시켜주는 손실함수 J

 

4. Matrix calculus 

✔  Jacobian matrix : Generalization of Gradient 

➕ https://angeloyeo.github.io/2020/07/24/Jacobian.html : 자코비안 행렬식 

 

• Chain Rule

 

 

✔  window classification 에서의 역전파 가중치 업데이트 계산과정 

 

ds/dW 와 ds/db 를 구해야함!

1. ds/db 를 구해보자!

chain rule 을 적용

자코비안 연산 방식을 도입해서 계산한 결과

 

2. ds/dw 를 구해보자!

chain rule 을 다시 적용해서 구하면 됨

👀 그런데 ds/dh * dh/dz 의 연산 과정이 겹친다!

 

👀 중복된 계산 (연산량) 을 피하기 위해 파란색 부분 연산을 local error signal 로 묶어서 정의

 

오차 역전파는 계산했던 지난 과정들이 다시 사용되며 계산량을 늘리는 문제를 막을 수 있음 

 

 

📌 실습 

• nltk 로 NER : https://wikidocs.net/30682

3) 개체명 인식(Named Entity Recognition)

 

• spacy 를 활용한 NER : https://towardsdatascience.com/named-entity-recognition-ner-using-spacy-nlp-part-4-28da2ece57c6

Named Entity Recognition NER using spaCy | NLP | Part 4

 

 

• KoBERT를 이용한 한국어 Named Entity Recognition Task : https://github.com/monologg/KoBERT-NER

GitHub - monologg/KoBERT-NER: NER Task with KoBERT (with Naver NLP Challenge dataset)

 

 

• NER with BERT : https://github.com/billpku/NLP_In_Action/blob/master/NER_with_BERT.ipynb

GitHub - billpku/NLP_In_Action: Do NLP tasks with some SOTA methods

 

• kaggle : custom NER using Spacy : https://www.kaggle.com/code/amarsharma768/custom-ner-using-spacy

Custom NER using SpaCy

 

 

• kaggle : NER 활용 Competition 👀 파악중.. 
  • https://www.kaggle.com/competitions/feedback-prize-2021/code?competitionId=31779&sortBy=voteCount 

Feedback Prize - Evaluating Student Writing | Kaggle

• https://www.kaggle.com/code/cdeotte/pytorch-bigbird-ner-cv-0-615#Train-Model