[cs224n] 18강 내용정리

 

💡 주제 : Tree Recursive Neural Networks, Constituency Parsing, and Sentiment

📌 핵심 

• Task  : TreeRNN 을 활용한 문장 구조 분석 
• 구조적으로 문장을 나누고 각 단어의 조합이 나타내는 의미를 찾아 문장 전체의 의미 파악하기 
• Simple Tree RNN, SU-RNN, MV-RNN , RNTN 
• TreeRNN 은 현실적으로 사용하기 힘들다고 함 → GPU 연산이 어려움 + 데이터 구축의 어려움 
• 요즘 NLP 에선 TreeRNN 이 아닌 LSTM, CNN, Transformer 등 contextual language model 의 성능이 더 좋음 
• 물리학, 프로그래밍 언어 번역 등 다른 영역에서 적용이 시도되고 있는 상황이다. 

 

 

 

 

 

 

1️⃣  Compositionality and Recursion 

---

①  Sentence representation

 

✔ Sentence representation 

 

 

◽ BoW, RNN/CNN 기반 표현, Tf-idf ◦◦◦◦

◽ Language structure : 언어의 문법 구조 

 

👉 문장 구절의 의미를 어떻게 하면 더 잘 파악할 수 있을까 

 

 

 

✔ Compositionality 

 

 

◽ 기계에서의 Compositionality : 기계 부품마다 고유한 의미를 가지고 있으며 이를 어떻게 구조적으로 결합하냐에 따라 전혀 다른 기계가 탄생할 수 있다. 

 

 

◽ 언어에서 Compositionality : 간단한 부분으로부터 의미를 추출하고, 그 의미들이 semantic 한 구조로 합쳐지어 새로운 의미를 만든다. 가령 여러개의 단어를 통해 한 문장이 만들어지면 각 단어의 조합으로 새로운 의미를 나타낼 수 있다. 

 

👉 단어의 조합으로 문장의 의미를 파악할 수 있다. 

 

 

 

✔ Semantic interpretation of language 

 

 

💨 A person on a snowboard = snowboard 

 

 

◽ 인간의 언어는 큰 텍스트 단위의 의미를 작은 요소의 조합을 통해 의미를 표현하는 경우가 많다. 

◽ 그러나 word vector 에서는, 큰 text unit 의 semantic 한 composition 을 통해 의미를 해석하기가 어렵다. 

◽ 연속적인 chunk 말뭉치로 이루어진 문맥적 의미를 어떻게 기계가 이해하도록 표현할 수 있을까 👉 Tree 기반의 Neural Network 

 

 

 

Tree Structure

 

◽ 작은 부분들을 큰 단위로 구성해 의미를 표현 

 

 

 

 

②  Recursion 

 

◽ 유명 언어학자 Noam Chomsky 가 제안한 논문에서 등장한 개념 

 

💭 인간은 재귀적인 과정 (Recursive process) 을 통해 새로운 정의를 가능하게 한다. 

💭 Smaller parts → resurvice process → Bigger things 

 

 

 

 

◽ 그러나 데이터를 통해 학습을 진행하는 머신러닝 분야의 Computational 언어학자들은 회의적인 반응을 보였음 

 

→ 언어가 recursive 한지는 아직도 양측에서 논의중 

→ 그러나 인간의 언어 문장이 여러 조각들로 이루어져 있다는 것에 대해서는 양측 모두 동의 

    →  말뭉치는 여러 단어 조각으로부터 구조적으로, 재귀적으로 형성된다. 

 

 

 

 

 

 

 

 

 

 

 

 

 

2️⃣ Tree RNN 

---

①  Parsing 

 

✔ Dependency VS Constituency 

 

◽ Dependency Parsing : 단어의 관계를 파악 👉 5장

◽ Constituency Parsing : 문장의 구조를 파악 

 

 

(왼) Dependency , (오) Constituency

 

 

 

② Constituency parsing 

 

✔  Constituency parsing 과 같은 의미로 사용되는 용어 정리 

 

 

 

✔  word vector space 

 

 

◽  semantic 을 보존한 형태로 word vector 공간에 비슷한 의미를 가진 단어들은 가까이 위치하게 된다. 

 

 

 

◽  단어들의 결합인 긴 구문 혹은 문장 같은 경우는 문맥적 유사성을 어떻게 표현할까 👉 Tree RNN 

 

 

 

 

③ Tree RNN 

 

 

✔  Tree RNN 

 

일정한 규칙을 정하여 단어간 조합을 하고 의미벡터를 생성 

 

 

 

◽  Tree RNN 을 사용하면 문장/구문의 유사성을 포함한 문장 표현식을 생성할 수 있게 된다. 

 

 

◽  RNN 을 통해 문장을 분석하게 되면, 인접 단어를 합친 단어의 의미를 충분히 반영하지 못하며, 마지막 단어 벡터를 주목하는 경향이 있어 문장의 의미를 파악하는데 적절하지 않다. 

 

 

 

 

💭 Tree RNN 을 생성하기 위해 알아야 하는 2가지 

 

(1) word vector : The meaning of its words 

(2) 단어가 결합되는 규칙

 

 

 

✔  Learn Structure and Representation 

 

1. Parsing - Sentence Structure 

 

💨 단어 조각들이 모여 문장으로 이루어지는 구조 

 

 

 

 

2. Meaning Computation - sentence representation 

 

💨 문장을 이룰때 각 chunck 에 대한 노드에 대해 의미 (벡터) 를 부여할 수 있게 됨 

 

→ 최종적으로 문장 S 에 대해서도 벡터로 표현할 수 있게 됨 

 

 

 

 

 

 

 

✔  RNN 

 

💭 Recursive Neural network 

 

◽  문장 혹은 구문이 필요할 때 주로 사용하는 네트워크 

◽  문장이나 구문이 어떻게 의미를 반영하는지 해당 네트워크를 통해 학습할 수 있다. 

◽  즉, constituent chunk (의미 말뭉치) 를 알 수 있다.

 

 

 

 

💭 Recurrent Neural network 

 

◽  마지막 hidden state 를 통해 문장 표현식 결과를 도출 → 문장의 의미를 잃어버리기 쉬운 구조의 네트워크

◽  앞단에 있는 hidden state 에 포함된 정보들이 뒷단에까지 전달되기 어려워 확실한 문장 표현이 어렵다. 

◽  Recursive NN 은 중간 과정에서 Phrase 에 대한 표현식도 얻을 수 있는데 Recurrent NN 은 단 하나의 문장 벡터만 표현할 수 있어 구문에 대한 표현은 불가능하다. 

 

 

 

 

 

 

✔  Recursive NN for Structure prediction 

 

 

◽  Score : 각 단어가 결합될 때, 결합 하는 것이 적절한지 (해당 단어가 얼마나 그럴듯 한지를 의미) 에 대한 점수 → EX. 1.3 

◽  The semantic representation  :  결합하게 된다면 결합한 것의 새로운 의미를 표현하는 벡터 → EX. [8 3]

 

 

on + (the mat) 결합 과정

 

 

 

 

✔  Recursive NN Definition 

 

W 행렬은 모든 TreeRNN 에서 동일하다.

 

 

◽  Pharase representation 방법 

 

(1)  서로 다른 단어 혹은 구문 노드인 C1,C2 를 concat 한 후 weight matrix 를 곱하고 bias 를 더한 후 비선형 함수 tanh 를 통과시킨다 = p 
(2)  p 에 선형 matrix 연산을 취하면 score 값이 나온다. 
(3) Score 값이 크면 해당하는 두 노드 C1,C2 가 결합한다. 

 

 

 

 

 

 

✔  Parsing sentence with an RNN 

 

 

💨 Greedy 탐색 방법 : 인접한 단어의 Score 가 높은 조합으로 다음 부모 단어의 벡터와 Score 를 계산 

 

 

◽  EX. The 와 Cat node vector 가 NN 을 거쳐 Score 를 산출한다. 

 

 

◽  EX. Score 가 높은 The 와 cat 은 구문으로 합쳐진다. 

◽  EX. Score 가 높은 결합끼리 구문을 이루는 과정을 계속함 → greedy 

 

최종 결과

 

 

 

 

✔  Score 산출 방법 

 

 

 

◽  결합한 해당 노드에 대해 score 값을 모두 더하는 방식으로 산정하여 Max-Margin objective 함수에 따라 연산을 수행한다. 

 

 

◽  greedy 방식 외에 beam search 방식을 사용해도 무방함 

 

 

 

 

✔  Simple Tree RNN 

 

◽  Simple Tree RNN 은 weight matrix 를 모든 노드에 대해 동일하게 적용하기 때문에 문장이 길고 복잡할 수록 잘 표현하기가 어려움

◽  단어 사이의 interaction 을 (EX. Hit the ball, Uh ball, Blue ball) 잘 못잡아 내는 경우가 존재함 

 

 

 

④ Simple TreeRNN 의 한계점 

 

◽  W가 모든 노드에서 동일하게 적용되므로 일부 현상에서는 적합할 수 있으나 더 복잡하고 고차 구성 및 긴 문장에서는 적절하지 못하다. 

◽  input 단어간 실제 상호작용이 없다. 

◽  조합 함수가 모든 경우에 대해 동일하게 작용한다. 

 

 

 

 

 

 

 

 

 

 

3️⃣  Syntatically-United RNN , Matrix-Vector RNN 

---

 

 

①  SU-RNN (2013) 

 

조합될 단어의 확률을 계산하고 TreeRNN 에 적용한 모델
행렬 W 를 각기 다른 행렬로 설정한다.

 

✔  PCFG + Tree RNN 

 

 

 

◻ PCFG 다이나믹 알고리즘을 사용해 문장 구조를 만든 다음 Tree RNN 을 적용하는 방법 

◻ Weight matrix 를 동일하게 적용하지 않고 상황에 따라 다른 값을 적용함 

 

 

 

✔  PCFG 

 

 

◻ Probabilistic Context Free Grammar 

 

 

• 조합될 단어의 확률을 계산하고 TreeRNN 에 적용한 모델이 SU-RNN 

 

 

 

 

 

◻ 대칭되는 부분의 영역을 강조하기 위해 Identity matrix 를 곱하여 가중치를 초기화 함 

 

 

 

 

② MV-RNN (2012) 

 

단어들이 벡터 정보 뿐 아니라 행렬 정보도 같이 포함하는 모델 

 

✔  Node Interaction 

 

 

 

◻ 단어가 지니는 정보를 하나 더 가지게 (행렬 정보) 함으로써 문장의 의미를 더 잘 파악할 수 있게 한다. 

◻ EX. very 의 단어벡터와 good 의 행렬이 곱해지고, good 의 단어벡터와 very 의 행렬이 곱해져 부모 노드로 전달되는 형태 

 

 

 

✔ Ex

 

 

not annoying, not sad 부분에서 MV-RNN 이 더 잘 맞춤

 

 

 

 

 

 

 

③  Recursive Neural Tensor Network 

 

✔ 감정분석 

 

◻ 단어의 감정을 분석하는 태스크 연구는 꾸준히 지속되어 옴 

◻ TreeRNN 을 통해 단어나 문장을 분석하지 않고 BoW 를 통해 임베딩하여 문정을 분석해도 90% 성능을 보임 

 

 

 

👉 BoW 로 하면 긍정으로 판단하지만, 문장을 문법적으로 해석하면 부정의미로 해석됨

👉 shoud have pp 라는 의미 구조를 BoW 는 반영할 수 없음

 

 

 

✔ Recursive Neural Tensor layer : RNTN

 

◻ MV-RNN 보다 적은 개수의 파라미터를 가지는 모델 

 

 

◻ Treebank 데이터셋을 사용한 긍/부정 분석 task 에서 RNTN 이 다른 모델에 비해 높은 성능을 보임 

 

• 구조가 가장 간단한 Bi NB 모델이 Simple RNN, MV-RNN 모델보다 성능이 좋음 → 데이터셋의 중요성