Glove 실습

📌 필사 자료 링크 :  https://colab.research.google.com/drive/148V1ytOU36pT4oX1fbcWUaC3B6F4O62s?usp=sharing 

week3_Glove 실습.ipynb

 

 

 

 

---

 

 

Glove 

 

 

💡 논문 : https://nlp.stanford.edu/pubs/glove.pdf

 

 

 

1️⃣  glove python 

---

https://wikidocs.net/22885

05) 글로브(GloVe)

 

 

 

✔ 개념 복습 

 

 

 

• 카운트 기반 + 예측 기반을 모두 사용하는 단어 임베딩 방법론 
• 카운트 기반의 LSA 와 예측 기반의 Word2Vec 의 단점을 지적하며 보완한다는 목적으로 등장 

 

☝ LSA 

 

• 각 문서에서의 각 단어의 빈도수를 카운트 한 행렬이라는 전체적인 통계 정보를 입력으로 받아 차원을 축소(Truncated SVD)하여 잠재된 의미를 끌어내는 방법론
•  코퍼스의 전체적인 통계 정보를 고려하기는 하지만 '일본 : 도쿄 = 한국 : 서울' 같은 단어 의미의 유추 작업(Analogy task)에는 성능이 떨어진다.

 

✌ Word2Vec

 

• 실제값과 예측값에 대한 오차를 손실 함수를 통해 줄여나가며 학습하는 예측 기반의 방법론 
• 단어 간 유추 작업에는 LSA보다 뛰어나지만, 임베딩 벡터가 윈도우 크기 내에서만 주변 단어를 고려하기 때문에 코퍼스의 전체적인 통계 정보를 반영하지 못한다. 

 

 

• 벡터화 계산 방법 : (임베딩 된 중심 단어와 주변 단어 벡터의 내적) ≡ (전체 코퍼스 내 동시 등장 확률) 이 되도록 한다.

 

 

• glove model 의 input 은 반드시 동시등장행렬 형태여야 한다 ⭐ 

 

 

✔ 동시등장행렬 

 

전치해도 동일한 행렬이 된다는 특징이 있다.

 

 

✔ 동시등장확률 

 

• P(k|i) : 동시등장 행렬로부터 특정 단어 i (중심 단어) 의 전체 등장 횟수를 카운트하고, 특정 단어 i 가 등장했을 때 어떤 단어 k (주변 단어) 가 등장한 횟수를 카운트하여 계산한 조건부 확률 

 

 

✔ 손실함수 

 

 

 

 

 

🐕‍🦺 라이브러리 import 

---

 

 

🐾  glove library 

 

pip install glove_python_binary # 코랩환경 
# 또는 아래 코드 
pip install glove_python

 

 

(1) 동시등장행렬 생성

 

 

• 이에 앞서서 문장 단어 전처리+토큰화가 선행되어야 함!

 

from glove import Corpus, Glove

corpus = Corpus() # vocab 단어 사전을 만들어주는 함수 (glove 라이브러리에 내장됨)

# 훈련 데이터로부터 Glove 에서 사용할 동시등장 행렬 생성하기 
corpus.fit(result, window = 5)
## corpus 입력으로는 반드시 ⭐토큰화된 데이터 형태여야 한다. 
## ⭐ window  : 고려할 주변단어 개수

 

 

동시등장행렬 (print 를 통해 실제 원소값 확인 가능)

 

👉 구별되는 단어가 54775개임을 확인할 수 있음!

 

 

각 원소값 : window 내 동시 등장 빈도

 

 

 

(2) Glove 모델 학습 

 

 

# 모델 학습 
glove = Glove(no_components = 100, learning_rate = 0.05) 
## ⭐ no_compoenents : 100차원으로 임베딩된 벡터를 output 으로 나오도록 

# 학습에 이용할 thread 개수는 4로 설정. 에포크는 20 
glove.fit(corpus.matrix, epochs = 20 , no_threads = 4, verbose = False)
## ⭐ corpus.matrix : 동시등장행렬

 

• glove 는 동시등장행렬을 입력으로 받는다. 

 

 

(3) 행렬의 index 정보를 입력

 

glove.add_dictionary(corpus.dictionary)

 

• 유사어 검색을 위해서는 sparse matrix 의 각 row, column index 에 해당하는 vocabulary 의 정보가 필요 👉 dictionary 를 add_dictionary 함수를 통하여 입력

 

 

 

 

 

(4) 결과 확인 

 

print(glove.most_similar("man"))
print(glove.most_similar("america"))

 

 

 

 

 

🐾  gensim library 

 

# glove는 word2vec과는 약간 다른 기술을 사용하는 다른 단어 임베딩이다.
# English만 가능
# 그러나 동일한 속성과 API를 가지고 있다.
import gensim.downloader as api
model = api.load("glove-wiki-gigaword-50")
model
model = gensim.models.KeyedVectors.load_word2vec_format('~/gensim-data/glove-wiki-gigaword-50/glove-wiki-gigaword-50.gz')
print(model)

 

 

 

 

 

 

 

2️⃣  pre-trained glove 

---

 

✔ 사전학습모델

 

https://wikidocs.net/33793

08) 사전 훈련된 워드 임베딩(Pre-trained Word Embedding)

 

 

• 위키피디아 등과 같은 방대한 코퍼스를 가지고 Word2vec, FastText, GloVe 등을 통해서 미리 훈련된 임베딩 벡터를 불러오는 방법 
• kaggle 대회에서 사전훈련된 모델을 불러와 사용하는 것을 많이 활용함 
• 임의의 값으로 초기화하던 모델의 가중치들을 다른 문제에 학습시킨 가중치들로 초기화하는 방법이다.사전 학습한 가중치를 활용해 학습하고자 하는 본래 문제를 하위문제라고 한다.
• pre-trained data 를 가져오는데 시간이 오래걸림

 

 

☝ 실습 예제 : 문장의 긍부정을 판단하는 감성분류 모델 만들기

 

 

(1) 케라스 embedding layer 

 

👀 케라스의 임베딩층 

 

• 케라스는 텍스트 데이터에 대해 워드 임베딩을 수행하는 Embedding  layer 를 제공한다.
• 현재 가지고 있는 훈련 데이터로 처음부터 학습을 진행하는 방법 : Embedding( )
• 어떤 단어 → 단어에 부여된 고유한 정수값 → 임베딩층 → 밀집벡터(=임베딩 벡터)
• 밀집벡터는 인공신경망의 학습과정에서 가중치가 학습되는 것과 같은 방식으로 훈련된다.

 

 

 

💨 great은 정수 인코딩 과정에서 1,918의 정수로 인코딩이 되었고 그에 따라 단어 집합의 크기만큼의 행을 가지는 테이블에서 인덱스 1,918번에 위치한 행을 단어 great의 임베딩 벡터로 사용

 

💨 임베딩 벡터는 모델의 입력이 되고, 역전파 과정에서 단어 great의 임베딩 벡터값이 학습됨

 

 

 

🐾  Embedding

 

 

vocab_size = 20000
output_dim = 128
input_length = 500

v = Embedding(vocab_size, output_dim, input_length=input_length)

 

• vocab_size = 텍스트 데이터의 전체 단어 집합의 크기
• output_dim = 워드 임베딩 후의 임베딩 벡터의 차원
• input_length = 입력 시퀀스의 길이. 만약 갖고있는 각 샘플의 길이가 500개이라면 이 값은 500 이다. 
• Embedding 은 2D 정수 텐서를 입력받고 3D 실수 텐서를 출력으로 리턴한다. 

 

 

1. 문장의 긍부정을 판단하는 감성분류 모델 

 

import numpy as np 
from tensorflow.keras.preprocessing.text import Tokenizer 
from tensorflow.keras.preprocessing.sequence import pad_sequences 

sentences = ['nice great best amazing', 'stop lies', 'pitiful nerd', 'excellent work', 'supreme quality', 'bad', 'highly respectable']
y_train = [1, 0, 0, 1, 1, 0, 1]

 

 

2. 케라스 토크나이저를 사용해 단어 집합 생성 

 

tokenizer = Tokenizer() 
tokenizer.fit_on_texts(sentences) 
vocab_size = len(tokenizer.word_index) + 1 # 📌 패딩을 고려하여 +1 (0값)
print('단어 집합 : ', vocab_size)

 

 

 

 

 

3. 정수 인코딩 수행 

 

X_encoded = tokenizer.texts_to_sequences(sentences) 
print('정수 인코딩 결과 : ', X_encoded)

 

 

 

 

 

4. 패딩 진행 

 

X_encoded = tokenizer.texts_to_sequences(sentences) 
print('정수 인코딩 결과 : ', X_encoded)

 

 

 

 

5. 모델 생성 및 훈련 

 

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Embedding, Flatten

embedding_dim = 4 

model = Sequential() 
model.add(Embedding(vocab_size, embedding_dim, input_length = max_len)) 
model.add(Flatten()) 
model.add(Dense(1, activation='sigmoid')) 

model.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics=['acc']) 
model.fit(X_train, y_train, epochs=100, verbose=2)

 

학습 과정에서 현재 각 단어들의 임베딩 벡터들의 값은 출력층의 가중치와 함께 학습된다.

 

 

 

(2) 사전훈련된 워드 임베딩 

 

1. 사전훈련된 glove 가져오기 

 

• glove.68.zop 을 다운로드하고 압축을 풀어서 glove.6B.100d.txt 파일을 사용해 해당 파일에 있는 사전 훈련된 임베딩 벡터들을 불러온다. 40만개 단어 임베딩 벡터가 존재한다. 

 

from urllib.request import urlretrieve, urlopen
import gzip
import zipfile

urlretrieve("http://nlp.stanford.edu/data/glove.6B.zip", filename="glove.6B.zip")
zf = zipfile.ZipFile('glove.6B.zip')
zf.extractall() 
zf.close()


# ⭐ 사전 훈련된 glove 가져오기 


import numpy as np

embedding_dict = dict() # 사전훈련된 임베딩 벡터 사전 : key , value 형태로 가져옴 

f = open('glove.6B.100d.txt', encoding="utf8") # glove.6B.100d.txt에 있는 모든 임베딩 벡터들을 불러온다

for line in f:
    word_vector = line.split()
    word = word_vector[0]

    # 100개의 값을 가지는 array로 변환
    word_vector_arr = np.asarray(word_vector[1:], dtype='float32')
    embedding_dict[word] = word_vector_arr
    
f.close()

print('%s개의 Embedding vector가 있습니다.' % len(embedding_dict)) 

# 40만개의 임베딩 벡터 가져오기

 

2. 'respectable' 단어에 대해 임베딩된 벡터 확인해보기 

 

 

 

 

문장 긍부정 예제 문장에서 tokenizer 적용한 것 (1번 keras 코드 참고) 

print(tokenizer.word_index.items()) # 기존 데이터의 각 단어와 매핑된 정수값

###################
dict_items([('nice', 1), ('great', 2), ('best', 3), ('amazing', 4), ('stop', 5), ('lies', 6), ('pitiful', 7), ('nerd', 8), ('excellent', 9), ('work', 10), ('supreme', 11), ('quality', 12), ('bad', 13), ('highly', 14), ('respectable', 15)])



print('단어 great의 맵핑된 정수 :',tokenizer.word_index['great'])

###################
단어 great의 맵핑된 정수 : 2

 

 

3. 사전 훈련된 워드 벡터 행렬로부터, 기존 문장에서 추출된 단어사전 인덱스와 매핑되도록 값을 추출 

 

for word, index in tokenizer.word_index.items():
    # 단어와 맵핑되는 사전 훈련된 임베딩 벡터값
    vector_value = embedding_dict.get(word)
    if vector_value is not None:
        embedding_matrix[index] = vector_value

great 에 해당하는 임베딩 벡터를 index=2 로 할당하여 새롭게 저장

 

 

4. 모델 훈련 

 

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Embedding, Flatten

output_dim = 100

model = Sequential() 

# ⭐ embedding layer 에 초기값으로 embedding_matrix 를 설정한다. 
# 사전 훈련된 워드 임베딩을 100차원의 값인 것으로 사용하고 있기 때문에 임베딩 층의 output_dim의 인자값으로 100을  줌
e = Embedding(vocab_size, output_dim, weights=[embedding_matrix], input_length=max_length, trainable=False)

# ⭐ trainable = False : 사전 훈련된 임베딩을 그대로 사용 (추가훈련 X)

model.add(e)
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])
model.fit(X_train, y_train, epochs=100, verbose=0)

 

 

 

 

 

 

3️⃣ fine tuning glove 

---

 

✔ Fine-Tuning

 

• 사전 학습한 모든 가중치와 더불어 하위 문제를 위한 최소한의 가중치를 추가해 모델을 추가로 학습하는 방법이다.
• pretrained model 에 데이터셋에 있는 단어가 포함되지 않은 경우 혹은 데이터 집합이 너무 작아서 전체 모델을 훈련시키기 어려운 경우에 fine tuning 을 사용한다. 

 

✔ Mittens 

 

• pre-trained 된 glove 모델 활용에서 속도를 개선한 package

 

pip install -U mittens
from mittens import GloVe

 

 

https://github.com/roamanalytics/mittens

GitHub - roamanalytics/mittens: A fast implementation of GloVe, with optional retrofitting