NER 실습

📌 필사 자료 링크 : https://colab.research.google.com/drive/1wsD4VE-GIwn6CASc7RWk3s0PO7FC9LC4?usp=sharing 

week4_NER_실습.ipynb

 

 

NER _ 개체명 인식

 

✔ 태깅 작업 

 

• 태깅 : 각 단어가 어떤 유형에 속하는지 알아내는 작업 
• 대표적인 태깅 작업으로 개체명 인식과 품사태깅이 있다.
• 품사태깅 : 단어의 품사가 명사, 동사, 형용사 인지 알아내는 작업 

 

 

✔ 개체명 인식 

 

• 개체명 인식을 사용하면 코퍼스로부터 어떤 단어가 사람, 장소, 조직 등을 의미하는 단어인지를 찾을 수 있다.
• '호비는 2022년에 카카오 인턴에 합격했다' 👉 호비 - 사람  ,   2022년 - 시간 ,  카카오 - 조직 

 

 

 

 

 

1️⃣ NER task by nltk library

---

https://wikidocs.net/30682

3) 개체명 인식(Named Entity Recognition)

 

 

📌 NER nltk 실습 

 

👀 NLTK 에서는 개체명 인식기 NER chunker 를 지원하고 있다. 

 

👀 ne_chunck 는 개체명을 태깅하기 위해 앞서 품사 태깅 pos_tag 가 수행되어야 한다. 

 

from nltk import word_tokenize, pos_tag, ne_chunk 
sentence = 'James is working at Disney in London' 
tokenized_sentence = pos_tag(word_tokenize(sentence)) 
print(tokenized_sentence)



[('James', 'NNP'), ('is', 'VBZ'), ('working', 'VBG'), ('at', 'IN'), ('Disney', 'NNP'), ('in', 'IN'), ('London', 'NNP')]

 

# ⭐ 개체명 인식 
ner_sentence = ne_chunk(tokenized_sentence) 
print(ner_sentence)

 

James는 PERSON(사람), Disney는 조직(ORGANIZATION), London은 위치(GPE)라고 정상적으로 개체명 인식이 수행

 

 

📌 BIO 표현 

 

https://wikidocs.net/24682

4) 개체명 인식의 BIO 표현 이해하기

 

 

 

👀 개체명 인식은 챗봇 등에서 필요한 주요 전처리 작업이며 까다로운 작업이다. 

 

👀 도메인 또는 목적에 특화되도록 NER 을 수행하는 방법은 기존에 공개된 NER 인식기를 사용하는 것이 아닌, 직접 목적에 맞는 데이터를 준비하여 모델을 만드는 것이다. 

 

◾ B : Begin 의 약자로 개체명이 시작되는 부분 

◾ I : Inside 의 약자로 개체명의 내부 부분을 의미 

◾ O : Outside 의 약자로 개체명이 아닌 부분을 의미 

 

 

영화 제목에 대한 개체명 추출 예제

 

해 B - movie
리 I - movie
포 I - movie
터 I - movie
보 O
러 O
용 B - spot
산 I - spot
에 O
가 O
자 O

 

👉 B와 I 는 개체명을 위해 사용되고, O 는 개체명이 아니라는 의미 

 

 

 

📌 NER BIO Bi-LSTM 실습

 

 

👀 활용 데이터셋 : CONLL2003 으로 전통적인 영어 데이터셋이다. 

 

[단어] [품사 태깅] [청크 태깅] [개체명 태깅]

 

• German : B-ORG : 개체명의 시작 부분이면서 organization 인 개체 
• call 은 개체명이 아니므로 O 가 태깅됨 
• Peter Blackburn : 사람 이름에 해당되는데 이때 Peter 는 개체명 시작 부분이면서 사람명 이기 때문에 B-PER 이라는 개체명 태깅이 붙고, Blackburn 은 이어지는 개체명 부분이므로 I-PER 로 태깅이 붙게 된다. 

 

👀 텍스트 전처리 , Embedding 

 

• Tokenizer(num_words=vocab_size, oov_token='OOV')

 

👉 num_words : 토큰화를 할 때 문장 데이터에서 높은 빈도수를 가진 상위 약 N 개만의 단어를 사용하고자 할 때 지정하는 파라미터

👉 oov_token : 빈도수가 낮은 단어의 경우 OOV 로 대체되도록 함 

 

• .texts_to_sequences(sentences)

 

👉 정수 인코딩 수행 

 

• pad_sequences(X_train, padding='post', maxlen=max_len)

 

👉 패딩을 진행 : maxlen 은 샘플의 길이를 지정해주는 인자 

 

 

 

 

👀 Bi-LSTM 구조 

 

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Embedding, LSTM, Bidirectional, TimeDistributed
from tensorflow.keras.optimizers import Adam

embedding_dim = 128
hidden_units = 128

model = Sequential()
model.add(Embedding(input_dim=vocab_size, output_dim=embedding_dim, input_length=max_len, mask_zero=True))
model.add(Bidirectional(LSTM(hidden_units, return_sequences=True)))
model.add(TimeDistributed(Dense(tag_size, activation='softmax')))

model.compile(loss='categorical_crossentropy', optimizer=Adam(0.001), metrics=['accuracy'])
model.fit(X_train, y_train, batch_size=128, epochs=8, validation_data=(X_test, y_test))

 

◾ 임베딩 벡터의 차원 : 128 , 은닉 상태의 크기 : 128 

◾ 다대다 구조의 LSTM 의 경우 return_sequences 인자 값을 True 로 주어야 한다. 

◾ 각 데이터의 길이가 달라 패딩을 수행하느라 숫자 0이 많아지는 경우, mask_zero=True 를 설정항 숫자 0은 연산에서 제외시킨다는 옵션을 준다. 

◾ 출력층의 TimeDistributed 는 LSTM 의 모든 시점에 대해 출력층을 사용할 필요가 있을 때 사용한다. 위의 모델은 모든 시점에 대해 개체명 레이블 개수 만큼의 선택지 중 하나를 예측하는 다중 클래스 분류를 수행하는 모델에 해당한다. 

 

 

 

 

 

 

 

2️⃣ NER task by spacy library

---

📌 SpaCy 

 

👀 자연어처리를 위한 파이썬 기반의 오픈 소스 라이브러리로 다음과 같은 기능을 제공한다. 

 

 

💨 spacy 기본 사용법 

 

import spacy

nlp = spacy.load('en_core_web_sm') # 원하는 언어의 모델을 가져옴 
doc = nlp('Apple is looking at buyin at U.K startup for $1 billion.') # 문장을 nlp 에 넘겨주면 됨 
print(doc) # 원래 문장이 출력됨 
print(list(doc)) #리스트로 변형하면 토큰화한 결과가 출력



Apple is looking at buyin at U.K startup for $1 billion.
[Apple, is, looking, at, buyin, at, U.K, startup, for, $, 1, billion, .]

 

💨 NER task 

 

⭐ doc.ents 

⭐ ent.label_

 

# NER task 
doc = nlp('Apple is looking at buying U.K. startup for $1 billion') 

for ent in doc.ents : 
  print(ent.text, ent.label_)

 

 

 

 

📌 kaggle 실습 

 

https://www.kaggle.com/code/amarsharma768/custom-ner-using-spacy/notebook

Custom NER using SpaCy

 

 

👀  customer NER 

 

• 훈련되지 않은 데이터 세트에 명명된 엔티티를 학습하는 방법 : 이력서 pdf 데이터 활용
• 이력서에서 사람 이름, 기관명 등의 객체를 구분하는 task
• Training data consis of 200 manually labelled resume's 

 

 

 

 

📌 한국어 NER 

 

https://github.com/monologg/KoBERT-NER

GitHub - monologg/KoBERT-NER: NER Task with KoBERT (with Naver NLP Challenge dataset)

 

• 사전훈련된 KoBERT를 이용한 한국어 Named Entity Recognition Task 를 수행
• 네이버 NLP challenge 2018 대회의 NER 데이터셋을 사용하여 모델 훈련을 진행 : http://air.changwon.ac.kr/?page_id=10 

 

 

 

 

 

 

 

 

➕ 참고자료 : http://aispiration.com/nlp2/nlp-ner-python.html 

nlp-ner-python