[딥러닝 파이토치 교과서] 4장 딥러닝 시작

https://colab.research.google.com/drive/1j9ghqmP-QboSbipZ7LjzbRrpTq4Mhqo8?usp=sharing 

[딥러닝 파이토치 교과서] chapter 04 딥러닝 시작.ipynb

 

 

 

 

 

1️⃣  인공 신경망의 한계와 딥러닝 출현 

---

 

🔹  XOR 비선형 문제 

 

🌠  퍼셉트론 

 

 

•  선형 분류기로 딥러닝의 기원이 되는 알고리즘 

•  다수의 신호를 입력으로 받아 하나의 신호 (1 또는 0 : 흐른다/안흐른다) 를 출력 

 

 

🌠  논리 게이트 

 

 

https://wikidocs.net/24958

 

•  OR 과 AND 게이트는 데이터가 선형적으로 분리된다. 

 

 

•  XOR 게이트는 베타적 논리합 구조 (입력 두개 중 한개만 1일 때 작동하는 논리연산) 를 가지고 있는데, 이는 비선형적으로 분리되는 구조를 가지고 있기 때문에 단층 퍼셉트로(선형 분류기) 는 학습이 불가능하다. 

 

•  MLP 다층 퍼셉트론 → XOR 문제를 해결하기 위해 하나 이상의 은닉층을 두어서 비선형적인 학습이 가능하도록 함 

 

 

 

 

2️⃣  딥러닝 구조 

---

 

딥러닝 : 여러 층을 가진 인공신경망을 사용해 학습을 수행 

 

🔹  딥러닝 기본 용어 정리 

 

https://thebook.io/080289/ch04/02/01/

 

 

① 가중치 

 

 

∘  입력값 (훈련 데이터) 이 연산결과에 미치는 영향력을 조절하는 요소 

 

 

 

② 가중합 또는 전달함수 

 

∘  각 노드에서 들어오는 신호에 가중치를 곱해 다음 노드로 전달되는데 이 값을 모두 더한 합계를 가중합이라고 한다. 

∘  가중합은 활성화 함수로 보내지기 때문에 전달함수라고도 한다. 

 

가중합 공식

 

 

③ 활성화 함수 

 

 

∘  일정 기준에 따라 출력 값을 변화시키는 비선형 함수 

∘  시그모이드, 하이퍼볼릭 탄젠트, 렐루 등의 종류가 있다. 

 

 

(1) 시그모이드

 

 

• 선형 함수의 결과를 0과 1사이에서 비선형 형태로 변형
• 분류 문제를 확률적으로 표현하는데 사용 EX. 로지스틱 회귀 
• 기울기 소멸 문제 존재 

 

(2) 하이퍼볼릭 탄젠트 함수 

 

• 선형함수 결과를 -1 과 1 사이에서 비선형 형태로 변형 
• 시그모이드의 양수로 편향된 문제를 해결했으나 기울기 소멸 문제는 여전히 존재 

 

(3) 렐루 함수 

 

• 최근 활발히 사용되는 함수 
• 입력이 음수 → 0을 출력 
• 입력이 양수 → 숫자 그대로를 출력 (y=x) 
• 경사하강법에 영향을 주지 않아 (도함수 미분해도 1) 학습 속도가 빠르고 기울기 소멸 문제가 발생하지 않음 
• 렐루 함수는 일반적으로 은닉층에서 사용된다. 
• 단점 : 음수값을 받으면 0을 출력하므로 학습 능력이 감소 → 리키 렐루 함수 등장 

 

(4) 리키렐루 함수 

 

• 입력값이 음수이면 0.0001 처럼 매우 작은 수를 반환하게 하여 렐루 함수의 문제점을 해결 

 

(5) 소프트맥스 함수 

 

 

• 입력값을 0~1 사이로 출력되도록 정규화하여 출력값들의 총합이 항상 1이 되도록 한다. 
• 보통 출력 노드의 활성화 함수로 많이 사용된다. 

 

import torch
import torch.nn as nn

class Net(torch.nn.Module) : 
  def __init__(self, n_feature, n_hidden, n_output) : 
    super(Net, self).__init__() 
    self.hidden = torch.nn.Linear(n_feature, n_hidden) # 은닉층 
    self.relu = torch.nn.ReLu(inplace=True) # 렐루 활성화 함수 
    self.out = torch.nn.Linear(n_hidden, n_output) # 출력층 
    self.softmax = torch.nn.Softmax(dim = n_output) # 소프트맥스 활성화 함수 

  def forward(self, x) : 
    x = self.hidden(x) 
    x = self.relu(x) # 은닉층을 위한 렐루 함수 
    x = self.out(x) 
    x = self.softmax(x) # 출력층을 위한 소프트맥스 활성화 함수

 

 

🗨 비선형 함수 : 직선으로 표현할 수 없는 데이터 사이의 관계를 표현하는 함수 

🗨 기울기 소멸 문제 : 활성화 함수 계산 과정에서 도함수 값이 계속 곱해지며 가중치 결과값이 0이 되어 더이상 계산이 불가능한 상태 

 

 

 

 

④ 손실함수 

 

🌠  경사하강법 

 

•  학습률 learning rate 와 손실함수의 순간 기울기를 이용해 가중치를 업데이트 하는 방법 

•  미분의 기울기를 이용해 오차를 비교하고 이를 최소화 하는 방향으로 이동하는 방법 

 

E : 손실함수

 

🌠  손실함수

 

•  오차를 구하는 방법 , 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이가 나는지 평가하는 지표 

•  값이 클수록 많이 틀렸다는 의미 

 

 

(1) 손실함수 - 평균제곱오차 MSE

 

 

• 회귀에서 주로 사용하는 손실함수 

 

https://intrepidgeeks.com/tutorial/implementation-method-of-pytorch-mselos-computing-average

 

 

loss_fn = torch.nn.MSELoss(reduction = 'sum') 
y_pred = model(x) 
loss = loss_fn(y_pred, y)

 

 

(2) 손실함수 - 크로스 엔트로피 오차 

 

 

• 분류문제에서 원핫인코딩을 했을 때에만 사용

• 크로스엔트로피를 사용할 경우 경사 하강법 과정에서 학습이 지역 최소점에서 멈출 수 있기 때문에 이를 방지하기 위하여 자연 로그를 모델의 출력값에 취한다. 

 

loss = nn.CrossEntropyLoss()  # ⭐
input = torch.randn(5,6, requires_grad = True) # 5x6 행렬 
# torch.randn : 평균이 0이고 표준편차가 1인 가우시안 정규분포를 이용해 숫자를 생성

target = torch.empty(3, dtype = torch.long).random_(5) # 길이가 3인 벡터 
# torch.empty.random_() : 5 이하의 랜덤한 값 (float32) 으로 채워진 텐서를 반환

output = loss(input, target) # ⭐
output.backward()

 

 

🔹  딥러닝 학습 

 

https://thebook.io/080289/ch04/02/02/

 

 

① 순전파 

 

∘  훈련데이터가 네트워크게 입력 되었을 때, 전체 신경망을 교차해 나가는 과정 

∘  모든 뉴런이 이전 층의 뉴런에서 수신한 정보에, 가중합과 활성화 함수를 적용하여 다음층의 뉴런으로 전송 

 

 

 

② 역전파 

 

∘  순전파가 완료되면, 최종 출력층에서 도출된 예측값과 실제값의 차이를 손실함수로 추정하고, 손실함수가 결과적으로 0에 가깝도록 하기 위해 모델이 훈련을 반복하며 가중치를 조정한다. 

∘  오차가 계산되면 출력층 → 은닉층 → 입력층 순으로 정보가 역으로 전파된다. 

 

 

 

🔹  딥러닝 학습 시 문제점 

 

은닉층 개수가 많을수록 데이터가 잘 분류된다.

 

① 과적합 

 

∘  훈련 데이터를 과하게 학습해서 새로운 데이터에서는 학습이 잘 안되는 현상 (검증 데이터에는 오차가 증가하게 됨) 

∘  Solution : Dropout 

 

"학습" 과정에서 일부 노드들을 제외

 

 

import torch.nn.functional as F 

class DropoutModel(torch.nn.Module) : 
  def __init__(self) : 
    super(DropoutModel, self).__init__() 
    self.layer1 = torch.nn.Linear(784,1200) 
    self.droppout1 = torch.nn.Dropout(0.5) # 50% 노드를 무작위로 선택해 사용하지 않겠다는 의미
    self.layer2 = torch.nn.Linear(1200, 1200) 
    self.dropout2 = torch.nn.Droput(0.5) 
    self.layer3 = torch.nn.Linear(1200,10) 

  def forward(self,x) : 
    x = F.relu(self.layer1(x)) 
    x = self.dropout1(x) 
    x = F.relu(self.layer2(x)) 
    x = self.dropout2(x) 
    return self.layer3(x)

 

🗨 torch.nn.funtional : https://pytorch.org/docs/stable/nn.functional.html 

 

 

 

② 기울기 소멸 

 

∘  출력층에서 은닉층으로 전달되는 오차가 크게 줄어들어 학습이 되지 않는 현상 

∘  기울기가 소멸되어 학습이 더디게 진행되다 오차를 더 줄이지 못하고 그 상태로 수렴하는 현상 

∘  Solution : 렐루 활성화 함수를 사용하기 

 

 

 

③ 성능이 나빠지는 문제 발생 → 다양한 경사하강법 방식 등장, 옵티마이저

 

 

∘  경사하강법은 손실함수의 비용이 최소가 되는 지점을 찾을 때까지 기울기가 낮은 쪽으로 계속 이동하는 과정을 반복하는데, 이때 local minimum 에 빠져 global minimum 을 찾지 못해 성능이 나빠지는 문제가 발생한다. 

 

 

 

 

(1) 배치 경사 하강법 BGD 

 

•  전체 훈련 데이터셋에 대해 가중치를 편미분 하는 방법 

•  기울기를 한 번만 계산해 업데이트 

•  단점 : 학습이 오래걸림 

 

 

(2) 확률적 경사 하강법 SGD

 

•  임의로 선택한 데이터에 대해 기울기를 계산하는 방법 

•  적은 데이터를 사용하므로 빠른 계산이 가능 

•  파라미터 변경폭이 불안정하고, 때론 정확도가 BGD 보다 낮을 수 있지만 학습 속도가 빠르다. 

 

 

 

(3) 미니배치 경사 하강법 

 

•  데이터를 미니배치 여러개로 나누고, 미니배치 한 개마다 기울기를 구한 후, 그것의 평균 기울기를 이용해 모델을 업데이트 해서 학습하는 방식 

 

 

•  확률적 경사하강법보다 안정적이라 많이 사용되는 방법이다. 

 

 

from torch.utils.data import Dataset
from torch.utils.data import DataLoader

class CustomDataset(Dataset) : 

  def __init__(self) : 
    self.x_data = [[1,2,3],[4,5,6],[7,8,9]]
    self.y_data = [[12],[18],[11]] 

  def __len__(self) : 
    return len(self.x_data) 
  
  def __getitem__(self,idx) : 
    x = torch.FloatTensor(self.x_data[idx]) 
    y = torch.FloatTensor(self.y_data[idx]) 
    return x, y 

dataset = CustomDataset() 
dataloader = DataLoader(
    dataset, 
    batch_size = 2 # 미니배치크기로 2의 제곱수를 사용하겠다는 의미 
    suffle = True # 데이터를 불러올때마다 랜덤으로 섞어 불러옴 
)

 

 

(4) 옵티마이저 

 

∘ 확률적 경사하강법의 파라미터 변경 폭이 불안정한 문제를 해결하기 위해 학습 속도와 운동량을 조절하는 optimizer 를 적용해볼 수 있다. 

 

 

✔  속도조정 : Adagrad, Adadelta, RMSProp 

 

 

 

•  torch.optim.Adagrad(model.parameters(), lr = 0.01)

 

•  torch.optim.Adadelta(model.parameters(), lr = 1.0)

 

•  torch.optim.RMSprop(model.parameters(), lr = 0.01)

 

 

✔ 운동량 조정 : Momentum, NAG

 

 

•  torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

•  torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9, nesterov = True)

 

 

 

 

✔ 혼용 : Adam 

 

가장 보편적으로 사용되며 성능이 우수하다.

 

•  torch.optim.Adam(model.parameters(), lr=0.01)

 

 

🔹  딥러닝의 이점 

 

 

① 특성 추출  

 

∘  사람이 직접 feature 를 정의해주어야 하는 전통적인 머신러닝 방법론과 달리 딥러닝에서는 스스로 특성을 추출해낸다. 

 

 

② 빅데이터의 효율적 활용 

 

∘  딥러닝은 데이터 사례가 많을수록 성능이 향상된다. 

∘  확보된 데이터가 적다면, 딥러닝의 성능 향상을 기대하기 어려우므로 머신러닝을 고려해야 한다. 

 

 

 

 

3️⃣  딥러닝 알고리즘 

---

 

🔹  심층 신경망 

 

∘  다수의 은닉층을 포함하는 인공신경망 

∘  연산량이 많고 기울기 소멸 문제가 발생할 수 있기 때문에 드롭아웃, 렐루함수, 배치 정규화 등을 적용한다. 

 

 

🔹  합성곱 신경망 

 

 

∘  Convolutional layer + Pooling layer 

∘  이미지 처리 성능이 좋은 인공 신경망 알고리즘 

∘  객체 탐색, 객체 위치를 찾아내는데 유용한 신경망 

 

 

🔹  순환 신경망 

 

 

 

∘  시계열 데이터 (음악, 영상 등) 같은 시간 흐름에 따라 변화하는 데이터를 학습하기 위한 인공 신경망 이다. 

∘  순환 = 자기 자신을 참조 = 현재 결과가 이전 결과와 연관이 있다는 의미 

∘  데이터는 동적이고 길이가 가변적이다. 

∘  언어모델링, 텍스트 생성, 자동번역, 음성인식, 이미지 캡션 생성 등 다양한 예시가 있다. 

 

 

🔹  제한된 볼츠만 머신 

 

∘  가시층 

 

 

 

 

🔹  심층 신뢰 신경망 

 

 

 

 

 

머신러닝과 딥러닝은 우리가 얻고 싶은 결과를 도출하기 위한 도구이다. 어떤 도구를 선택했을 때 더 좋은 성능과 효과를 얻을지는 데이터를 수집하고 분석하는 사람만이 알 수 있다.