[인공지능] Basic Neural Network

📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 

 

📐 목차

 

① 파블로프의 개 예제 perceptron 모델링

 

② Training a Perceptron 

  - Gradient desecent 

  - example

 

③ batch computing, epoch, hyperparameter 

 

 

 

---

 

 

1️⃣  Neuron 으로 '파블로프의 개' 모델링 해보기 

---

 

 

① Example 

 

👀 용어 정리 

 

• Activation = Feature 
• Synaptic weight = filter = kernel : 시냅스 강도 
• Thresholding = Activation Function 

 

👀 Training 

 

 

• 가중치를 조절하여 학습을 진행한다. 

 

음식과 벨을 동시에

 

벨을 울리는 시냅스와 연결된 가중치를 1로 조절하여 벨만 울려도 침을 흘리게 유도

 

 

---

 

 

 

2️⃣  Training a Perceptron

---

 

① Neuron 의 수학 공식 

 

퍼셉트론

 

 

 

② Gradient Descent 

 

• 가중치를 학습하는 방법
• 비용함수를 최소화하는 최적화 알고리즘으로 많이 사용돤다. 
• 비용함수의 최소값을 찾기위해 가장 경사가 급한 방향으로 움직인다 💨 Negative descent 

 

 

 

• Learning rate  학습률 : 얼마나 빨리 움직일것인지 정하는 파라미터로, 학습률이 높으면 더 많이 움직인다.  
• Gradient operator 위의 예제에선 2x 

 

 

③ Training Perceptron 

 

• 퍼셉트론을 훈련하는 것은 가중치 최적화 문제를 푸는 것과 같다 👉 error 를 최소화하는 가중치 찾기 
• error 가 최소화 되게끔 가중치를 업데이트한다. 

 

argmin(error) with respect to W

 

 

🏃‍♀️ 훈련과정 

1. 0이 아닌 매우 작은 값으로 가중치 초기값을 설정한다. 
2. For each training sample x(k)
   a. Output 값을 계산한다. 
   b. gradient 를 계산한다. 
   c. 가중치를 업데이트한다. 

* x(k) 는 여러개의 feature 로 구성된 하나의 데이터 행을 의미한다. 
* EX. x(0) = ( x0(0), x1(0) ) 

 

📌 학습 목적 : input from bell = 1 일때 output = 1 이 되도록, 즉 벨만 울려도 침을 흘리도록 유도 

 

(1)

 

2-(a)

 

 

2-(b) gradient 계산 ⭐⭐

 

 

2-(c) 가중치 업데이트

 

 

⭐ 이전 업데이트된 가중치에 대하여, 다음 입력에 대해 2-(a)~(c) 를 반복

 

 

 

👀 1번째 input 으로 업데이트된 가중치 값으로 2번째 input을 넣고 output 을 계산하여 원하는 학습목표에 도달함!

 

* 2개의 feature 로 구성된 3개의 sample 로 학습을 진행

 

 

④ Matrix 표현식

 

• input 과 weight 를 행렬식으로 표현하여 연산 👉 xºw 벡터의 내적 

 

2-(a)

 

2-(b)

 

 

2-(c) 학습률 = 0.2

 

 

---

 

 

3️⃣  batch computing, epoch, hyperparameters 

---

 

① Batch computing 

 

👀 행렬 연산을 도입한 이유 = batch computing 개념을 도입하기 위함! 

 

한 묶음의 sample 에 대해 입력

 

💡 직접 batch 연산해보기 : error 에서 Σ(o-z) , o = Σxw 연이은 sigma 계산 주의! 

 

 

👀 batch computing 이란?

 

• 전체 데이터셋을 사용하여 gradient 연산을 하는 것이 필요하다. 그러한 점에서 행렬로 계산하는 것은 벡터나 스칼라로 계산하는 것보다 훨씬 속도가 빠르다. 
• 그러나 실제로는 전체 데이터셋에 대해 gradient 를 계산하는 것은 불가능하다. 만약 100만개의 데이터가 있다고 한다면 batch 를 한번 계산하는데에도 굉장히 오랜 시간이 걸릴 것이다. 
• 따라서 훈련 데이터셋을 mini-batch (그냥 batch 라고 부름) 로 나누어 training 을 진행한다. 
• 전체 데이터셋을 한번 쭉 훈련한 것을 1 epoch 라고 부른다. 

 

 

 

 

 

② Hyperparameter

 

 

👀 하이퍼 파라미터 튜닝

 

• 학습률, 미니배치크기, 에포크 수 👉 우리가 직접 값을 설정해주어야 하는 파라미터 

 

👀 하이퍼 파라미터가 학습에 미치는 영향 

 

• 훈련 속도와 정확도에 직접적으로 영향을 미치기 때문에 적절한 값을 설정해주는 것이 중요하다.