[인공지능] CNN

📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 

 

 

 

 

---

 

 

1️⃣  CNN 

---

 

① Architecture 

 

👀 Convolution Neural Network 

 

• 이미지 인식, 이미지 분류에서 좋은 성능을 보이는 모델이다. 
• CNN 은 전결합 구조가 아니다 👉 시냅스 연결 개수가 적다 👉 weight 개수가 적다 💨 연산량이 적다
• FC layer 보다 더 효과적으로 feature extraction 을 진행하고 이미지 데이터에 대해 좋은 성능을 보인다. 

 

 

② ImageNet competition

 

👀 ImageNet 

 

• 데이터셋 명칭으로 14000만개의 이미지 데이터셋이다. 
• 1000개의 사물 종류에 대한 이미지가 담겨져 있다. 
• 이미지 속에 존재하는 각 사물의 이름을 얼마나 잘 맞추는가에 관한 학술대회 ILSVRC 에서 CNN 이 획기적인 성능 결과를 보였다. 

 

layer 수가 획기적으로 증가한 ResNet 모델이 등장

 

③ AlexNet 

 

👀 2012년에 등장한 CNN 모델 

 

 

 

• 5개의 Conv layer 와 3개의 FC layer 로 이루어진 Network 
• 3D Conv layer + Max Pooling 👉 Featrure extraction : low level feature 부터 high level feature 까지 추출 
• Dense layer 👉 Classification : 추출된 high level feature 가 공간상에서 어떠한 점으로 표현되고 FC layer 는 이를 분류하는 선을 그리게 된다. 

 

 

 

 

 

③ 2D Conv 연산, Zero Pad, Stride

 

👀 2D Conv 용어 정리  

 

 

 

 

⭐ input image = input activation = input feature map 

 

⭐ Filter = Kernel = Weight 

 

⭐ output image = output activation = output feature map 

 

 

 

 

👀 Convolution 연산 

 

 

 

⭐ Stride : sliding window 가 이동하는 크기 

 

• input 이미지 전체를 sweep 할 때까지 convolution 을 수행한다. 

 

 

 

👀 Zero Pad

 

• 3x3 filter 로 합성곱 연산을 진행하였지만 5x5 input 이미지의 크기가 3x3 으로 줄어들었다.
• 본래 이미지 크기에 맞게 5x5 로 출력하기 위해 zero padding 을 수행한다. 

 

 

 

 

④ Convolution 해석 

 

👀 Convolution == Feature extraction 

 

• 딥러닝에서는 최적의 convolution kernel 을 기계가 직접 학습하여 찾는다. 
• filter (weight) 값이 큰 부분에 대응되는 부분은 픽셀값이 크다. 

 

 

 

 

 

⑤ 3D Conv

 

⭐ input channel = input depth 

 

• 컬러 이미지는 보통 RGB 라는 3개의 channel 을 가지고 있다. 
• input 이미지가 3개의 채널로 분해되고, filter 도 3D로 표현되어 각 depth 별로 합성곱을 진행하여 그 결과를 합하는 방식으로 연산을 수행한다. 

 

 

 

 

 

• 3D input 과 3D filter 의 합성곱 연산은 2D output 이미지를 도출한다. 

 

 

• 3D input 과 4D filter (필터의 개수가 2개 이상) 의 합성곱 연산은 3D output 이미지를 도출한다. 이때 3D output feature map 에도 depth 가 생성된다. 

 

⭐ Output channel = output depth 

 

일반적인 convolution layer 의 구조에 해당한다.

 

 

⑥ Summary 

 

 

 

💨 input featrue map (3D) = W1 x H1 x C

 

• C 는 channel 개수 

 

💨 Conv layer 는 4개의 hyperparameter 가 필요하다. 

 

• 필터의 개수 K : 3D filter 가 k 개 있다 = output channel 이 k개 존재한다. 
• 필터 크기 F : 보통은 3x3, 5x5 이런식으로 width 와 height 가 같은 필터를 사용한다. 
• Stride S : sliding window 의 크기 
• Zero padding P : p개 만큼 boarder 부분에 zero value pixel 을 감싸준다. 

 

 

💨 output feature map (3D) = W2 x H2 x K 

 

• W2 = (W1 - F + 2*P)/S + 1 
• H2 = (H1 - F + 2*P)/S + 1

 

 

💨 파라미터 개수 

 

• F*F*C*K 개의 weights
• K 개의 biases (필터마다 하나씩 존재) 

 

 

⑦ Conv layer in terms of Neurons 

 

👀 컨볼루션 연산을 뉴런 형태로 그려보기 

 

kernel = weight

 

• ⭐ 다른 connection 에 대해 같은 weight 를 공유한다 = weight 를 reuse (share) 한다 
• 만약 FC layer 였다면 input 9개에 대해 모든 connection 이 이루어져야 한다. 그러나 Conv layer 에서는 output 하나를 만들기 위해서 4개의 input feature 와 4개의 weight connection 만 존재한다. 
• ⭐ FC layer 와 다르게 Conv layer 에서는 일부 Connection 만 존재한다 = Connection 의 개수가 적다 
• ⭐ 하나의 커널이 계산되는 input 영역을 Receptive field 라고 부른다. 

 

 

👻 동일한 output 연산에 대해 필요한 weight 개수 

 

FC layer	9x4
Conv layer	4

 

→ 메모리 & 계산 측면에서 효율성이 Conv layer 가 훨씬 높다. 

 

 

👻 Receptive field 용어가 등장한 배경

 

• Retinal ganglion cell 망막세포의 receptive field : 빛을 인식할 때 전체가 아닌 그 일부를 특정 세포에서 모아 인식한다.
• 합성곱에서 receptive field 단위로 연산을 수행하고 layer 가 여러개 존재하여 고차원적으로 feature 를 뽑아나가는 과정이 실제 망막세포의 생물학적 현상과 닮아있다. 

 

⑧ Pooling = subsampling 

 

👀 Nonlinear down-sampling 

 

• pooling 을 통해 이미지 차원이 낮아지기 때문에 down sampling 이라고도 부른다. 
• Pooling 연산을 수행하면 Feature map size 가 감소하여 연산량과 용량이 줄어든다. 
• Pooling 연산을 수행하면 translation invariance 가 강해진다. 즉, 노이즈에 강해진다는 의미인데, 이는 이미지에서 사물이 움직일 때 이를 잘 인식하는 것을 의미한다. 예를들어 사과 이미지의 위치가 왼쪽으로 움직여도 이를 사과라고 잘 인식하면 translation invariance 에 강하다고 표현한다. 

 

 

 

---

 

 

2️⃣  AlexNet 

---

 

 

https://daeun-computer-uneasy.tistory.com/33

 

 

⭐  Output image 크기 구하는 공식 

◽ I : input image size (W1xH1) 에서 W1 크기 

◽ K : FxF kernel size 에서 F 크기 

◽ P : padding size 

◽ S : stride 

 

 

 

 

⭐  max pooling 후 output 크기 구하는 방식 

◽ I : input image size (W1xH1) 에서 W1 크기 

◽ Ps : Pooling size 

◽ S : stride 

 

 

 

① 첫번째 Conv

 

◾ input : 227x227x3 (원래 224x224 input 인데 연산 과정 상 3 pixel 을 추가) 

 

◾ filter : 11x11x3 , 96개 

 

◾ stride = 4 

 

◻ (227 - 11)/4 + 1 = 55 

 

◾ output : 55 x 55 x 96 👉 ReLU 함수로 활성화 

 

◾ 3x3 max pooling , with stride=2 

 

◻ (55 - 3)/2 + 1 = 27

 

◾ maxpooling 을 거친 최종 output : 27 x 27 x96

 

◾ local response normalization for 수렴속도 높이기 : 차원 변화는 일어나지 않음 

 

⭐ normalization : convolution이나 pooling시 특정 픽셀의 값이 매우 높아서 주변에 영향을 주는 것을 방지하고자 다른 맵의 같은 위치에 있는 pixel끼리 정규화(normalization)를 해준다.

 

 

 

② 두번째 Conv

 

◾ input : 이전 단계의 Conv output  27 x 27 x96

 

◾ filter : 5x5x96 , 256개 

 

◾ stride = 1, padding = 2 

 

◻ (27 - 5 + 2*2)/1 + 1 = 27

 

◾ output : 27x27x256 👉 ReLU 함수로 활성화 

 

◾ 3x3 max pooling , with stride=2

 

◻ (27 - 3)/2 + 1 = 13

 

◾ maxpooling 을 거친 최종 output : 13 x 13 x 256

 

◾ local response normalization for 수렴속도 높이기 : 차원 변화는 일어나지 않음 

 

 

 

③ 세번째 Conv

 

◾ input : 이전 단계의 Conv output 13 x 13 x 256

 

◾ filter : 3x3x256 , 384개 

 

◾ stride = 1

 

◾ pooling = same : 출력 이미지 크기와 입력 이미지 크기를 같게하는 옵션 : P = (F-1)/2 = (3-1)/2 = 1

 

◻ (13 - 3 + 2*1)/1 + 1 = 13

 

◾ output : 13x13x384 👉 ReLU 함수로 활성화 

 

 

④ 네번째 Conv

 

◾ input : 이전 단계의 Conv output 13x13x384 

 

◾ filter : 3x3x384 , 384개 

 

◾ stride = 1

 

◾ pooling = same  : P = (F-1)/2 = (3-1)/2 = 1

 

◻ (13 - 3 + 2*1)/1 + 1 = 13

 

◾ output : 13x13x384 👉 ReLU 함수로 활성화 

 

 

 

⑤ 다섯번째 Conv

 

◾ input : 이전 단계의 Conv output  13x13x384

 

◾ filter : 3x3x384 , 256개 

 

◾ stride = 1

 

◾ pooling = same : P = (F-1)/2 = (3-1)/2 = 1

 

◻ (13 - 3 + 2*1)/1 + 1 = 13

 

◾ output : 13 x 13 x256 👉 ReLU 함수로 활성화 

 

◾ max pooling 3x3 with stride =2 

 

◻ (13 - 3)/2 + 1 = 6

 

◾ maxpooling 을 거친 최종 output : 6 x 6 x 256

 

 

 

⑥ FC layer 3개

 

1. First FC 

 

• Flatten : 6x6x256 = 9,216 차원의 벡터로 만듦
• Flatten 한 것을 4096개의 뉴런과 fully connected 후 ReLU 로 활성화 

 

2. Second FC 

 

• 이전 단계의 4096개의 뉴런과 4096개의 뉴런을 FC 후 ReLU 로 활성화 

 

3. Third FC

 

• 이전 단계의 4096개의 뉴런과 1000개의 뉴런을 FC 한 후 1000개의 뉴런 출력값에 softmax 를 취하여 1000개의 클래스 각각에 속할 확률값을 도출 

 

 

 

 

 

👻 참고 : same padding 

 

• 입력크기와 출력크기를 동일하게 유지하도록 하는 패딩기법 
• 입력 데이터 (Wi,Hi) 와 (F,F) 크기의 필터가 있을 때, 세임 패딩의 폭 P 는 (F-1)/2 가 된다. 
• 세임패딩을 적용한 입력 데이터의 크기는 (Wi+2*P, Hi+2*P) 가 된다. 

 

 

 

 

 

---

 

3️⃣ CNN 의 활용  

---

 

 

🐾 하드웨어에 따라 딥러닝의 연산속도/성능이 결정된다. 

 

 

1. 알파고 : 바둑판 이미지를 인풋으로 넣어 다음 수를 예측하거나 바둑의 판세가 어느정도인지를 판별 

 

 

 

 

2. 테슬라 자율주행 자동차 : 전방주시 카메라의 CNN 모델을 활용한 장면인식 기술 

 

⭐ NPU : neural processing unit

 

 

3. 애플 얼굴인식 잠금해제 기능 

 

 

 

4. 삼성 갤럭시 S21 카메라 : CNN 모델을 활용한 아웃포커싱 효과