[인공지능] GAN

📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 

 

 

1️⃣  Generative model  

---

 

👀 CNN, RNN 

 

• 이미 있는 데이터 분포를 잘 추출하는 네트워크 
• P(Y|X) 👉 데이터 각각을 잘 구분하는 확률 분포를 추출 
• discriminative model 

 

 

 

👀 생산적 적대 신경망 GAN 

 

• data instance 를 새로 생성하는 네트워크
• 데이터를 만드는 작업 
• 다양한 응용분야에 적용될 수 있음

 

 

①  So far we've learn 

 

 

🔘 Discriminative model 

 

• 지금까지 DNN, CNN, RNN 등 주어진 데이터 분포를 잘 구분하기 위해 설계한 모델들을 배웠음

 

 

② Generative model  VS Discriminative model 

 

🔘 Discriminative model 

 

• 다른 종류의 Data instance 사이를 구분하는 것
• P(Y|X) : 어떤 input X 를 입력했을 때, Y 의 결과를 출력하는 조건부 확률에 대해 학습함 
• ex. 이미지 데이터를 넣었을 때, 고양이인지 강아지인지 구분하는 task 
• 데이터 공간상에서 경계선을 (boundaries) 그리는 모델이다. 

 

 

 

🔘 Generative model 

 

• 새로운 data instance 를 만드는 역할
• input X와 output Y 를 독립적으로 보고 그 사이의 관계를 포착하거나 input 자체의 확률만을 포착하는 모델
• GAN 은 generative model 의 여러 종류 중에 하나임 
• GAN : 적대적 경쟁관계에 놓인 네트워크가 새로운 데이터를 형성한다.
• 데이터가 공간상에서 어떻게 분포되는지 데이터 분포 자체를 모델링한다.

 

 

 

 

❗ 주의 : 기계번역 모델은 output 으로 번역된 문장이 생성되어서 generative model 로 헷갈릴 수 있는데, 이 또한 주어진 영어 어휘 속에서 프랑스어 어휘에 맞는 적절한 단어를 선택하는 것이므로 discriminative model 에 해당함 

 

 

③ Application of Generative models 

 

🔘 미술/이미지영역 

 

 

• 모네의 그림으로부터 사진처럼 보이는 이미지를 생성하거나 실제 촬영한 사진으로부터 모네의 그림처럼 묘사한 이미지를 생성하는 것 👉 기존에 존재하지 않았던 data instance 를 생성해준다.

 

 

• 사람 얼굴 이미지에서 머리 색깔을 바꾸거나, 성별/나이/피부색/표정을 바꾸는 것 👉 기존에 존재하지 않았던 data instance 를 생성

 

 

🔘 반도체 영역 

 

 

• Photomask 를 설계할 때, Wafer 에 의도한대로 회로가 입혀지도록 하는 GAN 모델을 만듦 

 

 

 

 

2️⃣ GAN 

---

 

①  Key Idea : Police-Criminal Analogy

 

🔘 Generator VS Discriminator 

 

• Generator network 와 discriminator network 를 적대적 경쟁관계로 만들어 원하는 (새로운) 데이터를 잘 생성할 수 있도록 함

 

 

• Criminal : 위조지폐범은 진짜처럼 보이는 가짜 지폐를 만들어 경찰을 속이려고 함 👉 Generator 
• Police : 진짜와 가짜지폐를 구분하고자 함 👉 Discriminator 

 

💨 Generator 는 더 정교하게 지폐를 만들고자 할 것이고, Discriminator 는 진품과 가품을 구분하기 위해 더욱 노력하며 서로 적대적 경쟁관계를 가진다. 학습을 진행할수록 fake data 는 real data 와 구분할 수 없을 정도로 비슷해지게 된다. 

 

② GAN overview

 

🔘 사람 얼굴 이미지를 생성하는 GAN model 

 

 

• Input : random noise → 랜덤한 노이즈를 input 으로 넣음 
• Generator network 는 사람처럼 보이는 가짜 얼굴 이미지를 만들어내고, Discriminator 는 진짜 사람 얼굴 이미지와 가짜 얼굴 이미지를 구분하고자 함 
• 두 network 는 적대적 경쟁관계에 놓여져 있기 때문에 fake image 가 real image 에 가까워지게 된다. 
• 각 network 는 DNN, CNN, RNN 등 어느 종류의 네트워크라도 올 수 있다. 이 예제에서는 이미지 데이터이므로 CNN 을 사용하는 것이 좋다. 

 

 

③ Training GAN : Two-Player Minimax Game

 

 

 

🔘 GAN 을 수학적으로 기술하기 

 

📌 D(x) : Discriminator output 으로 input 이 real image 에 해당하는지 여부를 0과 1 사이의 값으로 표현한다. 1에 가까울수록 real, 0에 가까울수록 fake image 에 해당하는 것이다. 

 

 

💨 D (discriminator) 입장에서는 Value function 을 최대화 

 

 

⭐ real image 는 real 로, fake image 는 fake 로 잘 구분하도록 훈련한다. 

 

• X~Pdata(x) : training data 로부터 추출된 x 는 real image 에 해당하는데, D 입장에서 real 이라고 잘 판단해야 하므로 D(x) 가 1에 가까워지도록 훈련한다 👉 log(D(x)) 최대화 
• Z~Pz(z) : noise input 에 대하여 G(z) , 즉 generator network 를 거쳐서, D(G(z)) discriminator 에 도착했을 때, D 입장에서는 fake image 를 fake 라고 잘 분류해야 하므로 D(G(z)) 를 0에 가까워지도록 훈련한다 👉  log(1-D(G(z))) 최대화 

 

 

 

💨 G (generator) 입장에서는 Value function 을 최소화 

 

 

⭐ fake image 를 discriminator 가 real 로 잘못 판단하게끔 만들도록 훈련한다. 

 

• random noise 'z' 가 Generator 로부터 입력되어 fake image 가 생성되었을 때, G 입장에서는 D(G(z)) 가 1이 되도록 즉, fake image 를 real 로 판단하도록 훈련한다 👉 log(1-D(G(z)))  최소화 

 

 

 

✔ 참고 : log x , log(1-x)  그래프 모양 

 

초록 : log(x) , 빨강 : log(1-x)

 

④ Training Steps 

 

🔘 아래의 두 과정을 반복하면서 훈련을 진행한다. 

 

 

1.  Gradient ascent on disriminator 경사 상승법 (maximize이므로)

 

2.  Gradient descent on disriminator 경사 하강법 (minimize 이므로) 
 - discriminator 가 맞출 가능성 likelihood 를 낮춘다. 

 

 

👀 개념적으로는 두 수식이 적대적 관계를 잘 묘사하는 식이 되는데, 훈련 중에는 이러한 관계가 잘 작동되지 않는다. 

 

 

• 훈련 초반부에 discriminator (경찰 역할) 은 잘하지만, generator (위조지폐조작범) 는 지폐를 잘 만들지 못한다. 
• Gradient descent 방법으로 generator 에 대해 훈련을 진행하면, 훈련 초반에는 gradient 가 작아서 훈련이 초반에 잘 이루어지지 않게 된다 👉 log(1-x) 그래프에서 보면 x를 1로 가까워지게 만드는 방향 (여기서는 D(G(z)) 가 1에 가까워지도록 만드는 상황임 → fake 를 real 로 오판하게 만드는) 으로 그래프를 살펴볼 때, 훈련 초반 영역인 그래프 왼쪽 영역에서 기울기가 가파르지 않음

 

 

 

🔘 변형

 

• G 에 대해 value function 의 training 을 진행할 때, gradient descent 방법을 사용할 경우 초반에 훈련이 잘 이루어지지 않는다는 점을 고려해서, 수식을 변경하여 훈련 방법을 바꾸어줌 👉 Gradient ascent 방법으로 변경 

 

 

• D(G(z)) 를 1로 만드는 상황은 똑같은데, log(D(G(z)) 로 식을 변경하여, 경찰이 위조 지폐를 잘못 구분할 확률을 높이는 방식으로 training 을 진행한다. 
• log(1-x) 를 최소화 = log(x) 를 최대화, x~[0,1]
• 즉, 위조지폐범 입장에서는 경찰이 잘못된 판단을 했을 때, 그 점을 노려서 더 많은 것을 학습하는 꼴이 되므로 수학적으로 해석하면 gradient 가 커진다고 할 수 있다. 
• log(x) 그래프를 볼 때도, x를 1에 가까워지도록 훈련을 진행할 때, 훈련 초반의 기울기 (그래프의 왼쪽범위) 가 매우 가파름을 확인해볼 수 있다. 

 

 

🔘 GAN 알고리즘의 동작방식 

 

 

 

• Discriminator 에 대해 gradient ascent 를 k 번 반복해준 후, generator 에 대해 gradient descent 를 한번 반복하는 형태를 취한다. (실제로 generator 에 대해서는 gradient ascent 를 적용한다)