[책스터디] 5-2. GPU 효율적인 학습

📍  GPU를 효율적으로 사용해 모델을 학습시키는 다양한 기술 

3.  분산학습, Deepspeed ZeRO 
4.  LoRA, QLoRA (모델의 일부만 업데이트) 

 

 

 

3.  분산학습과 ZeRO

---

 

3.1  분산 학습

 

❍  분산학습

 ↪︎  GPU 여러개를 활용해 딥러닝 모델을 학습시키는 것 

 ↪︎  목적 : 모델 학습 속도 향상, 1개의 GPU로 학습이 어려운 모델 다루기 

 

 

❍  데이터 병렬화

 

 

 ↪︎  모델이 작아서 하나의 GPU에 올릴 수 있는 경우, 여러 GPU에 각각 개별적으로 모델을 올리고 학습 데이터를 나눠서 동시에 학습을 수행해 학습 속도를 향상시키는 것 

 

 

❍  모델 병렬화

 

↪︎  하나의 GPU에 올리기 어려운 매우 큰 모델의 경우, 모델을 여러 개의 GPU에 나눠서 올리는 방식을 활용

 

 ↪︎  1) 파이프라인 병렬화 : 모델의 layer 별로 나눠 올리는 방식 (그림에서 상하로 나누는 방식 : 머신1&2/3&4)

 ↪︎  2) 텐서 병렬화 : 한 층의 모델도 나눠서 올리는 방식 (그림에서 좌우로 나누는 방식 : 머신1&3/2&4)

 

 

❍  텐서 병렬화에서 기존과 동일한 결과를 얻기 위한 분리 연산 방법

 

 ↪︎  파이프라인 병렬화는 모델의 층 순서에 맞춰 순차적으로 연산하면, 병렬화 전과 동일한 결과를 얻을 수 있는데, 텐서병렬화의 경우는 하나의 층을 나눠 서로 다른 GPU에 올리기 때문에 행렬 연산 시 분리 방법 (열 병렬화, 행 병렬화)을 통해 행렬 곱셈을 적용한다. 

 

 

 ↪︎ 열 병렬화 : 입력데이터 x는 유지하면서 모델 가중치를 분리한(A1,A2) 곱셈하고 결과 Y1,Y2를 하나로 연결함 

 ↪︎ 행 병렬화 : 입력데이터 x와 모델 가중치 A를 모두 분리해 각각 곱셈하고 결과 Y1,Y2를 더해줌 

 

딥러닝 모델에서 텐서 병렬화가 적용된 예시 (a,b예시 모두 열병렬화 진행 후 행병렬화 수행)

 

 

 

 

3.2  ZeRo

 

❍   데이터병렬화에서 중복 저장 줄이기 

 ↪︎  데이터병렬화는, 동일한 모델을 여러 GPU에 올리기 때문에 중복으로 메모리를 차지하여 비효율적이다. 

 ↪︎  이를 해결하기 위해 마이크로소프트에서 개발한 것이 ZeRO 방식!

 

 

 ↪︎  하나의 모델을 부분적으로 나누어 여러 GPU에 올리고, 각 GPU에서는 자신의 모델 부분의 연산만 수행하고 그 상태를 저장한다. 필요한 순간에만 다른 gpu의 모델 파라미터를 복사해 연산을 수행한다. 이를 통해 메모리를 효율적으로 사용하면서도 속도도 빠르게 유지할 수 있다. 

 

 

 

 

 

4.  효율적인 학습 방법 (PEFT) : LoRA 

---

 

4.1  LoRA

 

❍  Parameter Efficient Fine-Tuning

 ↪︎  LLM 모델 크기가 점차 커지면서, 하나의 GPU로 모든 파라미터를 학습하는 파인튜닝을 수행하기 어려워졌다. 따라서, 전체가 아닌 일부 파라미터만 학습하는 PEFT 방법 연구가 활발히 이루어지고 있다. 

 

❍  LoRA

 ↪︎  모델에 일부 파라미터를 추가하고 그 부분만 학습하는 방식

 ↪︎  모델 파라미터 재구성하여 더 적은 파라미터를 학습하여 메모리 사용량을 줄임 

 

 

 ↪︎  가령, 전체 파라미터W가 있을 때, 더 작은 2개 행렬 A,B를 추가해 해당 부분을 수정한다. 

 ↪︎  r=4, d=100이라면, A = (100,4), B = (4,100)으로 AB 연산 결과의 차원이 W와 동일하나, 10,000개의 파라미터 학습이 아닌, 800개의 파라미터만 학습하면됨

 ↪︎ 행렬 A,B가 추가되므로 모델 파라미터 용량 자체는 증가하지만, GPU메모리 구성요소인 그레이디언트, 옵티마이저 상태의 용량은 감소한다. 

 

기존 가중치 W 는 pre-trained 가중치로 학습 중에 변경하지 않고 그대로 유지한다. A,B만 미세조정하는 방식!

 

 

 

4.2  LoRA 설정값

 

❍  1) 차원 r

 ↪︎  r을 작게하면 파라미터 수가 감소하여 GPU메모리 사용량이 감소하지만, 모델이 학습할 수 있는 용량이 작아지기 때문에 학습 데이터 패턴을 충분히 학습하지 못할 수 있다. (적절한 r을 설정하는 것이 중요)

 

 

❍  2) alpha

 ↪︎  추가한 파라미터를 기존 파라미터에 얼마나 많이 반영할지 결정하는 인자 

 ↪︎  LoRA는 'alpha/r' 만큼의 비중으로 행렬 A와 B의 곱한  값을 기존 파라미터 W에 더해주는 방식을 사용함 (alpha가 커지면, 새롭게 학습한 파라미터의 중요성을 크게 고려하는 것) 

 

❍  3) 어떤 파라미터를 재구성할지 설정

 ↪︎  일반적으로 선형 연산(ex. 셀프어텐션 연산에서 QKV 가중치, 피드포워드 층의 가중치)의 가중치를 재구성하나, 특정 가중치에만 적용하거나 전체 선형층에 적용하는 방식을 취할 수도 있다. 보통 전체 선형 층에 적용한 경우 성능이 가장 좋다고는 알려져있지만 실험을 통해 적절히 선택해야 한다. 

 

 

 

 

 

4.3  코드 실습

 

❍  ㅇ

 ↪︎  허깅페이스의 peft 라이브러리

 

 

 

 

 

5.  효율적인 학습 방법 (PEFT) : QLoRA 

---

 

5.1  QLoRA

 

❍  Efficient Finetuning of Quantized LLMs

 ↪︎  LoRA에 양자화를 추가해 메모리 효율성을 높인 방식 

 

LoRA는 16비트로 모델을 저장한다면, QLoRA는 4비트 형식으로 모델을 저장

 

 ↪︎ QLoRA 에서 CPU는 '페이지 옵티마이저' 기능을 의미하는데 이 기능은 학습도중에도 OOM에러 없이 안정적으로 진행할 수 있도록 해준다. 

 

 

5.2  4비트 양자화 & 2차 양자화, 페이지 옵티마이저

 

❍  4비트 양자화 (Normal Float 4-bit) & 2차 양자화 (double quantization)

 

 

 ↪︎  양자화는 '기존 데이터의 정보는 유지하면서, 더 적은 비트를 사용하는 데이터 형식으로 변환' 하는 것이 핵심인데, 기존 데이터의 순위대로 데이터 형식에 맵핑하는 방식을 적용할 때 기존 데이터의 분포(ex.정규분포)를 알고있다면 연산이나 메모리 사용 없이 빠르게 데이터 순위를 정할 수 있다. 

 

 ↪︎  학습된 모델 파라미터는 거의 정규분포에 가까운데, 따라서 입력이 정규분포라는 가정을 활용하면 모델의 성능을 유지하면서도 빠른 양자화가 가능해진다. QLoRA논문에서는 이 양자화 방식을 수행한 4비트 부동소수점 데이터 형식인 NF4를 제안했다. 

 

 ↪︎  QLoRA 논문에서는 NF4양자화 과정에서 발생하는 32비트 상수를 효율적으로 저장하는 방식인 2차 양자화도 소개한다. 64개의 모델 파라미터를 하나의 블록으로 묶어 양자화를 수행할 시 각 1개의 상수를 저장한다. 

 

 

 

 

 

❍  페이지 옵티마이저 

 ↪︎  QLoRA 논문에서 그레이디언트 체크포인팅 과정에서 발생가능한 OOM에러를 방지하고자 paged optimizer를 사용한다. 그레이디언트 체크포인팅은 순전파 과정에서 일부 노드만 저장해 메모리를 효율적으로 사용할 수는 있으나, 역전파 재계산시 순전파의 중간 결과들을 가져올 때 한꺼번에 많은 노드들이 메모리에 올라가는 경우 OOM 에러가 발생한다. 

 

 ↪︎  엔비디아의 통합 메모리를 통해 GPU가 CPU 메모리를 공유하는 방식이 paged optimizer 이다. GPU가 처리할 데이터가 많으면 일부 데이터를 CPU에 보관해두고 필요할 때 다시 GPU로 옮겨 처리한다. 

 

 

 

5.3  코드 실습

 

❍  ㅇ

 ↪︎  ㅇ