[책스터디] 7. 모델 가볍게 만들기

📍 모델 추론 효율화를 위해 모델 용량을 줄이는 법 

1. KV캐시, 멀티쿼리어텐션, 그룹쿼리어텐션
2. 양자화 
3. 지식증류

 

 

 

1.   언어모델 추론 이해하기 

---

 

1.1   언어모델이 언어를 생성하는 방법

 

❍  언어모델의 자기회귀적 특성

 ↪︎  언어모델은 입력한 텍스트 다음에 올 토큰의 확률을 계산하고 그중 가장 확률이 높은 토큰을 입력 텍스트에 추가하면서 한 토큰씩 생성한다. 

 

 

 

 

❍  언어모델의 추론과정

 ↪︎  1) 프롬프트를 처리하는 사전계산단계(Prefill phase) : 입력 프롬프트(ex. 검은 고양이가 밥을)는 한 번에 하나씩 토큰을 처리할 필요 없이 동시에 병렬처리가 가능 

 ↪︎  2) 이후에 한 토큰씩 뒤이어 단어를 생성(ex. 먹고) 하는 디코딩 단계 (Decoding phase)

 ↪︎  이때, 한 토큰씩 새로 생성할 때, 앞선 과정까지 생성된 동일한 토큰이 중복 및 반복해서 입력되는 구조가 되기 때문에 비효율적이게 될 수 있다. 따라서 중복 연산을 줄이는 KV캐시 방법을 사용한다. 

 

 

 

 

 

1.2  중복 연산을 줄이는 KV캐시 

 

❍  [복습] Self attention : key, value, query 

↪︎  (key, value, query) : 같은 토큰 임베딩에서 서로 다른 선형변환을 거쳐 만든 세 쌍

동일 토큰 행렬 X를 활용 & 가중치는 다르게

 

Q, K, V 생성 구조 및 Self-attention 예시 설명

 

 

 

↪︎  Key-Value 캐시 : 셀프 어텐션 연산 과정에서 동일한 입력 토큰에 대해 중복 계산이 발생하는 비효율을 줄이기 위해 먼저 계산했던 Key Value 계산 결과를 메모리에 저장해 활용하는 방법 

 

(Machine learning is fun)를 생성하고 다음 토큰을 예측하는 것을 수행할 때, Machine Learning is 에 대한 부분은 KV캐시에서 계산 결과를 가져와 사용하고, 새로운 토큰인 fun에 대한 부분만 새롭게 연산한다.

 

 

 

❍  KV캐시를 사용하는 경우 GPU메모리를 차지하는 데이터 

 

 

❍   KV캐시메모리 = 2바이트(fp16 형식 사용) x 2(Key, Value) x Layer 수 x 토큰 임베딩 차원 x 최대 시퀀스 길이 x 배치 크기

☇  레이어 수 : 셀프 어텐션 결과의 레이어 수

☇  최대 시퀀스 길이만큼의 메모리 확보 

☇  배치크기가 커질수록 저장하는 데이터가 많아짐 

 

 

 

1.3  GPU 구조와 최적의 배치크기 

 

 

❍  효율적인 서빙의 기준 

↪︎  1) 처리량 : 시간 당 처리한 요청 수 (query/s)

↪︎  2) 지연시간 : 하나의 토큰을 생성하는데 걸리는 시간 (token/s) 

↪︎  적은 비용으로 더 많은 요청을 처리하면서 생성한 다음 토큰을 빠르게 전달한다면 효율적인 서빙이라 할 수 있음, 같은 GPU로 처리량을 높이고 지연시간을 낮추어야 함 

 

 

❍  GPU구조 

 

↪︎  하나의 GPU는 여러 스트리밍 멀티프로세서(SM)으로 구성되고, 각 SM은 연산을 수행하는 부분 (Compute)와 계산할 값을 저장하는 SRAM으로 구성된다. 연산을 수행하는 부분과 가까운 SRAM은 큰 메모리를 가지기 어려워 큰 고대역폭 메모리 (HBM)에 큰 데이터를 저장한다. HBM이 흔히 말하는 GPU 메모리의 기준이다. 

 

 

❍  배치 추론 (문장 여러개를 한 번에 모델에 넣기)

길이가 서로 다른 입력 데이터의 배치추론

 

↪︎  추론을 수행할 때, 배치크기만큼의 토큰을 한번에 생성한다. 입력배치의 각 문장(S)는 길이가 서로 다른데, 추론을 수행하면 각 프롬프트 토큰 (노란색) 뒤로 새롭게 생성한 토큰 (파란색)이 더해진다. KV캐시를 활용하면 노란색은 캐시에서 가져오고 파란색 부분만 실제 계산한다. 

 

 

↪︎  모델 추론 과정에서 1) 배치처리 연산에 걸리는 시간과, 2) 모델 파라미터를 고대역폭 메모리 HBM에서 SRAM으로 이동시키는 데 걸리는 시간이있다. x축이 배치크기, y축이 시간이라고 했을 때, 배치크기가 커지면 연산에 필요한 시간은 증가하나, 모델 파라미터의 이동에 걸리는 시간은 변함이 없다. 연산과정과 모델 이동 과정은 동시에 진행되므로 두 가지 시간이 같을 때가 최적의 배치크기가 된다. 만약 서로 다른 시간이 걸린다면, 이동 혹은 연산만 하면서 다른 한쪽이 멈추게 되어 비효율이 발생한다. 

↪︎  Memory bound : 최적의 배치크기보다 작으면 모델 파라미터를 이동시키느라 연산이 멈추는 비효율 발생

↪︎  Compute bound : 최적이 배치크기보다 배치크기가 커지면 연산에 오랜시간이 걸려 지연 시간이 길어지는 연산 바운드가 발생 

 

 

❍  GPU를 더 효율적으로 활용하기 

↪︎  최대 배치크기가 최적 배치크기에 가까워질 수 있는 방법을 찾아야 한다. 배치크기를 키울려면 GPU 메모리에 올라가는 주요 데이터인 모델 파라미터 or KV캐시의 용량을 줄이는 방법이 있다. 

 

 

1.4  KV 캐시 메모리 줄이기

 

❍  [복습] 멀티헤드어텐션

↪︎  같은 입력에 대해 여러 개의 시각을 병렬로 돌려 다양한 문장 관계 (주어-동사, 목적어-동사, 시점 등)을 동시에 포착한다. 같은 입력(단어 임베딩)이라도, 다른 가중치 행렬을 여러개 두어 head가 다른 관점으로 attention을 수행한다. 

 

 

❍  KV캐시 메모리를 줄이는 방법 

 

 

 

(1) 멀티쿼리어텐션

↪︎  트랜스포머 모델이 멀티헤드어텐션을 활용해 연산을 할 때, 많은 수의 키와 값 벡터를 저장하므로 KV캐시에 많은 메모리가 사용되어 속도가 느려짐 ► 모든 쿼리 벡터가 하나의 키와 값 벡터를 공유하는 방식인 멀티쿼리어텐션 방식을 사용

↪︎  이 방식은 훨씬 적은 메모리를 사용하지만, 성능 저하 문제가 발생

 

(2) 그룹쿼리어텐션

↪︎  key, value의 수를 줄여 사용하는 방식이나 멀티쿼리어텐션보다는 많이 사용하는 방식

↪︎  성능 저하 문제가 덜하기에 활발히 사용되는 방식 

 

 

 

 

2.   양자화로 모델 용량 줄이기 

---

 

2.1   양자화 

 

❍  양자화

 ↪︎  부동소수점 데이터를, 더 적은 메모리를 사용하는 정수 형식으로 변환해 효율적으로 GPU를 사용하는 방법 

 ↪︎  양자화 수행 시점에 따라 1) 학습후 양자화 (PTQ), 2)양자화 학습 (QAT)으로 나뉜다.  

 ↪︎  LLM학습에는 많은 자원이 들어가므로 새로운 학습이 필요한 QAT보다는 PTQ를 주로 활용한다. 

 

 

2.2   비츠앤바이츠

 

❍  비즈앤바이츠

 ↪︎  워싱턴대학교에서 개발한 양자화 방식을 쉽게 사용할 수 있도록 제공하는 양자화 라이브러리, 모델 파라미터를 더 작은 비트수로 줄여서 GPU메모리 사용을 크게 절약 

 ↪︎  8비트 행렬 연산, 4비트 정규 분포 양자화 방식 

 

https://yooonlp.tistory.com/22

 

 

 

2.3   GPTQ

 

❍  GPTQ

 ↪︎  엘리아스 프란타르가 개발한 양자화 방식으로, 양자화 이전의 모델에 입력을 넣었을 때와, 양자화 이후 모델에 입력을 넣었을 때 오차가 가장 작아지도록 양자화를 수행한다. 즉, 성능 손실을 최소화 

 

 

 

 

2.4   AWQ

 

❍  AWQ

 

https://velog.io/@hyunku/Paper-Review-AWQ-ACTIVATION-AWARE-WEIGHT-QUANTIZATION-FOR-ON-DEVICE-LLM-COMPRESSION-AND-ACCELERATION

 

 ↪︎  MIT에서 개발한 방식으로, 특별히 중요한 파라미터의 정보를 유지하면서 양자화를 수행하는 방법이다. GPTQ는 주로 가중치만 보는데, AWQ는 가중치 + 활성값까지 고려하여 모델이 실제로 동작할 때 어떤 부분이 중요한지 보고 중요하지 않은 부분은 더 과감히 압축한다. 

 

 

 

 

3.   지식증류활용

---

 

❍  지식증류

 ↪︎  더 크고 성능이 높은 teacher model의 생성 결과를 활용해, 더 작고 성능이 낮은 student model을 만드는 방법 

 ↪︎  학생모델은 선생모델의 생성 결과를 모방하는 방식으로 학습하는데, 학생모델의 크기가 작기 때문에 선생모델에서 쌓은 지식을 더 작은 모델로 압축해 전달한다는 의미에서 '증류'라고 부른다. 

 ↪︎  최근에는 선생모델을 활용해 대규모 학습 데이터셋을 구축하거나 데이터셋 구축에 사람의 판단이 필요한 부분을 선생모델이 수행하는 등 폭넓게 활용중 (sLLM 학습 데이터 구축에 GPT4같은 대형 모델을 활용)