14. 멀티모달LLM

 

 

 

1.   멀티모달 LLM이란

---

 

1.1  멀티모달 LLM의 구성요소

 

❍  멀티모달LLM

↪︎  텍스트뿐만 아니라 이미지, 비디오, 오디오, 3D등 다양한 형식의 데이터를 이해하고 생성할 수 있는 LLM을 말한다. 

↪︎  LLM의 뛰어난 언어이해 능력과 추론능력을 중심으로 다양한 형식의 데이터를 이해하고 생성하는 능력을 추가하는 방식으로 구현된다. 

 

 

❍  구성요소

 

 

 

↪︎  이미지형식의 데이터를 Modality Encoder 와 Input Projector 를 통해 텍스트로 변환하여 LLM에 입력한다. 

↪︎  Output Projector를 통해 이미지 형태의 데이터 출력이 필요한지 판단하고 Modality Generator를 통해 특정 데이터 형식의 출력을 생성한다. 

 

↪︎  ❄️ : 얼음아이콘이 있는 3개 구성요소는 학습에 많은 데이터와 연산량이 필요하므로 멀티모달 LLM 학습 과정에서 파라미터를 업데이트 하지 않고 사전학습된 모델을 사용한다.

↪︎  🔥 : Input & Output Projector는 Modality Encoder, LLM Backbone, Modality Generator 를 연결하는 구성요소로, 멀티모달 LLM 학습 과정에서 파라미터를 업데이트하여 멀티모달 이해와 생성 성능을 높인다. 

 

 

 

❍  Modality Encoder

↪︎  이미지, 비디오, 오디오와 같이 텍스트 이외의 데이터 형식을 처리하기 위해 학습된 사전학습된 모델을 말한다. 

↪︎  인코더를 통과한 입력데이터는 특징벡터로 변환되고 특징벡터 이후에 다룰 Input Projector를 통해 텍스트로 변환한다. 

↪︎  다양한 형식의 입력 데이터를 텍스트로 변환하기 위한 준비단계 

 

 

↪︎  이미지 데이터를 처리하는 모달리티 인코더로는 Vision Transformer가 가장 많이 활용된다. 트랜스포머 아키텍처를 이미지에 적용한 모델로, 이미지를 patch단위로 자른 후 텍스트에서 단어를 처리하는 것과 같이 일렬로 나열해 입력해 처리한다. 이미지 patch는 vocabulary(텍스트를 숫자아이디와 토큰임베딩으로 변환하여 저장한것) 를 구축하기 어렵기 때문에 선형변환을 통해 이미지 임베딩 벡터로 변환하여 토큰 임베딩과 유사하게 만든다. 

 

 

 

↪︎  다음으로 OpenAI가 개발한 CLIP (Constrative Language-Image Pre-training) 모델이 많이 사용된다. 인터넷상에서 수집한 이미지와 캡션 데이터를 사용해, 이미지와 텍스트를 같은 벡터 공간에 임베딩하도록 만들어진 모델로, 내부적으로 이미지처리 모델과 텍스트 처리 모델이 함께 사용된다. 

 

 

 

❍  Input Projector

↪︎  입력프로젝터는 이미지 임베딩을 LLM Backbone이 이해할 수 있는 텍스트로 변환한다. 

↪︎  이렇게 변환된 텍스트를 바탕으로, LLM이 전체를 입력받아 추론능력과 컨텍스트 학습 능력등 LLM의 처리능력을 활용해 텍스트를 생성하고 반환한다. 

 

 

❍  Output Projector

↪︎  구글의 제미나이같은 멀티모달LLM은 텍스트는 물론 이미지도 생성할 수 있다. 1) 이미지 생성이 필요한지 판단하는 단계와, 2) 어떤 이미지를 생성할지 정하는 단계가 필요하다. 이 두 단계는 출력 프로젝터에서 이루어진다. 

↪︎  이미지 생성이 필요한 경우, 이미지 생성 모델에 적절한 프롬프트를 생성하는 것이 출력프로젝터의 역할이다. 

 

 

❍  Modality Generator

↪︎  출력 프로젝터를 통해 생성된 이미지 생성 프롬프트는 모달리티 생성기에 전달되고 최종적으로 이미지를 생성한다. 

↪︎  대표적인 이미지 생성모델로는 DALL-E가 있다 

 

 

 

1.2  멀티모달 LLM 학습과정

 

❍  멀티모달 LLM의 학습

 ↪︎  1) 사전학습, 2) 지시 데이터셋 (사용자의 요구사항과 그에 대한 응답을 구조화한 데이터셋) 을 활용한 지시학습(instruction tuning)으로 이루어진다. 

 

 

❍  사전학습

 ↪︎  LLM은 이미지-텍스트 쌍과 같은 대규모 멀티모델 데이터세트로 학습된다. 

 ↪︎  서로 다른 모달리티의 표현을 이해하고, 그 관계를 연결하는 방법을 학습한다. LLM이 멀티모달 데이터에 대한 전체적인 이해력을 습득하고 높이는데 집중한다. 

 ↪︎  전체적인 멀티모달 이해도 향상을 위한 단계 

 

 

❍  지시튜닝

 ↪︎  소규모 멀티모달 지시데이터셋으로 미세조정을 진행한다. 모델이 이미지 캡션을 생성하거나, 입력 이미지에 대한 질문응답같은 특정 멀티모달 작업을 수행하도록 학습시키는 것을 말한다. 

 ↪︎  모델이 특정한 멀티모달 사용 사례에 맞추어 탁월한 성능을 발휘하도록 학습된다. 

 

 

 

 

2.   이미지와 텍스트를 연결하는 모델 : CLIP 

---

 

2.1  CLIP모델이란

 

❍  CLIP

 ↪︎  텍스트 데이터와 이미지 데이터의 관계를 계산할 수 있도록, 텍스트 모델과 이미지 모델을 함께 학습시킨 모델 

 ↪︎  어떤 이미지와 어떤 텍스트가 유사한지 계산할 수 있고 그 정보를 검색이나 분류에 활용할 수 있다. 

 

 

 

2.2  CLIP 모델의 학습방법

 

❍  이미지-텍스트 쌍의 데이터 

 

 ↪︎  MS-COCO데이터셋의 예시 : 데이터로 코끼리와 사람이 이미지에 있고 동물원에서 사람들이 코끼리를 구경하고 있다는 설명이 붙어있다. 해당 데이터셋에는 각 물체가 어느 영역에 있는지 기록한 경계선 정보도 함께 포함되어 있다. 다만, MS-COCO 데이터셋은 퀄리티가 높지만 수가 적은 문제가 있었다. 

 ↪︎  CLIP 모델 연구팀은 직접 인터넷상에서 50만개의 검색어로 4억개의 (이미지, 캡션) 쌍 데이터를 구축했다. 

 

 

 

❍  대조학습

 

 

 

 ↪︎  CLIP은 대조학습을 통해 모델을 학습시킨다. 유사한 데이터쌍은 더 가까워지도록 하고, 유사하지 않은 데이터 쌍은 더 멀어지도록 학습시키는 방법을 말한다. 

 ↪︎  이미지와 텍스트를 각각 인코딩 모델에 넣어 임베딩으로 만든다. 다음으로 파란색으로 색칠된 서로 매칭되는 쌍의 유사도는 커지고 서로 매칭되지 않는 쌍의 유사도는 작아지도록 학습시킨다. 

 ↪︎  이미지 인코더로는 Visual Transformer나 ResNet을 주로 사용하고, 텍스트 인코더로는 트론스포머 모델을 사용한다. 

 

 

 

 

2.3  CLIP 모델의 활용과 뛰어난 성능

 

❍  zero-shot prediction

 

CLIP 모델을 활용한 제로샷 추론

 

 ↪︎  학습이 끝난 CLIP모델은 제로샷 추론을 수행한다. 

 ↪︎  제로샷 추론이란, 사전 학습 데이터 외 특정 작업을 위한 데이터로 미세조정하지 않은 상태에서 추론을 수행하는 것이다. 

 ↪︎  레이블이 있는 데이터셋에 대해, 'a photo of {object}' 로 변경하는 프롬프트 엔지니어링을 수행한다. 단어 레이블을 그대로 사용하면 동음이의어 등의 문제로 의미를 온전히 담을 수 없는 경우가 발생하기 때문이다. 입력텍스트는 텍스트 인코더를 사용해 텍스트 임베딩으로 만들고, 이미지는 학습된 이미지 인코더를 사용해 이미지 임베딩으로 만든다. 임베딩 사이의 유사도가 가장 큰 인덱스가 추론결과가 된다. 

 ↪︎  CLIP모델은 이미지와 텍스트 간의 유사도 계산으로 이미지 검색에 쓰일 수 있다. 

 

 

[보충설명]

* "A photo of..." 라는 문장을 사용하면, 모델은 이 텍스트가 반드시 눈앞의 이미지와 관련된 설명이라는 것을 명확히 인지

* 모호성 제거: "A photo of a Bass (베이스=농어 물고기 사진)" 나 "A photo of a Bass guitar (베이스 기타 사진)" 처럼, 완전한 문장은 단어 하나만 있을 때 발생할 수 있는 동음이의어(Homonym) 등의 의미적 모호성을 크게 줄여줌 

 

 

 

 

❍  CLIP 제로샷추론성능

 

 

 

 ↪︎  27개의 데이터셋에 대해 지도학습한 ResNet50모델과 성능을 비교했을 때, 16개 데이터셋에서 해당 데이터셋을 전혀 학습하지 않은 CLIP 모델의 성능이 더 높았다. 위성사진, 림프절 종양이미지, 자율주행 관련 데이터처럼 전문화되고 복잡한 데이터에서는 잘 작동하지 않았다. 그러나 지도학습한 ResNet50과 비교를 감안하면 CLIP 모델이 상당한 일반화 능력을 가지고 있음을 알 수 있다. 

 ↪︎ 최근까지도 CLIP 모델은 이미지-텍스트 멀티모달 기능을 만들 때 기본 모델로 사용될 정도로 뛰어난 성능을 보인다. 

 

 

 

 

2.4 CLIP 모델 직접 활용하기

 

❍  허깅페이스 트랜스포머 라이브러리

 

from transformers import CLIPProcessor, CLIPModel

# openai 저장소 모델을 사용한다. 
model = CLIPModel.from_pretrained("openai/clip-vit-large-patch14")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")

 

 

 ↪︎  모델(CLIPModel)과 데이터처리 프로세서(CLIPProcessor)를 불러온다. 프로세서는 입력 데이터의 전처리 담당, 모델은 임베딩 모델을 의미한다. 

 

 

❍  CLIP모델 추론

 

import requests
from PIL import Image

url = "http://images.cocodataset.org/val2017/000000039769.jpg" # 고양이 이미지 읽어오기
image = Image.open(requests.get(url, stream=True).raw)

# 입력 텍스트는 a photo of {레이블} 형태로 넣어준다. 
inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs) # 모델에 넣어준다. 
logits_per_image = outputs.logits_per_image
probs = logits_per_image.softmax(dim=1)
probs
## 고양이사진이라고 입력한 값이 강아지사진이라고 입력한 값보다 훨씬 큼

 

 

 ↪︎  예시이미지가 고양이인데, 잘 읽어오는 것을 확인할 수 있다. 

 

 

 

 

 

3.   텍스트로 이미지를 생성하는 모델 : DALL-E 

---

 

3.1  디퓨전 모델 원리

 

❍  DALL-E

 ↪︎  LLM 백본의 텍스트 출력을 기반으로 이미지를 생성하는데 사용할 수 있는 대표적인 이미지 생성 모델 

 

 

❍  디퓨전 모델

 ↪︎  물감이 물 전체에 균일하게 퍼져나가는 확산현상은 데이터 관점에서 보면 데이터 분포가 랜덤하게 변하는 것에 대응 

 

노이즈를 점차 제거하며 이미지를 생성

 

 ↪︎  물감이 퍼져나가는 현상은 이미지가 완전히 랜덤한 노이즈로 변하는 과정과 유사하다. 디퓨전 모델은 이미지에서 어떤 부분이 노이즈인지 예측하는 방식으로 학습하는데, 그 능력을 사용해 완전히 노이즈 상태의 이미지에서 노이즈를 예측하고, 예측된 노이즈를 제거하면서 점차 완전한 노이즈에서 의미가 있는 이미지를 생성한다. 

 

 

❍  U-Net

 ↪︎  이미지에서 노이즈를 예측하는 디퓨전 모델로는 U-Net이라는 인코더 디코더 모델을 많이 사용한다. 

 ↪︎  인코더 디코더 : 입력 데이터의 차원을 낮추는 인코더 단계와, 차원을 높이는 디코딩 단계를 통해 데이터의 의미를 압축하기 위해 사용되는 모델 구조 

 

 

 ↪︎  U-Net은 인코딩 단계의 고차원 정보를 디코딩 단계에도 활용하여, 이미지의 위치정보가 손실되는 것을 막는다. 이러한 이점때문에, 처음에는 위치 정보가 매우 중요한 이미지 Segmentation 작업에 사용하기 위해 개발되었지만, 지금은 이미지 생성을 위한 디퓨전 모델로도 많이 활용된다. 

 

 

 

 

 ↪︎  차원이 작아지는 인코딩 단계와 차원이 복원되는 디코딩 단계를 알파벳 U자형으로 표기해 붙여진 이름이다. 

 

 

❍  텍스트 임베딩을 추가해 원하는 이미지 생성 

 ↪︎  디퓨전 모델에 노이즈를 넣어주면서, 원하는 결과물의 형태 (ex. 앉아있는 고양이)를 텍스트 임베딩으로 변환해 디퓨전 모델에 함께 입력으로 넣어준다. 그러면 텍스트 임베딩을 참고해 원하는 이미지를 디퓨전 모델이 생성하게 된다. 추가정보는 텍스트 임베딩이 될 수도 있고 이미지 임베딩이 될 수 있다. 

 

 

 

 

 

3.2  DALL-E 모델

 

❍  DALL-E 모델

 

DALL-E

 

 ↪︎  CLIP 모델을 활용해 텍스트 임베딩을 만들고, 텍스트 임베딩을 활용해 두 단계를 거쳐 이미지를 생성한다. 

 ↪︎  CLIP : 매칭되는 텍스트 임베딩과 이미지 임베딩 거리를 가깝게 만들며 학습 

 ↪︎  CLIP의 text encoder를 사용해 입력한 텍스트를 임베딩으로 만들고, Prior 모델을 통해 CLIP 이미지 임베딩을 만들고, Decoder를 사용해 이미지를 생성한다. 

 

 

 ↪︎  Prior는 텍스트 임베딩을 입력으로 받아 이미지 임베딩을 예측하는 디퓨전 모델이다. 노이즈 입력을 이미지 임베딩으로 변환한다. 

 ↪︎  decoder는 이미지 임베딩을 참조해 이미지를 생성하는 디퓨전 모델이다. prior, decoder 모두 디퓨전 모델 구조이지만, 학습되는 데이터와 입출력 차원이 다른 모델이라 이해하면 된다. 디코더를 통해 생성된 출력 이미지는 저해상도인데, DALL-E2에서는 추가로 2개 디퓨전 모델을 사용해 2단계를 거처 고해상도 이미지로 만든다. 

 

 

prior를 사용하는 이유 : 원하는 텍스트 입력을 정확하게 반영해 표현!

 

 ↪︎ 고슴도치그림에서 첫번째 그림은 텍스트를 그대로 이미지 디코더에 입력한 경우, 두번째 그림은 텍스트 임베딩을 디코더에 전달한 경우, 마지막은 prior와 디코더를 모두 사용한 경우로 '계산기를 사용하는 고슴도치' 는 마지막 그림에서 제일 잘 표현했다. 

 

 

 

 

4.  LLaVA 

---

 

4.1  LLaVA의 학습 데이터

 

❍  LLaVA

 

LLaVA는 이미지에 관한 텍스트를 생성할 수 있다.

 

 ↪︎  CLIP : 이미지와 텍스트를 하나의 벡터공간에 배치, DALL-E : 텍스트를 입력으로 이미지를 생성하는 모델 ➱ 두 모델 모두 멀티모달모델이지만, 이미지에 대해 글을 생성하거나 대화를 나눌 수 없다. LLAVA 모델은 CLIP과 LLM을 결합해 모델이 이미지를 인식하고 그 이미지에 대한 텍스트를 생성할 수 있다. 

 

 

 

❍  멀티모달 대화모델을 위한 학습 데이터

 

 

 ↪︎  LLM이 사용자의 요청에 따라 응답하도록 지도미세조정을 위한 요청 데이터셋이 필요했던 것 처럼, 멀티모달대화모델을 개발하기 위해서 데이터셋을 구축해야 한다. 

 ↪︎  ChatGPT와 GPT-4를 사용해 데이터셋을 생성했다. 이미지를 설명하는 Caption과 이미지에 어떤 물체가 있는지 물체와 위치정보를 넣어준 Boxes 데이터를 구축했다. 이미지를 글로 풀어 마치 이미지를 본 것처럼 데이터셋을 구축한 것이다. 

 ↪︎  대화 (어시스턴트가 이미지를 보고 사람의 질문에 대답하는 형식의 데이터. 질문 유형은 물체의 수, 위치, 행동 등 다양하다), 자세한 설명 (이미지 설명을 읽고 이미지에 대한 자세한 설명 요구), 복잡한 추론(어려운 질문을 생성하고 답변하도록 함)의 3가지 유형의 텍스트를 생성한다. 

 

 

4.2  LLaVA의 모델구조

 

❍  모델구조

 

 

 

 ↪︎  입력 이미지 Xv를 CLIP의 이미지 인코더를 통해 이미지 임베딩(Zv)로 만들고, 간단한 선형층을 통과해 LLM에 입력할 임베딩 토큰(Hv)으로 만든다. 

 ↪︎  텍스트 지시사항은 토큰 임베딩 (Hq)로 변환해 함께 입력으로 넣고 결과 Xa를 생성한다. 

 

 

 

4.3  LLaVA 1.5

 

❍  LLaVA1.5

 

 

 ↪︎  이미지 인코더를 CLIP의 ViT-L/14에서 ViT-L/336px로 바꾸고, 선형 층으로 이미지 임베딩을 토큰 임베딩으로 변환하던 구조를 2층의 MLP로 변경하는 수정으로 성능을 대폭 올려 SOTA 달성 

 ↪︎11개 데이터셋에서 가장 뛰어난 성능을 보임, 사전 학습과 지도 미세조정 데이터셋 모두 다른 모델과 비교했을 때 샘플 수가 현저히 적음 

 

 

4.4  LLaVA NeXT

 

❍  LLaVA NeXT

 ↪︎  오픈소스 모델 중 최고 성능을 달성한 버전의 모델 : 이미지 해상도가 4배 높아지고, 고품질의 지시 데이터셋 구축으로 시각추론능력과 OCR성능 개선, 더 많은 시나리오에 응답 가능, SGLang 프레임워크를 사용해 추론 성능 향상됨