[책스터디] 4. GPT-3가 챗GPT로 발전할 수 있었던 방법

isdawell 2025. 7. 6. 00:09

728x90

📍 현재의 챗GPT가 탄생할 수 있었던 배경

1. 지시 데이터셋을 활용해 Supervised fine tuning 방법으로 사용자의 요청에 맞는 응답을 할 수 있도록 학습함
2. 사용자에게 더 도움이되고 더 선호하는 응답을 할 수 있도록, 강화학습방법(RLHF, PPO)을 사용하거나 강화학습을 사용하지 않는 방법 (Rejective sampling, DPO) 방법을 사용함

1. 사전 학습과 지도 미세 조정

1.1 LLM의 사전학습

❍ LLM은 블로그, 기사, 코드 등 인터넷상에 있는 다양한 텍스트 데이터를 수집한 대용량의 텍스트로 사전 학습을 한다.

↪︎ 우리가 책, 깃허브코드 등 다양한 자료를 통해 프로그래밍 언어의 문법이나 자료구조, 알고리즘 같은 기본 개념을 공부하는 과정과 유사하다

❍ 사전학습을 통해 LLM은 언어에 대한 전체적인 이해도가 높아지고, 바로 다음에 올 단어를 점점 더 잘 예측하게 된다.

↪︎ 언어모델은 "다음 단어로 정답 토큰이 올 확률을 높이는 방식으로 학습한다"

1.2 지도 미세 조정

❍ 사전학습 후, LLM은 사용자의 요청에 적절히 응답하기 위해, 요청의 형식을 적절히 해석하고, 응답의 형태를 적절히 작성하며, 요청과 응답이 잘 연결되도록 추가 학습하는 '지도 미세 조정' 과정을 거친다.

↪︎ 우리가 어느정도 기본 개념을 익힌 후, 문제상황에 맞는 코드를 작성해야 하는 코딩테스트 연습 문제를 푸는 과정과 유사하다

❍ 정렬 (alignment) : 사용자의 요청에 맞춰 응답하도록 학습하는 것

❍ 지시 데이터셋 (Instruction dataset) : 사용자의 요구사항과 그에 대한 응답을 구조화한 데이터셋

↪︎ ex. OpenAI는 챗GPT를 개발하며, 데이터 레이블러를 고용해 13,000개가 넘는 지시 데이터셋을 구축해 모델을 학습시켰다 👷🏻‍♀️

1.3 좋은 지시 데이터셋

❍ 얼만큼 필요한가 : 작은 규모의 데이터셋이더라도 괜찮다 (ex. 메타의 LIMA모델은 1000개 정도의 데이터로도 사용자 요청에 응답이 가능한 모델을 만들었다)

❍ 어느정도의 품질인가 : 지시사항이 다양한 형태이고 답변의 품질이 높을수록 모델 품질도 높아지며, 품질을 높일 수 있는 방법은 교재의 예제 데이터처럼 교육적 가치가 높은 데이터이면 된다. (ex. 코드 예제)

2. 더 선호하는 응답 만들기

◯ 2.1 선호 데이터셋을 사용한 채점 모델 만들기

❍ 선호 데이터셋 (preference dataset) : 두 데이터 중 사람이 더 선호하는 데이터를 선택한 데이터셋

↪︎ 채점모델이 선호 데이터에 비선호 데이터보다 높은 점수를 주도록 채점 모델을 학습시킨다 (교재 코드 가독성 예시)

↪︎ OpenAI도 챗GPT를 개발하는 과정에서, 지도미세조정 이후 생성해내는 답변에서 사용자에게 해가되거나 차별적인 답변을 생성하는 것을 막기 위해 생성된 답변의 점수를 평가하는 Reward model을 만들었다.

💡 선호 데이터셋은 보통 직접 구축한다! 선호 레이블링 작업을 수행해 데이터셋을 만든다. 허깅페이스 등에 공개된 일부 데이터셋들을 참고할 수 있지만, 대부분 고품질 튜닝은 도메인 특화 직접 구축이 필요하다.

◯ 2.2 강화학습을 접목시키자

❍ OpenAI는 강화학습을 사용해 LLM이 리워드 모델로부터 더 높은 점수를 받도록 학습시킨 과정을 공개했다 👉 RLHF (사람의 피드백을 활용한 강화학습)

❍ 언어모델이 RLHF를 통해 학습하는 과정

↪︎ Action : 다음단어 예측 토큰 생성

↪︎ Reward model : 어떤 답변이 더 좋은지 점수를 매기도록 학습한 모델

↪︎ 언어모델은 행동을 취할 때마다 보상받는 형식이 아니라, 전체 생성 결과에 대해 리워드 모델의 점수를 받는다

❍ Reward Hacking : 보상을 높게 받는데에만 집중하여 발생하는 문제로, 가령 코드 가독성 점수를 높게 받기 위해 깔끔한 코드를 작성하는게 아니라 아예 코드를 작성하지 않거나 print문 같은 간단한 코드만 작성하려는 형태

↪︎ OpenAI는 보상해킹을 피하기 위해 PPO라는 강화학습 방법을 사용

◯ 2.3 PPO : 보상해킹 피하기

❍ Proximal Preference Optimization (근접 정책 최적화) : 지도미세조정모델(=Reference Model)을 기준으로, 학습하는 모델이 너무 멀지 않게 가까운 범위에서 리워드 모델의 높은 점수를 찾도록 한다는 의미

❍ RLHF를 챗GPT 개발에 도입하면서 편향성, 공격성 등 여러 문제를 효과적으로 제어할 수 있었으나, RLHF는 리워드모델의 성능 또한 중요하기 때문에 개발이 어렵다. 또한 참고모델/학습모델/리워드모델 총 3개의 모델이 필요하기 때문에 리소스가 많이 필요하고, 강화학습 자체가 하이퍼파라미터에 민감하고 학습이 불안정해 많은 개발자들이 RLHF를 활용해 LLM을 학습하는데 어려움을 겪었다.

3. 강화학습 없이 선호하는 답변을 생성하도록 하는 방법

◯ 3.1 기각 샘플링

❍ Rejection Sampling : 지도미세조정된 LLM을 통해 여러 응답을 생성하고, 그중에서 리워드 모델이 가장 높은 점수를 준 응답을 모아 다시 지도 미세조정을 수행하는 방법이다.

❍ 기각 샘플링 자체로 사람의 선호를 학습할 수 있으나, 메타의 라마-2의 학습과 같이 강화학습 전에 활용하여 학습을 더 안정적으로 만드는 방식으로도 활용할 수 있다.

🦙 라마-2 학습과정
[1] 사전학습
- 자기지도학습 (비지도학습) : 다음 단어를 예측하는 언어 모델링
[2] 지도미세조정
[3] 사람 피드백 (사람 선호 데이터셋 구축)
[4] RLHF : 기각샘플링 후 PPO

💡 RLHF는 모델이 스스로 리워드를 최대화 하도록 계속 탐험하고 개선하는 과정을 반복하는 '좋은 답변을 스스로 찾는' 방식이라 한다면, 기각샘플링은 동일한 질문에 여러 답변 후보들을 뽑은 뒤에 리워드모델이 낮은 점수는 기각하고 좋은것만 채택해서 고르는 방식 (여러 답변 중 좋은 것만 고르는 방식)

◯ 3.2 DPO

❍ Directed Preference Optimization : 강화학습을 사용하지 않고 선호 데이터셋을 직접 학습하는 방법

↪︎ 선호 데이터셋을 직접 언어모델에 학습시킨다 (이때의 모델은 지도미세조정을 거친 모델이어야 한다). 언어모델은 해당 과정을 통해 점차 선호 데이터를 자주 생성하는 모델이 된다. RLHF는 선호데이터를 리워드 모델이 학습하고 강화학습 방식으로 언어모델의 출력을 평가했다면, DPO는 훨씬 더 쉽고 빠르게 모델에 사람의 선호를 반영할 수 있다. (현재 가장 선호되는 방식)

728x90