15. LLM 에이전트

 

 

1.   에이전트란

---

 

1.1  에이전트의 구성요소

 

❍  에이전트

↪︎  주변 환경을 감각을 통해 인식하고, 의사결정을 내려, 행동하는 인공적인 개체 

↪︎  주어진 일을 스스로 세분화하고 단계별로 필요한 작업들을 수행하여 사용자의 요청을 완수한다. 

 

 

❍  세 가지 구성요소

 

 

 

↪︎  1) 감각 : 외부환경과 사용자의 요청을 인식

↪︎  2) 두뇌 : 지식이나 기억을 확인하여 계획을 세우거나 추론을 통해 다음 행동의 여부 등 의사결정을 내림 

↪︎  3) 행동 : 문제를 해결하기 위해 취할 수 있는 적절한 도구를 선택해 행동 

 

 

 

1.2  에이전트의 두뇌

 

❍  에이전트의 두뇌

↪︎  두뇌역할을 하는 기술 : Symbolic AI, 강화학습, meta learning (전이학습의 일종), LLM 

↪︎  LLM을 바탕으로 한 에이전트가 활발히 개발되고 있다. 

 

 

↪︎ 주변 환경과 사용자의 요청을 인식하여 > 그를 이해하고 > 목표달성을 위해 어떤 행동을 취할 것인지 결정하다. 

↪︎ 지금까지 수행한 사용자와의 대화나 행동을 저장한 기억을 확인하고, 상황을 이해하는데 필요한 지식을 검색해 활용한다. 보강한 정보를 바탕으로 작업을 세분화하는 계획 세우기 단계를 거치고 다음에 어떤 행동이 필요한지 결정해 행동 단계로 넘어간다. 

 

👉 LLM은 이 모든 과정에 필요한 능력을 가지고 있다 : RAG (필요한 지식을 검색하고 활용), 추론 능력, 일반화 능력, 요약 기능 

 

 

1.3 에이전트의 감각

 

❍  에이전트의 감각

↪︎  텍스트, 이미지, 음성(e.g. OpenAI의 Whisper) 등 LLM이 활용할 수 있는 데이터 유형이 많아질수록 풍부한 정보를 처리하고 다양한 상황에 대응할 수 있다. 

Video-LLaMA (비디오 인코더와 오디오 인코더로 영상정보와 오디오 정보를 처리해, 해당 비디오를 설명하는 텍스트를 결과로 반환)

 

↪︎  LLaVA (이미지와 텍스트 멀티모달 모델), Video-LLaMA (비디오와 텍스트 멀티모달 모델), GPT-4V, GPT-4o 

↪︎  이미지와 음성 데이터 외에도, 촉각 센서나 후각 센서를 사용해 촉각 정보나 냄새 정보를 LLM에 전달하거나, GPS와 같은 위치정보, 3D 공간 정보 등을 활용해 LLM에 풍부한 정보를 제공할 수 있다. 

 

 

 

 

1.4  에이전트의 행동

 

❍  에이전트의 행동

↪︎  LLM은 텍스트만 생성할 수 있으므로, 외부에 영향을 미치는 행동을 하기 위해서는 LLM이 사용할 수 있는 도구를 제공해야 한다. 어떨 때 사용하고 어떻게 사용하는지 (필요한 파라미터) 설명을 제공하면, LLM은 상황에 맞춰 필요한 도구를 선택할 수 있다. 

↪︎  가령, 내일 날씨를 확인하고자 할 때, 구글 검색 기능과 계산기 도구 목록을 LLM에게 제공하고, 필요한 행동을 선택하도록 하면 구글 검색 기능을 도구로 사용하고, '내일 날씨'를 검색 쿼리로 입력하면 된다는 결과를 잘 생성한다. 이름만으로 파악하기 어려운 기능이라면, 어떤 상황에서 사용하는지 시나리오를 함께 제공해도 좋다. 

 

 

❍  도구

↪︎  대표적인 도구로는 검색 API (인터넷 정보 활용), 코드 실행, 이미지(Dall-E, Stable Diffusion)/음성(TTS) 생성, 물리적 행동, 번역/요약 등이 있다. 

 

 

 

 

 

2.   에이전트 시스템의 형태 

---

 

2.1  단일 에이전트

 

❍  AutoGPT

출처 : https://fastcampus.co.kr/media_data_autogpt

 

 

↪︎  GPT-4 LLM을 기반으로 구축된 AI Agent 를 사용해 여러 단계의 프로젝트와 복잡한 워크플로를 자동화 할 수 있는 오픈소스 AI 플랫폼 (오픈소스 AI Agent) 

↪︎  AutoGPT는 입력받는 '프롬프트' 를 통해 모든 결정을 내린다. 

 

 

❍  프롬프트구성

↪︎  1) 에이전트의 이름과 역할 : 일반적으로 구체적인 역할을 지정하였을 때 관련 기능을 더 잘 수행하는 것으로 알려져 있다. 

↪︎  2) 목표 : ex. 꽃에 대한 짧은 이야기를 쓰기 

↪︎  3) 제약사항 (Constraints) : 에이전트가 작동하는 동안 지켜야 하는 제약사항 

↪︎  4) 도구 (Commands) : 구글검색, 웹사이트 조회, 작업 종료 등을 선택할 수 있다. 가령 LLM이 판단했을 때 구글 검색이 필요하면 'google' 라는 도구 이름과 함께 인자로 필요한 검색어를 반환한다. 

↪︎  5) 성능평가 : 에이전트가 지속적으로 목표를 달성하는데 초점을 맞추고 자원을 효율적으로 사용하도록 명령 

↪︎  6) 수행한 행동과 결정을 회고하고 불필요한 행동으로 낭비된 비용을 검토한다. 마지막으로 답변 형태를 JSON 형태로 제공하도록 하여 이후에 도구를 실행할 때 프로그래밍 방식으로 쉽게 활용할 수 있도록 한다. 

 

 

❍  단일 에이전트의 장단점

↪︎  장점 : 모든 과정을 스스로 처리하여 매우 편리하고, 범용적인 작업을 처리할 수 있는 프롬프트로 동작하므로 다양한 작업에 활용이 가능 

↪︎  단점 : 범용적이기 때문에 작업을 수행하는 과정에서 길을 잃을 가능성이 크고, LLM의 성능에 크게 좌우된다. 

↪︎  목표가 명확하고 작업의 크기가 작은 경우에만 선택적으로 사용하는게 좋다. 

 

 

2.2  사용자와 에이전트의 상호작용

 

❍  사용자의 개입이 필요한 작업 과정

 

(왼쪽) 사용자가 명령과 피드백을 전달하고 에이전트가 수행, (b) 에이전트가 사람의 명령을 듣는 것이 아니라 동등한 지위에서 상호작용

 

 

↪︎  특정 도메인에서 LLM의 전문성이 사람에 비해 떨어지는 경우, 사용자가 문제 해결 과정에 직접 개입하는 것이 중요하다. 사용자가 명확한 명령과 피드백으로 에이전트의 작업 방향을 설정하고, 에이전트는 작은 작업을 자동 수행하여 사용자가 빠르고 편하게 작업을 진행하도록 지원한다. 

↪︎  바둑이나 체스처럼 AI 모델이 사람과 유사하거나 더 뛰어난 수준에 이른 작업은 사람과 동등한 지위에서 플레이 할 수 있다. 

 

 

 

 

 

2.3  멀티 에이전트

 

❍  멀티에이전트

↪︎  여러 에이전트의 협력을 통해 문제를 해결하는 방식

↪︎  각 에이전트마다 서로 다른 프로필을 주고 작업을 수행한다. 구체적인 프로필을 LLM에 부여하는 것만으로도 작업의 전문성을 높여 품질을 높일 수 있다. 

↪︎  AutoGen, MetaGPT, CrewAI 등 다양한 멀티 에이전트 구현 프레임워크가 있다. 

 

 

❍  AutoGen

 

 

 

↪︎  마이크로소프트의 멀티 에이전트 프레임워크

↪︎  모든 작업을 하나의 에이전트가 수행하는 것보다, 맞춤형 에이전트를 여러개 만들어 작업을 수행할 때 문제 해결 확률을 더 높일 수 있다. 

↪︎  에이전트끼리는 '대화'를 통해 진행상황과 작업결과를 공유한다. 모두 함께 대화를 나누는 수평형(joint chat) 대화와 대화를 주도하는 매니저가 상황에 따라 작업할 에이전트를 선택하고 대화가 진행되는 위계형(hierarchical chat) 대화가 있다. 

 

 

❍  AutoGen Studio

 

 

 

 

↪︎  AutoGen 스튜디오를 사용하면, UI상에서 생성한 에이전트와 대화를 할 수 있고 프로그래밍을 하지 않고도 에이전트나 도구, 에이전트의 작업 흐름을 정의하는 워크플로를 생성할 수 있다. 

 

 

 

3.   에이전트 평가하기

---

 

❍  성능평가

↪︎  LLM을 활용한 에이전트는 (2023년기준)  아직 초기 단계 기술이기 때문에 에이전트를 평가하는 방법도 정립되지는 않았다. 

 

 

❍  주관적인 방식

↪︎  에이전트 결과를 사람이 직접 평가하는 방식이 있고, 사람의 결과와 비교해서 에이전트가 생성한 것과 사람이 생성한 것을 구분할 수 있는지 확인하는 (튜링테스트) 방식이 있다. LLM을 평가할 때와 마찬가지로 평가자 LLM을 활용해 평가하는 방식도 연구되고 있다. 

 

 

❍  객관적인 방식

↪︎  벤치마크 데이터셋을 이용해 객관적으로 평가하는 방식이 있다. Agent는 LLM에 행동을 위한 도구나 기억과 지식검색을 위한 검색증강생성(RAG)를 추가로 활용하므로 에이전트를 평가하는 문제는 훨씬 더 어렵다. 

 

 

❍  객관적인 방식 : 에이전트를 평가하는 기준 4가지 

↪︎  1) 유용성 : 작업 성공률 같은 기준으로 유용성 평가 

↪︎  2) 사회성 : 언어적인 상호작용 측면에서, 언어를 얼마나 숙련되게 쓰는지, 협력이나 협상이 필요한 경우 얼마나 뛰어난지, 역할을 부여한 경우 그에 얼마나 부합하게 행동하는지 등을 평가 

↪︎  3) 가치관 : 거짓없이 신뢰할 수 있는 정확한 정보를 전달하는지, 편향되거나 차별적인게 없는지, 사회에 해가되는 정보를 전달하는지 평가

↪︎  4) 진화능력 : 변화하는 환경에 맞춰 스스로 발전할 수 있는지에 대한 평가로, 지속적인 학습, 스스로 목표를 설정하고 달성하는 학습능력, 환경에 적응하는 능력 등으로 평가할 수 있다. 

 

 

 

❍  객관적인 방식 : AgentBench

 

 

 

↪︎  칭화대의 Xiao Liu와 Hao Yu는 8개의 작업에서 LLM Agent를 평가할 수 있는 평가용 데이터셋인 AgentBench를 구축했다. 하나의 작업으로 평가하는 것이 아니라, 8개의 작업으로 평가하므로 일반화성능을 확인할 수 있다는 장점이 있다. 

↪︎  실제 에이전트가 활용될 가능성이 높은 8개 환경을 선택했다 : 터미널을 통해 운영체제를 다루는 작업, DB를 다루기 위한 SQL 작성 작업, 지식그래프를 다루는 작업, 게임관련 작업, 웹활동 관련 작업 등 

 

 

 

 

↪︎  구축한 8개 데이터셋을 바탕으로 다양한 API 기반 상용 LLM과 오픈소스 LLM을 비교한 결과, 오픈소스보다 상용 LLM이 더 우수했다. 

↪︎  높은 점수를 받은 모델은 주로 코드 데이터로 학습하거나, 고품질의 정렬 데이터셋(alignment dataset : 사용자의 요청에 맞춰 응답하도록 구축한 데이터셋)으로 지도 미세조정을 한 경우였다. 낮은 점수를 받은 경우는 주로 대화가 여러 턴에 걸쳐 진행되며 추론 및 의사결정 능력이 떨어지는 경우와 요청한 출력 형식으로 응답하지 않은 경우가 많았다. 

 

 

 

 

4.   실습 : 에이전트 구현

---

 

4.1  AutoGen 기본 사용법

 

❍  OpenAI API key 설정

 

import json

openai_api_key = "자신의 API 키 입력"

with open('OAI_CONFIG_LIST.json', 'w') as f:
  config_list = [
    {
        "model": "gpt-4-turbo-preview",
        "api_key": openai_api_key
    },
    {
        "model": "gpt-4o",
        "api_key": openai_api_key,
    },
    {
        "model": "dall-e-3",
        "api_key": openai_api_key,
    }
]
  json.dump(config_list, f)

 

 

↪︎  gpt-4-turbo (언어모델), gpt-4o (멀티모달모델), dall-e-3 (텍스트를 통해 이미지 생성) 세 개 모델을 사용하는데 모두 OpenAI 모델이므로 API 키는 동일한 값으로 입력한다. 

 

 

 

❍  에이전트에 사용할 설정 불러오기

 

import autogen

config_list = autogen.config_list_from_json(
    "OAI_CONFIG_LIST.json",
    file_location=".",
    filter_dict={
        "model": ["gpt-4-turbo-preview"],
    },
)

llm_config = {
    "config_list": config_list,
    "temperature": 0,
}

 

 

↪︎  config_list_from_json 메서드로 모델과 API 키 설정 파일을 불러오면서 gpt-4-turbo preview 모델의 키만 불러오도록 하고, 모델과 키를 저장한 config_list 변수를 OpenAI API를 호출할 때 사용할 llm_config 변수에 저장한다. 

 

 

 

❍  UserProxyAgent, Assistant Agent

↪︎  Autogen에는 크게 두 종류의 에이전트가 있다. 사용자의 역할을 대신하는 UserProxyAgent가 있고, 사용자의 요청을 처리하는 AssistantAgent가 있다. 

 

from autogen import AssistantAgent, UserProxyAgent

# 사용자의 요청을 처리할 assistant
assistant = AssistantAgent("assistant", llm_config=llm_config)

# 사용자 역할의 agent 
user_proxy = UserProxyAgent("user_proxy",
  is_termination_msg=lambda x: x.get("content", "") and x.get("content", "").rstrip().endswith("TERMINATE"),
  human_input_mode="NEVER",
  code_execution_config={"work_dir": "coding", "use_docker": False})

## human_input_mode : 사용자의 입력을 추가로 받을지 설정하는 인자로, NEVER를 설정했기 때문에 사용자의 추가적인 의견을 묻지 않고 최종 결과가 반환될 때까지 알아서 실행
## is_termination_msg : 에이전트응답에 종료 신호 (TERMINATE) 가 포함되었는지 확인하기 위해 설정

 

 

↪︎  AutoGen은 에이전트가 생성한 파이썬 코드를 내부적으로 실행하며 목표를 달성했는지 확인하는데, 이때 파이썬을 Docker 내부에서 실행할지 결정할 수 있다. AutoGen은 도커에서 실행하는 것을 권장하고 기본값이지만, 실습 편의를 위해 use_docker 를 false로 설정한다. 

 

 

❄️  Docker 

 

 

에이전트가 생성한 파이썬 코드를 실행할 때 일반적인 컴퓨터 환경이 아닌, 도커(Docker) 컨테이너라는 격리된 환경 안에서 실행한다는 의미. 도커는 애플리케이션과 그 실행에 필요한 모든 것(코드, 런타임, 시스템 도구, 라이브러리 등)을 컨테이너라는 표준화된 단위로 묶어주는 플랫폼으로 어떤 환경이든 동일하게 실행될 수 있도록 격리된 환경을 제공한다. 

 

 

 

❍  삼성전자 3개월 주식 가격 그래프를 그리는 작업 실행

 

user_proxy.initiate_chat(assistant, message="""
삼성전자의 지난 3개월 주식 가격 그래프를 그려서 samsung_stock_price.png 파일로 저장해줘.
plotly 라이브러리를 사용하고 그래프 아래를 투명한 녹색으로 채워줘.
값을 잘 확인할 수 있도록 y축은 구간 최소값에서 시작하도록 해줘.
이미지 비율은 보기 좋게 적절히 설정해줘.
""")

 

 

↪︎  사용자 역할을 수행하는 user_proxy의 initiate_chat 메서드에 작업을 수행할 에이전트인 assistant를 전달하고, 수행할 작업은 message 인자에 문자열로 전달한다. 

 

명령이 실행되는 과정

 

 

↪︎  사용자 역할의 에이전트가 명령을 어시스턴트 에이전트에 전달하고, 어시스턴트는 목표를 달성할 수 있는 코드를 작성하고 코드를 실행하라고 응답한다. 사용자 역할의 에이전트는 전달받은 코드를 실행하고 에러가 발생하면 그 내용을 다시 전달한다. 어시스턴트 에이전트는 에러를 해결할 수 있도록 코드를 수정한다. 이 과정을 반복하며 코드를 완성한다. 

↪︎  에이전트 실행이 성공적으로 끝나면, coding 폴더라는 곳에 실행한 파이썬 코드와 이미지가 저장된다. 

 

 

 

 

4.2  RAG Agent 

 

❍  RAG Agent class를 사용한 작업 실행

↪︎  에이전트도 LLM을 활용하므로 관련된 정보가 프롬프트에 추가되었는지 여부에 따라 성능이 크게 달라진다. 

 

import autogen
from autogen.agentchat.contrib.retrieve_assistant_agent import RetrieveAssistantAgent
from autogen.agentchat.contrib.retrieve_user_proxy_agent import RetrieveUserProxyAgent

assistant = RetrieveAssistantAgent(
    name="assistant",
    system_message="You are a helpful assistant.",
    llm_config=llm_config,
)

ragproxyagent = RetrieveUserProxyAgent(
    name="ragproxyagent",
    retrieve_config={
        "task": "qa",
        "docs_path": "https://raw.githubusercontent.com/microsoft/autogen/main/README.md",
        "collection_name": "default-sentence-transformers"
    },
)

assistant.reset()
ragproxyagent.initiate_chat(assistant, problem="AutoGen이 뭐야?")

# assistant (to ragproxyagent):
# AutoGen은 여러 에이전트가 상호 대화하여 작업을 해결할 수 있는 LLM(Large Language Model) 애플리케이션 개발을 가능하게 하는 프레임워크입니다. 
# AutoGen 에이전트는 사용자 정의 가능하며, 대화 가능하고, 인간 참여를 원활하게 허용합니다. LLM, 인간 입력, 도구의 조합을 사용하는 다양한 모드에서 작동할 수 있습니다.

 

 

↪︎  RetrieveAssistantAgent, RetrieveUserProxyAgent : RAG 에이전트를 구현하기 위한 에이전트 클래스 

↪︎  ragproxyagent : 사용자 역할 에이전트를 정의하면서, AutoGen 깃허브 메인 페이지 주소를 RAG에 활용하도록 docs_path 키로 입력해준다. initiate_chat에 AutoGen 에 대한 질문을 실행하면, 아래 주석내용처럼 AutoGen에 대한 설명이 잘 나온 것을 확인할 수 있다. 

 

 

 

❍  OpenAI 임베딩 모델을 사용하도록 설정하기

 

from chromadb.utils import embedding_functions

openai_ef = embedding_functions.OpenAIEmbeddingFunction(
                api_key=openai_api_key,
                model_name="text-embedding-3-small"
            )

ragproxyagent = RetrieveUserProxyAgent(
    name="ragproxyagent",
    is_termination_msg=lambda x: x.get("content", "") and x.get("content", "").rstrip().endswith("TERMINATE"),
    human_input_mode="NEVER",
    retrieve_config={
        "task": "qa",
        "docs_path": "https://raw.githubusercontent.com/microsoft/autogen/main/README.md",
        "embedding_function": openai_ef,
        "collection_name": "openai-embedding-3",
    },
)

assistant.reset()
ragproxyagent.initiate_chat(assistant, problem="Autogen이 뭐야?")

# assistant (to ragproxyagent):
# AutoGen은 여러 에이전트가 상호 대화하여 작업을 해결할 수 있는 LLM(Large Language Model) 애플리케이션 개발을 가능하게 하

 

 

↪︎  AutoGen에서 RAG를 구현할 때 기본적으로 텍스트 임베딩 모델로는 Sentence-Transformers 라이브러리를 사용하고, 벡터 DB로는 Chroma를 사용한다. 

↪︎  각 요소는 원하는대로 변경이 가능하다. 위의 코드 예제는 embedding_functions 함수에 원하는 텍스트 임베딩 모델로 변경(text-embedding-3-small) 하는 예시이다. 

 

 

❍  3개 이상의 에이전트가 협업하는 그룹챗 만들기 

 

def termination_msg(x):
    return isinstance(x, dict) and "TERMINATE" == str(x.get("content", ""))[-9:].upper()

# RAG를 사용하지 않는 사용자 역할 에이전트
user = autogen.UserProxyAgent(
    name="Admin",
    is_termination_msg=termination_msg,
    human_input_mode="NEVER",
    system_message="The boss who ask questions and give tasks.",
    code_execution_config=False,
    default_auto_reply="Reply `TERMINATE` if the task is done.",
)
# RAG를 사용하는 사용자 역할 에이전트
user_rag = RetrieveUserProxyAgent(
    name="Admin_RAG",
    is_termination_msg=termination_msg,
    system_message="Assistant who has extra content retrieval power for solving difficult problems.",
    human_input_mode="NEVER",
    max_consecutive_auto_reply=3,
    code_execution_config=False,
    retrieve_config={
        "task": "code",
        "docs_path": "https://raw.githubusercontent.com/microsoft/autogen/main/samples/apps/autogen-studio/README.md",
        "chunk_token_size": 1000,
        "collection_name": "groupchat-rag",
    }
)
# 프로그래머 역할의 에이전트
coder = AssistantAgent(
    name="Senior_Python_Engineer",
    is_termination_msg=termination_msg,
    system_message="You are a senior python engineer. Reply `TERMINATE` in the end when everything is done.",
    llm_config=llm_config,
)
# 프로덕트 매니저 역할의 에이전트
pm = autogen.AssistantAgent(
    name="Product_Manager",
    is_termination_msg=termination_msg,
    system_message="You are a product manager. Reply `TERMINATE` in the end when everything is done.",
    llm_config=llm_config,
)

PROBLEM = "AutoGen Studio는 무엇이고 AutoGen Studio로 어떤 제품을 만들 수 있을까?"

 

 

↪︎  총 4개의 에이전트 정의 (RAG미사용 에이전트, RAG사용 에이전트-autogen깃헙링크전달, 파이썬 프로그래머 역할의 에이전트 coder, 프로덕트 매니저 역할의 에이전트 pm) 

↪︎  PROBLEM 질문에 답변하기 위해 협력을 진행함 

 

 

def _reset_agents():
    user.reset()
    user_rag.reset()
    coder.reset()
    pm.reset()

def rag_chat():
    _reset_agents()
    groupchat = autogen.GroupChat(
        agents=[user_rag, coder, pm],
        messages=[], max_round=12, speaker_selection_method="round_robin"
    )
    manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=llm_config)

    user_rag.initiate_chat(
        manager,
        problem=PROBLEM,
    )

def norag_chat():
    _reset_agents()
    groupchat = autogen.GroupChat(
        agents=[user, coder, pm],
        messages=[],
        max_round=12,
        speaker_selection_method="auto",
        allow_repeat_speaker=False,
    )
    manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=llm_config)

    user.initiate_chat(
        manager,
        message=PROBLEM,
    )

 

↪︎  rag_chat : RAG를 사용하는 user_rag, coder, pm이 대화를 나눔 

↪︎  norag_chat : RAG를 사용하지 않는 user, coder, pm이 대화를 나눔

 

↪︎  autogen.GroupChat : 해당 클래스로 누가 대화에 참여하는지, 발화자는 어떻게 선정할지 (speaker_selection_method), 최대 몇번의 대화를 진행할지 (max_round) 등 인자를 설정한다. 

 

↪︎  autogen.GroupChatManager : 그룹챗 대화를 관리하는 매니저를 지정하는 과정으로, 앞서 정의한 그룹챗을 전달하면 된다. initate_chat 메서드를 통해 대화를 시작하면 된다. 

 

 

 

 

↪︎  실행 결과, norag_chat 에서는 AutoGen 스튜디오에 대해 잘 알지 못하여 AutoGen이 자동화된 코드 생성 도구라고 소개하고 있는 것을 알 수 있다. RAG를 사용한 rag_chat 결과는 잘 설명하고 있음을 볼 수 있다. 

 

 

 

4.3  멀티모달 에이전트

 

 

❍  멀티모달 Agent 구현 

 

import os
import re
import time
from typing import Any, Callable, Dict, List, Optional, Tuple, Type, Union

import matplotlib.pyplot as plt
import PIL
import requests
from openai import OpenAI
from PIL import Image

from autogen import Agent, AssistantAgent, ConversableAgent, UserProxyAgent
from autogen.agentchat.contrib.img_utils import _to_pil, get_image_data
from autogen.agentchat.contrib.multimodal_conversable_agent import MultimodalConversableAgent

config_list_4o = autogen.config_list_from_json(
    "OAI_CONFIG_LIST.json",
    filter_dict={
        "model": ["gpt-4o"],
    },
)

config_list_dalle = autogen.config_list_from_json(
    "OAI_CONFIG_LIST.json",
    filter_dict={
        "model": ["dall-e-3"],
    },
)

 

 

↪︎  멀티모달모델을 활용하면 텍스트와 이미지 입력을 함께 처리하는 에이전트 구현이 가능 : gpt-4o와 dall-e3모델로 텍스트를 입력했을 때 텍스트에 맞는 이미지를 생성하고 이미지를 입력하면 이미지와 유사한 이미지를 생성하는 멀티모달에이전트 만들기 실습 진행 

 

 

 

def dalle_call(client, prompt, model="dall-e-3", size="1024x1024", quality="standard", n=1) -> str:
    response = client.images.generate(
        model=model,
        prompt=prompt,
        size=size,
        quality=quality,
        n=n,
    )
    image_url = response.data[0].url
    img_data = get_image_data(image_url)
    return img_data

class DALLEAgent(ConversableAgent):
    def __init__(self, name, llm_config: dict, **kwargs):
        super().__init__(name, llm_config=llm_config, **kwargs)

        try:
            config_list = llm_config["config_list"]
            api_key = config_list[0]["api_key"]
        except Exception as e:
            print("Unable to fetch API Key, because", e)
            api_key = os.getenv("OPENAI_API_KEY")
        self.client = OpenAI(api_key=api_key)
        self.register_reply([Agent, None], DALLEAgent.generate_dalle_reply)

    def generate_dalle_reply(self, messages, sender, config):
        client = self.client if config is None else config
        if client is None:
            return False, None
        if messages is None:
            messages = self._oai_messages[sender]

        prompt = messages[-1]["content"]
        img_data = dalle_call(client=self.client, prompt=prompt)
        plt.imshow(_to_pil(img_data))
        plt.axis("off")
        plt.show()
        return True, 'result.jpg'

 

 

↪︎  DALLEAgent와 모델 API요청에 사용하는 dalle_call 함수 정의 

↪︎  dalle_call : 입력 프롬프트를 OpenAI의 DALL-E API에 전달해 이미지를 생성한다. get_image_data 함수를 통해 내려받아 img_data 변수에 저장하고 반환 

↪︎  DALLEAgent 는 OpenAI 클라이언트를 관리하고 generate_dalle_reply 메서드를 통해 대화 메시지로 받은 프롬프트로 이미지를 생성 

 

 

painter = DALLEAgent(name="Painter", llm_config={"config_list": config_list_dalle})

user_proxy = UserProxyAgent(
    name="User_proxy", system_message="A human admin.", human_input_mode="NEVER", max_consecutive_auto_reply=0
)

# 이미지 생성 작업 실행하기
user_proxy.initiate_chat(
    painter,
    message="갈색의 털을 가진 귀여운 강아지를 그려줘",
)

 

 

↪︎ painter 변수에 이미지 생성 에이전트를 인스턴스화하고 사용자 역할 에이전트를 통해 요청을 전달한다. 

 

 

 

 

❍  이미지를 입력으로 받는 GPT-4o 에이전트 생성 

↪︎  DALLEAgent는 텍스트를 입력으로 받아 이미지를 생성할 수 있다. 이미지도 입력으로 넣을수 있는 GPT-4o 에이전트

 

image_agent = MultimodalConversableAgent(
    name="image-explainer",
    system_message="Explane input image for painter to create similar image.",
    max_consecutive_auto_reply=10,
    llm_config={"config_list": config_list_4o, "temperature": 0.5, "max_tokens": 1500},
)

user_proxy = autogen.UserProxyAgent(
    name="User_proxy",
    system_message="A human admin.",
    human_input_mode="NEVER",
    max_consecutive_auto_reply=0,
    code_execution_config=False
)

groupchat = autogen.GroupChat(agents=[user_proxy, image_agent, painter], messages=[], max_round=12)
manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=llm_config)

user_proxy.initiate_chat(
    manager,
    message=f"""아래 이미지랑 비슷한 이미지를 만들어줘.
<img https://th.bing.com/th/id/R.422068ce8af4e15b0634fe2540adea7a?rik=y4OcXBE%2fqutDOw&pid=ImgRaw&r=0>.""",
)

user_proxy.initiate_chat(
    manager,
    message="갈색의 털을 가진 귀여운 강아지를 그려줘",
)

 

 

↪︎  MultimodalConversableAgent 클래스를 사용하여, 에이전트를 생성한다. 

↪︎  image_agent (gpt4o)는 입력된 이미지를 설명하는 텍스트를 생성하는 역할을 한다. 

↪︎  system_message로 painter (DALLEAgent)가 입력된 이미지와 유사한 그림을 그릴 수 있도록 입력 이미지를 설명하라고 지시함. 그룹챗 기능을 통해 사용자 역할 에이전트와 image_agent, painter가 함께 대화를 나누도록 한다. 

 

↪︎  전달한 이미지와 비슷한 이미지 사진을 그려달라고 하면 유사한 이미지를 그려준다. 이때, image-explainer 가 그림에 대해 설명해주는 내용도 확인할 수 있다.