어뎁트, 푸유-헤비 멀티모달 언어모델 발표

최근 인공지능(AI) 기술의 발전 속도는 경이롭습니다. 이러한 발전의 선두에 있는 기업 중 하나가 바로 '어뎁트(Adept)'입니다. 어뎁트는 AI 에이전트 개발에 있어 높은 전문성을 지닌 스타트업으로, 이번에 새로운 멀티모달 언어 모델(LMM)인 '푸유-헤비(Fuyu-Heavy)'를 2024년 1월 27일 출시했습니다. 이 모델은 'GPT-4 V'와 '제미나이 울트라'에 이어 세계에서 세 번째로 뛰어난 성능을 자랑합니다.

1. 푸유-헤비의 특징

푸유-헤비는 주로 디지털 에이전트를 위해 설계된 모델로, 가벼운 사이즈에도 불구하고 강력한 성능을 발휘합니다. 특히 그래픽 사용자 인터페이스(GUI)와 합성된 훈련 데이터를 사용하여 소프트웨어와 API 도구를 활용한 지능적인 AI 비서를 구축하는 데 최적화되어 있습니다.

• 멀티모달 추론 능력 : 푸유-헤비는 멀티모달 추론 능력이 뛰어납니다. UI 이해 능력이 특히 강력하며, 전통적인 멀티모달 벤치마크에서도 우수한 성능을 발휘합니다. MMMU 벤치마크에서 제미나이 프로(Gemini Pro)보다 높은 점수를 기록한 것이 그 예입니다.
• 텍스트 및 이미지 처리 능력 : 푸유-헤비는 모든 해상도의 이미지를 처리하고, 그래프와 다이어그램을 이해하며, UI를 기반으로 한 자연어 질문에 답변할 수 있습니다. 또한, 이미지 내 개체의 세밀한 위치 파악도 가능합니다. 텍스트 전용 평가에서도 동급의 모델들과 비교해 동등하거나 그 이상의 성능을 기록했습니다.
• 성능 및 응답 시간 : 푸유-헤비는 시각적 질문 답변 및 자연스러운 이미지 캡션 생성 등 표준 이미지 이해 벤치마크에서 우수한 성능을 발휘합니다. 응답 시간도 매우 빠르며, 100밀리초(ms) 이내에 큰 이미지를 처리할 수 있습니다.

2. 푸유-헤비의 개발 배경

어뎁트는 유용한 일반 인공지능을 구축하는 것을 목표로 합니다. 이를 위해 먼저 디지털 세계와 에이전트를 연결하고(예: ACT-1), 훈련, 평가, 추론, 데이터 수집을 위한 견고한 도구를 개발했습니다. 이러한 목표를 달성한 후, 푸유 아키텍처를 확장하고 최적화하는 작업을 진행했습니다.

특히 이미지 데이터는 시스템에 큰 부하를 주기 때문에, 데이터 제공 및 메모리 사용 문제, 클라우드 스토리지 입출력 문제 등을 해결해야 했습니다. 또한, 이미지 모델의 불안정성을 해결하기 위해 아키텍처와 훈련 절차를 상당히 수정했습니다.

3. 벤치마크 결과

푸유-헤비는 다양한 벤치마크에서 뛰어난 성능을 기록했습니다. MMMU 벤치마크에서는 제미나이 프로보다 더 높은 점수를 기록했으며, VQAv2, AI2D, ChartQA 등의 데이터셋에서도 우수한 성능을 발휘했습니다. 이러한 성능은 푸유-헤비가 작은 모델임에도 불구하고, 대규모 모델과 비교해 손색없는 성능을 발휘한다는 것을 의미합니다.

• 뛰어난 벤치마크 성과: 푸유-헤비는 MT-Bench 및 AlpacaEval1.0 등 다양한 벤치마크에서 우수한 성능을 기록했습니다. 특히, 시각적 질문 답변 및 자연스러운 이미지 캡션에서 뛰어난 결과를 보여주었으며, MMMU 벤치마크에서도 큰 모델과 동등하거나 이를 능가하는 성능을 보였습니다.
• 응답 시간: 모델은 100밀리초(ms) 이내에 큰 이미지를 처리할 수 있는 빠른 응답 시간을 자랑합니다. 이는 실시간 응용 프로그램에서의 활용 가능성을 시사합니다.

이미지와 텍스트 입력에 대답하는 푸유-헤비

4. 결과

어뎁트의 푸유-헤비는 디지털 에이전트를 위한 최적의 멀티모달 언어 모델로, 가벼운 사이즈에도 불구하고 강력한 성능을 자랑합니다. 이 모델은 GPT-4 V와 제미나이 울트라에 이어 세계에서 세 번째로 뛰어난 성능을 기록했으며, 다양한 응용 분야에서 큰 잠재력을 가지고 있습니다. 앞으로도 어뎁트의 혁신적인 AI 기술이 어떻게 발전해 나갈지 기대가 됩니다.

어뎁트 퓨유-헤비