인공일반지능(AGI) 벤치마크 'ARC-AGI'

인공일반지능(AGI)의 개발은 AI 분야에서 가장 도전적인 목표 중 하나입니다. 이러한 AGI의 발전을 측정하고 평가하기 위한 벤치마크로 ARC-AGI(Abstraction and Reasoning Corpus for Artificial General Intelligence)가 주목받고 있습니다. 

ARC-AGI의 설계 원리와 목적

ARC-AGI는 2019년 프랑수아 숄레(François Chollet)에 의해 개발되었으며, AI 시스템의 일반화 능력과 추론 능력을 평가하는 것을 목표로 합니다. 기존의 벤치마크들이 특정 분야나 사전 학습된 데이터에 의존하는 반면, ARC-AGI는 미지의 과제에 대한 적응력을 중점적으로 평가합니다. 이는 AI 시스템이 제한된 경험과 사전 지식으로 새로운 과제를 얼마나 효율적으로 해결할 수 있는지를 측정합니다.

ARC-AGI의 핵심 특징은 다음과 같습니다:

• 핵심 지식 프라이어(Core Knowledge Priors): 인간이 선천적으로 가지는 기본적인 인지 능력을 모방하여, 문화적 지식이나 언어적 요소를 배제하고 보편적인 문제 해결 능력을 평가합니다.
• 인간에게는 쉽고, AI에게는 어려운 과제: ARC-AGI의 과제는 인간에게는 직관적으로 해결 가능하지만, AI에게는 도전적인 문제들로 구성되어 있습니다. 이를 통해 AI의 진정한 일반화 능력을 평가할 수 있습니다.

ARC-AGI-2의 도입과 최신 동향

2025년 3월, ARC-AGI의 두 번째 버전인 ARC-AGI-2가 도입되었습니다. 이는 이전 버전보다 AI에게 더욱 어려운 과제를 포함하며, 인간 참가자들은 모든 과제를 두 번 이하의 시도로 해결할 수 있도록 설계되었습니다.

ARC-AGI-2의 주요 특징은 다음과 같습니다:

• 상징적 해석(Symbolic Interpretation): 기호나 심볼의 의미를 이해하고 적용하는 능력을 평가합니다. 현재의 AI 시스템은 이러한 과제에서 어려움을 겪고 있습니다.
• 구성적 추론(Compositional Reasoning): 여러 규칙을 동시에 적용하거나 상호작용하는 복잡한 문제를 해결하는 능력을 측정합니다.
• 맥락적 규칙 적용(Contextual Rule Application): 상황에 따라 다르게 규칙을 적용하는 능력을 평가합니다.

이러한 과제들은 AI 시스템의 한계를 드러내며, 새로운 접근 방식의 필요성을 강조합니다.

OpenAI의 o3 모델과 ARC-AGI 성능

2024년 12월, OpenAI는 새로운 모델인 o3를 발표하였으며, 이는 ARC-AGI-1에서 75.7%의 높은 효율성 점수를 기록하였습니다. 그러나 ARC-AGI-2에서는 동일한 모델이 낮은 성능을 보였으며, 이는 새로운 벤치마크의 난이도를 반영합니다.

ARC Prize 2025와 향후 전망

ARC-AGI-2의 도입과 함께, ARC Prize 2025가 개최되어 전 세계 연구자들이 참여하고 있습니다. 이 대회는 ARC-AGI-2에서 85% 이상의 정확도를 달성하는 것을 목표로 하며, AGI 개발을 촉진하기 위한 중요한 이정표로 작용하고 있습니다.

결론

ARC-AGI는 AI 시스템의 일반화 능력과 추론 능력을 평가하는 중요한 벤치마크로 자리매김하고 있습니다. 특히 ARC-AGI-2의 도입은 AGI 개발의 새로운 도전을 제시하며, 연구자들에게 혁신적인 접근 방식을 요구하고 있습니다. 이러한 벤치마크와 대회는 AGI의 실현을 향한 중요한 발걸음이 될 것입니다.

참고문헌

• François Chollet, "On the Measure of Intelligence", 2019.
• ARC Prize 공식 웹사이트: https://arcprize.org/
• OpenAI o3 모델 성능 보고서: https://arcprize.org/blog/oai-o3-pub-breakthrough