애플, 온디바이스 AI를 위한 오픈 소스 소형언어모델 '오픈ELM'

애플의 전략적 변화와 오픈 소스의 진화

애플이 최근 발표한 '오픈ELM(OpenELM)'은 단순한 언어 모델을 넘어서서 기술 산업에 일대 혁신을 가져올 전망입니다. 이 오픈 소스 소형언어모델(sLM)은 기기 내에서 완벽하게 실행되는 온디바이스 인공지능(AI)에 최적화되어 있으며, 사용자의 개인 정보 보호와 접근성을 크게 향상시킵니다.

OpenELM

오픈ELM의 기술적 특징

오픈ELM은 허깅페이스에서 제공하는 사전 훈련된 모델과 명령 조정 모델을 포함해 다양한 모델 사이즈를 지원합니다. 이 모델들은 2억7000만개에서 최대 30억개의 매개변수를 갖추고 있어, 다양한 하드웨어에서 효율적으로 작동할 수 있도록 설계되었습니다. 특히 이는 사용자의 특정 요구에 빠르고 정확하게 응답할 수 있는 AI의 능력을 대폭 강화합니다.

오픈 소스로서의 오픈ELM

애플은 오픈ELM을 통해 모델 가중치, 추론 코드, 학습 로그 등을 포함한 전체 프레임워크를 공개함으로써, 개발자 커뮤니티가 AI 모델을 보다 쉽게 수정하고 개선할 수 있는 기회를 제공합니다. 이는 오픈 소스 프로젝트의 잠재력을 극대화하며, 애플이 그간 보유해 온 폐쇄적 이미지를 탈피하고 기술 공유와 협력을 추구하는 새로운 전략을 보여줍니다.

성능 평가

오픈ELM은 다양한 벤치마크 테스트에서 뛰어난 성능을 보여주었습니다. 특히 0.45B 모델은 경쟁 모델 대비 우수한 성능을 보이며, 기술적 진보와 함께 실용적 가치도 입증하였습니다.

Model Size	ARC-c	Crows-Pairs	HellaSwag	MMLU	PIQA	RACE	TruthfulQA	WinoGrande	Average
OpenELM-270M	27.65	66.79	47.15	25.72	69.75	30.91	39.24	53.83	45.13
OpenELM-270M-Instruct	32.51	66.01	51.58	26.70	70.78	33.78	38.72	53.20	46.66
OpenELM-450M	30.20	68.63	53.86	26.01	72.31	33.11	40.18	57.22	47.69
OpenELM-450M-Instruct	33.53	67.44	59.31	25.41	72.63	36.84	40.48	58.33	49.25
OpenELM-1B	36.69	71.74	65.71	27.05	75.57	36.46	36.98	63.22	51.68
OpenELM-1B-Instruct	41.55	71.02	71.83	25.65	75.03	39.43	45.95	64.72	54.40
OpenELM-3B	42.24	73.29	73.28	26.76	78.24	38.76	34.98	67.25	54.35
OpenELM-3B-Instruct	47.70	72.33	76.87	24.80	79.00	38.47	38.76	67.96	55.73

벤치마크	설명
ARC-C	상식에 기반한 질문으로 구성되어 AI의 추론력을 평가하는 데이터 세트
Crows-Pairs	모델의 편향과 스테레오타입을 탐지하는 능력을 평가하는 데이터 세트
HellaSwag	문맥 이해 및 예측 능력을 평가하는 데이터 세트
MMLU	다양한 주제에 대한 언어 이해 능력을 평가하는 데이터 세트
PIQA	물리적 상호작용과 상식에 관한 문제 해결 능력을 평가하는 데이터 세트
RACE	긴 문단을 읽고 이해한 후 질문에 답하는 독해력을 평가하는 데이터 세트
TruthfulQA	AI 모델의 진실성을 평가하는 데이터 세트
WinoGrande	애매한 상황에서의 추론과 참조 식별 능력을 평가하는 데이터 세트

상업적 이용과 법적 고려사항

오픈ELM은 '애플 샘플 코드 라이선스' 하에 배포되며, 상업적 용도로 사용 가능하지만, 재배포 시 라이선스 조건을 준수해야 합니다. 이는 개발자와 기업이 이 기술을 사용함에 있어 법적 안정성을 제공합니다.

결론

애플의 오픈ELM 출시는 클라우드 기반 AI에서 독립적인 기기 내 실행으로의 전환을 의미하며, 개인 정보 보호와 접근성 측면에서 큰 발전을 이루었습니다. 이는 또한 애플이 오픈 소스 커뮤니티와의 상호작용을 강화하고, 기술의 민주화에 기여하려는 의지를 보여주는 사례입니다. 향후 이 기술의 발전과 적용 사례들이 더욱 주목되며, 이를 통해 다양한 산업 분야에서 혁신적인 변화가 기대됩니다.

https://arxiv.org/pdf/2404.14619