메타(Meta) 생각을 이미지로 재연하는 AI 시스템

뇌 활동 이미지의 실시간 디코딩을 향한 여정

우리의 뇌는 매일 매 순간 수많은 감각 신호를 세심하게 조각하여 주변 세계를 의미 있게 표현합니다. 하지만 이 지속적인 과정이 실제로 어떻게 작동하는지는 아직 제대로 이해되지 않았습니다.

오늘 메타는 이 근본적인 의문을 풀기 위한 중요한 이정표를 발표합니다. 초당 수천 개의 뇌 활동을 측정하는 비침습적 신경 영상 기술인 뇌자도(MEG)를 사용하여 전례 없는 시간적 해상도로 뇌에서 시각적 표현이 전개되는 과정을 해독할 수 있는 AI 시스템을 선보입니다.

이 AI 시스템은 실시간으로 배포되어 뇌 활동으로부터 매 순간 뇌가 인식하고 처리하는 이미지를 재구성할 수 있습니다. 이를 통해 과학계는 이미지가 뇌에서 어떻게 표현되고 인간 지능의 기초로 사용되는지 이해할 수 있는 중요한 길을 열게 됩니다. 장기적으로는 임상 환경에서 비침습적 뇌-컴퓨터 인터페이스를 향한 디딤돌이 되어 뇌 손상을 입은 후 말하기 능력을 상실한 사람들을 도울 수 있을 것입니다.

우리는 MEG 신호에서 음성 인식을 해독하도록 훈련된 최신 아키텍처를 활용하여 이미지 인코더, 뇌 인코더, 이미지 디코더로 구성된 세 부분으로 구성된 시스템을 개발합니다. 이미지 인코더는 뇌와 독립적으로 이미지의 풍부한 표현 세트를 구축합니다. 그런 다음 뇌 인코더는 이러한 이미지 임베딩에 MEG 신호를 정렬하는 방법을 학습합니다. 마지막으로 이미지 디코더는 이러한 뇌 표현을 바탕으로 그럴듯한 이미지를 생성합니다.

https://www.nature.com/articles/s42256-023-00714-5

MEG 레코딩은 이미지의 심층 표현에 지속적으로 정렬되며, 이를 통해 매 순간 이미지 생성을 조절할 수 있습니다.

건강한 지원자로부터 수집하고 동일한 이미지 데이터베이스를 기반으로 실험 데이터를 공유하는 국제 학술 연구자 컨소시엄인 Things에서 공개한 MEG 기록의 공개 데이터 세트를 기반으로 이 아키텍처를 학습합니다.

먼저 사전 학습된 다양한 이미지 모듈로 얻은 디코딩 성능을 비교한 결과, 뇌 신호가 사람의 주석 없이도 풍부한 시각적 표현을 학습할 수 있는 최신 자기 지도 아키텍처인 DINOv2와 같은 최신 컴퓨터 비전 AI 시스템과 가장 잘 일치하는 것으로 나타났습니다. 이 결과는 자기 지도 학습을 통해 AI 시스템이 뇌와 유사한 표현을 학습할 수 있음을 확인시켜 줍니다: 알고리즘의 인공 뉴런은 동일한 이미지에 대한 반응으로 뇌의 물리적 뉴런과 유사하게 활성화되는 경향이 있습니다.

자원 봉사 참가자가 보는 이미지(왼쪽)와 각 시점의 MEG 활동에서 디코딩된 이미지(오른쪽). 각 이미지는 약 1.5초마다 표시됩니다.

이러한 AI 시스템과 뇌 사이의 기능적 정렬은 참가자가 스캐너에서 보는 것과 유사한 이미지 생성을 유도하는 데 사용될 수 있습니다. 연구 결과에 따르면 기능적 자기공명영상(fMRI)으로 이미지를 더 잘 디코딩할 수 있지만, 유니티의 MEG 디코더는 매 순간마다 사용할 수 있으므로 뇌 활동에서 디코딩된 이미지의 연속적인 흐름을 생성할 수 있습니다.

생성된 이미지는 불완전하지만 재구성된 이미지에는 객체 범주와 같은 풍부한 상위 수준의 특징이 보존되어 있는 것으로 나타났습니다. 그러나 AI 시스템은 생성된 이미지에서 일부 오브젝트를 잘못 배치하거나 방향을 잘못 지정하여 부정확한 하위 레벨 특징을 생성하는 경우가 많습니다. 특히, 자연 장면 데이터세트를 사용하여 MEG 디코딩으로 생성된 이미지가 비교적 속도가 느리지만 공간적으로 정밀한 신경 영상 기술인 fMRI로 얻은 디코딩보다 정확도가 떨어짐을 보여줍니다.

자원 봉사 참가자가 보는 이미지(왼쪽)와 fMRI 활동에서 해독된 이미지(오른쪽).

전반적으로, 우리의 연구 결과는 MEG가 뇌에서 생성되는 복잡한 표현의 증가를 밀리초 단위의 정밀도로 해독하는 데 사용될 수 있음을 보여줍니다. 보다 일반적으로 이 연구는 인간 지능의 기초를 이해하고, 현재의 머신 러닝 알고리즘과 비교하여 유사점과 차이점을 파악하며, 궁극적으로 인간처럼 학습하고 추론하도록 설계된 AI 시스템의 개발을 유도하기 위한 Meta의 장기적인 연구 이니셔티브를 강화하는 데 도움이 됩니다.

https://ai.meta.com/blog/brain-ai-image-decoding-meg-magnetoencephalography/

Towards a Real-Time Decoding of Images from Brain Activity