구글, 프로젝트 게임페이스 안드로이드 손쉬운 조작 지원

구글은 I/O 2023에서 프로젝트 게임페이스(Project Gameface)를 공개하며, 손 움직임 없이 얼굴의 움직임과 표정을 통해 컴퓨터 커서를 조작할 수 있는 개방형 소스의 게임용 '마우스'를 소개했습니다. 이는 근육을 약화시키는 진행성 질환인 근디스트로피를 앓고 있는 사지 마비 비디오 게임 스트리머인 Lance Carr의 이야기에서 영감을 받아 개발된 프로젝트입니다. 구글은 Lance와 협력하여 Project Gameface를 현실로 만들었으며, 이 제품에 대한 자세한 이야기는 Google 블로그에서 확인할 수 있습니다.
구글은 이 프로젝트를 통해 플레이어빌리티(playAbility)와 같은 회사들이 Project Gameface의 빌딩 블록인 MediaPipe Blendshapes를 포함한 다양한 기능을 포용적인 소프트웨어에 활용하는 모습을 보며 기뻐하고 있습니다. 이제 구글은 더 많은 코드를 오픈 소스로 공개하여 개발자들이 안드로이드 애플리케이션을 구축해 모든 안드로이드 장치를 더 접근 가능하게 만들 수 있도록 지원하고 있습니다. 사용자의 얼굴 표정과 머리 움직임을 통해 개인 맞춤형 조작을 가능하게 하는 이 기술은 디바이스의 카메라를 통해 실시간으로 추적됩니다. 개발자들은 이제 사용자가 얼굴 표정, 제스처 크기, 커서 속도 등을 개인화할 수 있는 애플리케이션을 구축할 수 있습니다.

Introducing Project Gameface for Android(*source : Google)

1. Project Gameface의 안드로이드 버전 개발

구글은 인도에서 장애인을 지원하는 사회적 기업인 Incluzza와 협력하여 Project Gameface를 교육, 작업 및 기타 설정으로 확장하는 방법을 학습했습니다. 예를 들어, 가족에게 메시지를 보내거나 새로운 직업을 찾는 것과 같은 일들이 포함됩니다.
안드로이드 버전의 Project Gameface를 개발하면서, 구글은 세 가지 핵심 원칙을 기반으로 제품 디자인과 개발을 진행했습니다.

1. 장애가 있는 사람들에게 안드로이드 장치를 조작할 수 있는 새로운 수단을 제공
2. 일반적으로 사용 가능한 비용 효율적인 솔루션을 구축하여 확장 가능한 사용을 가능하게 함
3. 첫 번째 Gameface 출시에서 얻은 교훈과 지침을 활용하여 제품을 사용자 친화적이고 맞춤화 가능하게 만듦

안드로이드 장치에서 커서 구축

Project Gameface에 대한 긍정적인 피드백을 바탕으로, 구글은 머리 움직임으로 커서를 이동하고 얼굴 표정을 통해 동작을 수행하는 아이디어가 사용자와 개발자들에게 호평을 받고 있음을 깨달았습니다. 이 아이디어를 안드로이드 장치에 적용하여 새로운 가상 커서를 도입했습니다. 구글은 안드로이드 접근성 서비스를 사용하여 새로운 커서를 만들고 MediaPipe의 얼굴 랜드마크 감지 API를 활용하여 커서가 사용자의 머리 움직임에 따라 움직이도록 프로그래밍했습니다.
API 내에는 52개의 얼굴 블렌드쉐이프 값이 있으며, 이 값들은 왼쪽 눈썹을 올리거나 입을 여는 것과 같은 52가지 얼굴 제스처의 표현력을 나타냅니다. 구글은 이 52개의 값 중 일부를 사용하여 광범위한 기능을 효과적으로 매핑하고 제어하여 사용자에게 확장된 맞춤화 및 조작 가능성을 제공합니다. 또한, 블렌드쉐이프 계수를 활용하여 개발자가 각 특정 표현에 대해 다른 임계값을 설정할 수 있게 하여 경험을 맞춤화할 수 있습니다.

안드로이드 접근성 서비스의 최적화

모바일 액션

Windows 버전의 Project Gameface에서는 일반적인 클릭 동작을 복제할 수 있게 했습니다. 그러나 안드로이드에서는 사용자가 수행해야 하는 기능이 더 많습니다. 운영 체제에 입력되는 터치 이벤트뿐만 아니라 "뒤로 가기", "멀티태스킹으로 전환", "홈으로 가기"와 같은 전역 액션 이벤트도 있습니다. 구글은 Android Accessibility API가 지원하는 모바일 액션을 사용하여 사용자에게 제공할 수 있는 액션을 결정했습니다. 현재 Project Gameface for Android는 GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS를 지원합니다.

카메라 피드

카메라 피드는 사용자 경험을 크게 향상시키며 정확한 임계값 설정과 제스처에 대한 깊은 이해를 돕습니다. 또한, 카메라가 사용자의 머리 움직임과 제스처를 이해하는 데 적극적으로 사용되고 있음을 사용자에게 명확히 전달합니다. 단순히 카메라 피드의 오버레이를 생성하는 것만으로는 안드로이드 설정과 같은 중요한 섹션에 접근할 수 없게 됩니다. 구글은 안드로이드 접근성 서비스를 사용하여 Project Gameface의 카메라가 안드로이드 설정 및 사용자의 장치의 다른 중요한 섹션에서도 계속 떠다니도록 했습니다.

드래그 기능 활성화

안드로이드 접근성 서비스에는 현재 실시간으로 인터랙티브한 화면 드래그를 수행할 수 있는 간단한 방법이 없습니다. 그러나 구글의 제품은 시작 및 종료 지점을 정의할 수 있는 드래그 기능을 포함하도록 업그레이드되었습니다. 따라서 드래그 동작이 지정된 경로를 따라 원활하게 실행됩니다.
구글은 Project Gameface의 잠재력을 보고 매우 흥분하고 있으며, 개발자와 기업이 이를 활용하여 새로운 경험을 구축하기를 기대하고 있습니다. Gameface의 코드는 이제 Github에 오픈 소스로 공개되어 있습니다.

2. 안드로이드에서 손쉬운 인터페이스 확장

2024년의 접근성 인식의 날을 맞아, 구글은 이동성 또는 시각 장애가 있는 사람들에게 유용한 안드로이드 업데이트를 공개했습니다. Project Gameface는 데스크톱에서 얼굴을 사용해 커서를 이동하고 일반적인 클릭 동작을 수행할 수 있게 해주며, 이제 안드로이드에서도 사용할 수 있습니다.
이 프로젝트는 제한된 이동성을 가진 사람들이 눈썹을 올리거나, 입을 움직이거나, 머리를 돌리는 등 얼굴 움직임을 통해 다양한 기능을 활성화할 수 있게 합니다. 기본적인 가상 커서 외에도, 사용자는 예를 들어 입을 열고, 머리를 움직이고, 다시 입을 닫아 스와이프의 시작과 끝을 정의할 수 있는 제스처도 사용할 수 있습니다.

맞춤형 조정

Project Gameface는 사용자 능력에 맞게 맞춤형 조정이 가능합니다. 예를 들어, 사용자가 제스처를 활성화하기 위해 머리를 얼마나 움직여야 하는지 변경할 수 있습니다. 이러한 세밀한 조정은 마우스나 트랙패드의 민감도를 설정하는 것만큼이나 중요합니다.
또한, 키보드를 쉽게 조작할 수 없는 사람들을 위해 새로운 비텍스트 '말하기를 위한 눈' 모드가 추가되었습니다. 이를 통해 사람들은 이모지를 선택하고 보내거나, 문구나 동작을 대표하는 이모지를 보낼 수 있습니다. 사용자는 자신의 사진을 추가할 수 있으며, 자주 사용하는 연락처의 사진을 첨부하여 몇 번의 시선만으로 접근할 수 있습니다.
시각 장애가 있는 사람들을 위해, 휴대전화 카메라가 보는 물체를 식별할 수 있는 다양한 도구가 있습니다. 단순히 빈 의자를 찾거나 열쇠고리를 인식하고 가리키는 등 무수한 사용 사례가 있습니다. 사용자는 사용자 정의 객체 또는 위치 인식을 추가하여 인스턴트 설명 기능이 일반적인 물체 목록 대신 필요한 정보를 제공할 수 있습니다.
Apple과 Microsoft도 최근 접근성 기능을 공개했습니다. 이러한 프로젝트는 주로 메인 무대에서 다루어지지는 않지만, 이를 필요로 하는 사람들에게는 매우 중요합니다. 이러한 이유로 Project Gameface와 같은 접근성 기술은 더욱 주목받을 가치가 있습니다.

구글 프로젝트 게임페이스

손 움직임 없이 얼굴의 움직임과 표정을 통해 컴퓨터 커서를 조작

https://developers.googleblog.com/en/project-gameface-launches-on-android/