온디바이스 프로세싱과 AI의 결합

인공지능(AI)이 우리의 삶에서 더 큰 역할을 하고 있는데, 자율 주행 차량을 운전하거나 은행 계좌에 접근하기 위해 얼굴 인식을 사용하거나, 빠르게 변화하는 보안 위협으로부터 기기를 안전하게 보호하는 등의 작업에서 그 역할이 더욱 커지고 있습니다. 과거에는 이러한 처리를 위해 클라우드의 파워가 필요했지만, 현재는 스마트폰과 드론과 같은 엣지 디바이스가 계산 집약적인 AI 작업을 실행할 수 있게 되었습니다. 사실, 많은 경우에 엣지 디바이스가 AI 기반 응용 프로그램을 실행하는 우선적인 플랫폼이 되고 있습니다.

On-device processing

실제로 우리가 인식하는 것보다 더 많은 AI 응용 프로그램이 오늘날 등장하고 있습니다. 기기가 AI로 장착되면 보다 선명한 이미지와 동영상을 촬영하거나, 보다 자연스러운 대화를 할 수 있거나, 환경을 인식하고 안전하게 목적지로 자율적으로 안내함으로써 우리의 삶을 크게 개선할 수 있습니다.

"AI는 기기가 인간 뇌를 모방하는 데 도움이 되는 모든 것을 포괄하는 용어입니다,"라고 퀄컴의 제품 관리 책임자 게리 브로트만은 말합니다. "머신 러닝(ML)은 AI가 가능하게 하는 문제를 해결하기 위한 다양한 기법과 알고리즘의 넓은 범주입니다. 우리가 주로 집중하는 분야는 심층 학습(DL)과 순환 신경망(RNN)으로, 이것들은 실제 장치에서 실행됩니다."

AI 알고리즘의 중요한 개선과 장치 내 처리능력이 AI를 보편화하는 데 필수적인 두 가지 요소로 인해 사용자 경험이 더욱 원활하고 매력적으로 변화하고 있습니다. 특히 AI 기반 기능이 자동차, 가정용 장치 및 사물인터넷(IoT) 센서로 이동하면서 이러한 경향이 더욱 두드러지게 나타나고 있습니다. AI 우산 아래 다양한 기술들로 인한 강화된 지각 및 인지 능력은 ML, DL 및 RNN과 같은 기술을 현대적인 엣지 디바이스에서 실행할 수 있게 되었습니다.

예를 들어, 기기 내 AI는 이미지 인식 및 고급 이미지 처리를 개선할 수 있으며, 백화현상 효과(부드러운 아웃 오브 포커스 배경)나 스타일 전송과 같은 작업도 수행할 수 있습니다. 또한 AI 장치는 키워드와 음성을 인식하여 소비자에게 더 잘 반응하고 외국어 번역을 돕는 등 학습할 수 있습니다.

또한, AI는 기기와 앱이 사용자 선호도와 주변 환경을 더 잘 이해하고 의도를 이해하며 문맥적으로 관련 있는 방식으로 응답할 수 있도록 돕습니다. "기기 내 AI는 문맥적으로 풍부한 경험을 제공합니다,"라고 브로트만은 말합니다. "시간이 지남에 따라 기기는 다음에 무엇을 할 것인지 예측하고 보다 깊은 이해를 갖게 될 것입니다."

손안의 AI

기기 내 AI에는 몇 가지 중요한 이점이 있습니다. "첫 번째는 성능입니다. 기기에서 처리하는 것이 더 빠릅니다. 클라우드로의 왕복이 없기 때문입니다,"라고 브로트만은 말합니다. "다음은 개인 정보 보호입니다. 사람들은 일부 개인 데이터를 공유하는 것은 편안하지만 모든 것을 공유하는 것은 아닙니다. 그리고 세 번째는 신뢰성입니다. 모바일 네트워크는 보편적이지만 항상 연결이 되어 있을 보장은 없습니다."

성능: 기기에서 AI 알고리즘을 실행하면 클라우드와 기기 간에 데이터를 전송할 필요가 없으므로 응답 시간과 효율성이 크게 향상될 수 있습니다. 모바일 AI 기능은 사용자 경험 및 의사 결정을 위해 시간에 민감한 경향이 있으므로 이것이 중요합니다.

"AI 앱은 실시간이며 미션 크리티컬할 수 있습니다,"라고 퀄컴의 기술 부사장 제프 게르하르는 말합니다. "경험을 향상시키는 많은 AI 사용 사례는 지연 시간을 감당할 여유가 없습니다."

예를 들어, 브레이크를 적용해야 하는 자율 주행 차량은 클라우드 처리에서 발생할 수 있는 밀리초의 지연도 감당할 여유가 없습니다. 차량이 안전하게 운전되려면 결정이 순식간에 이루어져야 합니다.

사용자 경험 측면에서 자연스러운 음성 사용자 인터페이스는 지연을 어느 정도 용인할 수 있습니다. 사용자들은 자연어 처리 음성 인터페이스를 사용할 때 즉각적인 응답에 익숙하며 네트워크 지연의 결과로 인해 나쁜 경험을 겪게 됩니다.

개인 정보 보호와 보안: 기기에서 데이터를 유지하면 개인 정보 보호가 보장되며, 음성, 지문, 홍채 및 얼굴 인식을 사용한 생체 인증에도 AI가 사용됩니다. "기기를 잠금 해제하는 데 얼굴을 사용하는 것이 흔해지고 있습니다,"라고 브로트만은 말합니다. "3D 얼굴 인식은 모바일 결제를 가능하게 하기 위해 더 높은 수준의 신원 확인을 제공하기 시작했습니다."

기기 내 AI 애플리케이션의 처리는 기기 및 데이터 보안을 높일 수 있습니다. "AI는 악성 소프트웨어와 이상 행동을 감지하는 데 도움이 될 수 있습니다,"라고 게르하르는 말합니다. "신경망을 훈련하여 나쁜 행위자가 어떻게 행동하는지 볼 수 있습니다. 그리고 나쁜 행동을 감지할 수 있습니다. 예를 들어, '왜 내 카메라 응용 프로그램이 내 연락처 데이터베이스를 열고 있나요?'와 같은 질문을 할 수 있습니다."

신뢰성: 세계에서 가장 발전된 지역에서도 모바일 네트워크 커버리지가 보장되지 않습니다. 그러나 특정 AI 기능에 관해서는 오류가 용납되지 않습니다. 자율 주행 차량은 터널이나 주차장에 들어갈 때 발생할 수 있는 무선 신호의 중단을 경험해서는 안 됩니다. 자율 주행과 같은 미션 크리티컬한 사용 사례에는 엣지 기기에서의 처리와 함께 다른 여분의 기능이 항상 필요합니다.

엣지 디바이스로의 AI 도입

이러한 AI 기능이 이제 기기에서 실행될 수 있지만 클라우드는 여전히 역할을 하고 있습니다. 특히 클라우드 플랫폼은 대용량 데이터를 관리하고 AI 추론을 구동하는 신경망 모델을 "훈련"하는 데 사용됩니다.

엣지 디바이스 자체도 효과적으로 AI 워크로드를 실행할 수 있도록 갖춰져야 합니다. 예를 들어, 처리는 전력 소모 및 열 한계와 같은 플랫폼의 제약 내에서 발생해야 합니다. 다양한 처리 엔진을 갖춘 응용 프로세서는 효율적으로 AI 작업을 실행하는 데 특히 적합합니다. 예를 들어, 퀄컴 스냅드래곤 모바일 플랫폼은 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 및 디지털 신호 처리기(DSP)와 같은 세 가지 별도의 처리 엔진을 갖추고 있으며 모두 기기 내 AI에서 핵심 역할을 합니다.

"이질적 컴퓨팅으로, 해당 임무를 가장 효율적으로 처리하기 위해 칩 내에 다양한 엔진이 있습니다,"라고 퀄컴의 기술 마케팅 스태프 매니저 팻 로울러는 말합니다. "CPU, GPU 및 DSP는 서로 다른 장단점이 있으며, 고성능에서 저전력까지 다양한 역할을 수행할 수 있습니다. 그들은 서로 보완되며 AI 작업에 맞게 적절한 엔진에서 실행됩니다."

모던 엣지 디바이스의 칩셋에 내장된 증가된 처리 능력은 강렬한 처리를 다루는 데 도움을 줍니다. 예를 들어, 스냅드래곤 845의 퀄컴 헥사곤 685 DSP, 아드레노 630 GPU 및 크리오 385 CPU는 이전 세대보다 2~3배 빠른 AI 처리를 제공할 수 있습니다. 헥사곤 DSP는 원래 오디오 처리와 같은 벡터 수학 집약적인 워크로드를 위해 설계되었으며 여전히 AI 추론 중에 신경망을 가속화하기 위해 개선되고 있습니다.

모바일 AI의 다음 단계

모바일 AI는 빠르게 성장하는 시장입니다. 신경망, DL 알고리즘 및 하드웨어 설계의 지속적인 발전으로 정확성과 속도가 크게 향상되고 새로운 몰입형 사용자 경험이 제공될 것입니다.

보다 폭넓은 이동성 분야에서는 5G 무선 네트워크도 예고되고 있습니다. "AI는 5G를 향상시키고 보완할 것입니다,"라고 브로트만은 말합니다. "5G는 기기가 서로 자유롭게 통신하여 데이터와 맥락을 공유할 수 있도록 할 것입니다." 이러한 발전으로 우리는 개인화되고 실시간의 사용자 경험이 가능한 지능형 엣지 디바이스의 완전히 연결된 우주를 경험할 것입니다.

오늘날 우리의 삶은 우리의 기기의 능력으로 더욱 풍부해지고 있으며, 우리의 미래는 이미 개인적 및 비즈니스적 삶에 대한 경험을 형성하고 있는 이러한 발전에 의해 점점 더 향상될 것입니다.

https://www.technologyreview.com/2018/03/13/67159/on-device-processing-and-ai-go-hand-in-hand/

On-Device Processing and AI Go Hand-in-Hand