딥페이크 보다 한 발 앞선 탐지 기술

2022년 3월, 우크라이나의 볼로디미르 젤렌스키 대통령이 러시아의 침공에 맞서 군대에 무기를 내려놓으라고 요청하는 듯한 동영상이 온라인에 등장했습니다. 인공지능의 도움으로 제작된 이 동영상은 화질이 좋지 않았고 그 계략은 금방 폭로되었지만, 합성 콘텐츠의 제작이 더 쉬워지고 설득력이 높아짐에 따라 언젠가는 비슷한 시도가 심각한 지정학적 결과를 초래할 수 있습니다.

딥페이크 보다 한 발 앞선 탐지 기술

https://www.wired.com/story/zelensky-deepfake-facebook-twitter-playbook/

그렇기 때문에 컴퓨터 과학자들이 비디오, 오디오, 이미지, 텍스트를 알고리즘으로 생성하는 더 나은 방법을 고안하면서(일반적으로 아티스트가 자신의 비전을 표현할 수 있도록 하는 등 보다 건설적인 용도로) 이러한 합성 콘텐츠를 탐지하기 위한 대응 알고리즘도 개발하고 있습니다. 최근 연구에 따르면 특정 생성 도구의 미묘한 시그니처를 넘어 AI가 모방하기 어려운 근본적인 물리적, 생물학적 신호를 활용하는 등 탐지를 더욱 강력하게 만드는 데 진전이 있는 것으로 나타났습니다.

또한 양쪽 모두 더욱 정교해짐에 따라 AI가 생성한 콘텐츠와 탐지 방법이 끊임없이 얽히고설키게 될 가능성도 있습니다. 나폴리 페데리코 2세 대학의 컴퓨터 과학자 루이사 베르돌리바는 계속 등장하는 새로운 생성 방법에 대해 "가장 큰 문제는 새로운 기술을 어떻게 다룰 것인가 하는 점입니다."라고 말합니다. "이 점에서 이 문제는 끝이 없습니다."

11월에 인텔은 동영상 분석 플랫폼인 실시간 딥페이크 탐지기를 발표했습니다. '딥페이크(Deepfake)'라는 용어는 다층 인공 신경망을 사용하는 AI의 한 분야인 딥러닝을 사용하여 가짜 콘텐츠를 만드는 데서 유래했습니다. 인텔의 연구원 일케 데미르는 일반 대중에게 탐지기를 배포할 수 있는 소셜 미디어 회사, 방송사, 비정부기구(NGO)가 잠재적 고객이라고 말합니다. 인텔의 프로세서 중 하나는 한 번에 72개의 비디오 스트림을 분석할 수 있습니다. 궁극적으로 이 플랫폼에는 여러 탐지 도구가 적용될 예정이지만, 올봄에 출시될 플랫폼에는 데미르가 빙햄턴 대학교의 우무르 치프치(Umur Çiftçi)와 함께 개발한 FakeCatcher라는 탐지기가 사용될 것입니다.

https://www.intel.com/content/www/us/en/newsroom/news/intel-introduces-real-time-deepfake-detector.html#gs.r61ai2

페이크캐처(FakeCatcher)는 혈류량을 추론하기 위해 얼굴의 색상 변화를 연구하는데, 이 과정을 광혈류측정법(PPG)이라고 합니다. 연구진은 특정 얼굴 영역의 특정 색상 패턴에 초점을 맞추고 불필요한 것은 무시하도록 소프트웨어를 설계했습니다. 만약 이 소프트웨어가 비디오의 모든 정보를 사용하도록 허용했다면, 훈련 과정에서 다른 비디오 생성기가 더 쉽게 조작할 수 있는 신호에 의존하게 되었을 수도 있습니다. "PPG 신호는 피부 어디에나 있다는 점에서 특별합니다."라고 데미르는 말합니다. "눈이나 입술뿐만이 아닙니다. 조명을 변경한다고 해서 제거되는 것이 아니라, 노이즈가 추가되는 유형이 공간적, 스펙트럼적, 시간적 상관관계를 엉망으로 만들기 때문에 모든 생성 작업을 통해 실제로 제거됩니다."라고 설명합니다. 다시 말해, 페이크캐처는 심장이 혈액을 펌프질할 때 시간이 지남에 따라 색이 자연스럽게 변하고 얼굴 영역 전체에 일관성이 있는지 확인합니다. 한 테스트에서 이 감지기는 91%의 정확도를 달성했으며, 이는 차선책 시스템보다 거의 9% 포인트 높은 수치입니다.

합성 미디어 생성 및 감지는 양측이 서로를 기반으로 하는 군비 경쟁입니다. 새로운 탐지 방법이 주어지면 누군가는 종종 생성 알고리즘을 더 잘 속일 수 있도록 훈련시킬 수 있습니다. 페이크캐처의 주요 장점은 수학 용어인 '차별성이 없다'는 것인데, 이는 생성 알고리즘을 훈련하기 위해 쉽게 리버스 엔지니어링할 수 없다는 것을 의미합니다.

인텔의 플랫폼은 결국 데미르와 시프치가 최근 개발한 안면 모션에 의존하는 시스템도 사용할 예정입니다. 자연스러운 모션은 얼굴 구조를 따르지만 딥페이크 모션은 다르게 보입니다. 따라서 원시 비디오로 신경망을 훈련하는 대신, 먼저 비디오에 모션 확대 알고리즘을 적용하여 모션을 더 두드러지게 만든 다음 신경망에 공급하는 방식을 사용합니다. 한 테스트에서 이 시스템은 비디오의 가짜 여부뿐만 아니라 여러 알고리즘 중 어떤 알고리즘이 비디오를 만들었는지 97%의 정확도로 감지했으며, 이는 차선책 시스템보다 3% 포인트 이상 높은 수치입니다.

https://spectrum.ieee.org/what-is-deepfake

산타바바라 캘리포니아 대학교의 연구원들도 최근 논문에서 비슷한 접근 방식을 취했습니다. 논문 공저자이자 UCSB 전기공학 박사 과정 학생인 마이클 괴벨은 탐지 방법에는 다양한 스펙트럼이 있다고 말합니다. "한 극단에는 사용 가능한 모든 데이터를 사용하는 순수한 딥 러닝에 불과한 매우 제약이 없는 방법이 있습니다."라고 말합니다. "다른 극단에는 시선 분석과 같은 작업을 수행하는 방법이 있습니다. 저희는 그 중간쯤에 있습니다." 페이즈포렌식(PhaseForensics)이라고 불리는 이 시스템은 입술에 초점을 맞추고 다양한 주파수에서 움직임에 대한 정보를 추출한 다음 이렇게 소화된 데이터를 신경망에 제공합니다. 고벨은 "모션 특징 자체를 사용하여 신경망이 학습할 내용을 일종의 하드코딩합니다."라고 말합니다.

https://arxiv.org/abs/2211.09363

이 중간 지점의 한 가지 이점은 일반화 가능성이라고 그는 말합니다. 특정 세대 알고리즘의 비디오로 비제약형 탐지기를 훈련시키면 해당 알고리즘의 시그니처를 탐지하는 방법을 배우지만 다른 알고리즘의 시그니처를 탐지하는 방법은 배우지 못합니다. UCSB 팀은 하나의 데이터 세트에 대해 PhaseForensics를 학습시킨 다음 다른 세 개의 데이터 세트에 대해 테스트했습니다. 그 결과 정확도는 78%, 91%, 94%로 각 데이터 세트에서 가장 좋은 비교 방법보다 약 4% 포인트 더 높았습니다.

오디오 딥페이크도 문제가 되고 있습니다. 지난 1월에는 배우 엠마 왓슨이 히틀러의 '나의 투쟁(Mein Kamp)'의 일부를 읽는 가짜 클립을 업로드한 사건이 발생했습니다. 이 문제도 연구자들이 조사하고 있습니다. 플로리다 대학교의 과학자들은 한 가지 접근 방식으로 인간의 성대를 모델링하는 시스템을 개발했습니다. 실제 오디오 녹음과 가짜 오디오 녹음으로 훈련된 이 시스템은 소리를 내는 기도를 따라 다양한 거리의 단면적에 대한 현실적인 값을 생성했습니다. 새로운 의심스러운 샘플이 주어지면 생물학적으로 그럴듯한지 판단할 수 있습니다. 이 논문에서는 한 데이터 세트의 정확도가 약 99퍼센트에 달한다고 보고했습니다.

https://www.cosmopolitan.com/uk/reports/a42728762/emma-watson-deepfake/

이 알고리즘은 딥페이크 오디오를 방어하기 위해 특정 세대의 알고리즘에서 딥페이크 오디오를 본 적이 없어도 됩니다. 나폴리의 Verdoliva는 또 다른 방법을 개발했습니다. 이 알고리즘은 훈련 과정에서 화자의 생체 서명을 찾는 방법을 학습합니다. 이 알고리즘이 구현되면 특정 화자의 실제 녹음을 가져와 학습한 기술을 사용하여 생체 서명을 찾은 다음 의심스러운 녹음에서 해당 서명을 찾습니다. 한 테스트 세트에서는 1.0점 만점에 0.92점(오탐과 미탐을 고려한 "AUC" 점수)을 기록했습니다. 최고 경쟁사의 점수는 0.72점이었습니다.

Verdoliva의 그룹은 또한 AI에 의해 변경된 이미지이든 포토샵의 구식 잘라내기 및 붙여넣기에 의해 변경된 이미지이든 생성된 이미지와 조작된 이미지를 식별하는 작업도 수행했습니다. 이들은 1,475대의 카메라로 촬영한 사진으로 TruFor라는 시스템을 학습시켰고, 이 시스템은 카메라가 남긴 서명의 종류를 인식하는 방법을 배웠습니다. 새로운 이미지를 보면 서로 다른 패치 간의 불일치(새 카메라에서도)를 감지하거나 전체 이미지가 그럴듯하게 카메라에서 나온 것처럼 보이지 않는지 구분할 수 있습니다. 한 테스트에서 트루포는 0.86의 AUC를 기록한 반면, 최고 경쟁 제품은 0.80을 기록했습니다. 또한 이미지에서 판단에 가장 큰 영향을 미치는 부분을 강조 표시하여 사람이 작업을 재확인할 수 있도록 도와줍니다.

고등학생들은 이제 AI를 사용하여 콘텐츠를 생성하는 게임에 정기적으로 참여하며, 텍스트 생성 시스템 ChatGPT에 에세이를 작성하도록 요청합니다. 한 가지 해결책은 대규모 언어 모델이라고 하는 이러한 시스템의 제작자에게 생성된 텍스트에 워터마킹을 요청하는 것입니다. 메릴랜드 대학교의 연구원들은 최근 무작위로 녹색 목록에 있는 어휘 세트를 생성한 다음, 글을 쓸 때 해당 단어에 약간의 선호도를 부여하는 방법을 제안했습니다. 이 (비밀) 녹색 목록 단어 목록을 알고 있다면, 텍스트에서 해당 단어가 우세한 부분을 찾아 알고리즘에서 나온 것인지 확인할 수 있습니다. 한 가지 문제는 강력한 언어 모델이 점점 더 많아지고 있으며, 모든 언어 모델이 출력물에 워터마크를 표시할 것으로 기대할 수 없다는 것입니다.

프린스턴의 한 학생인 Edward Tian은 워터마킹 없이도 ChatGPT로 작성된 텍스트의 흔적을 찾아내는 GPTZero라는 도구를 만들었습니다. 인간은 더 놀라운 단어를 선택하고 문장 길이에 더 많은 변동을 일으키는 경향이 있습니다. 하지만 GPTZero에는 한계가 있는 것으로 보입니다. 한 사용자가 GPTZero를 간단한 테스트에 적용한 결과, AI가 작성한 텍스트 10개 중 10개는 정확하게 합성으로 표시했지만, 사람이 작성한 텍스트 10개 중 8개는 거짓으로 표시한 것으로 나타났습니다.

https://gptzero.me/

합성 텍스트 감지는 다른 매체를 통한 감지보다 훨씬 뒤처질 가능성이 높습니다. 워터마킹 논문을 공동 저술한 메릴랜드 대학교의 컴퓨터 과학 교수인 톰 골드스타인에 따르면, 그 이유는 사람들이 언어를 사용하는 방식이 매우 다양하고 신호가 많지 않기 때문이라고 합니다. 에세이에는 수백 개의 단어가 있는 반면, 사진에는 백만 개의 픽셀이 있으며, 픽셀 색상의 미묘한 변화와 달리 단어는 불연속적입니다.

합성 콘텐츠를 감지하는 데는 많은 것이 걸려 있습니다. 합성 콘텐츠는 교사, 법원 또는 유권자를 흔들기 위해 사용될 수 있습니다. 굴욕적이거나 위협적인 성인용 콘텐츠를 제작할 수 있습니다. 딥페이크에 대한 생각만으로도 매개된 현실에 대한 신뢰가 약화될 수 있습니다. 데미르는 이러한 미래를 "디스토피아"라고 부릅니다. 그녀는 단기적으로는 탐지 알고리즘이 필요하다고 말합니다. 장기적으로는 워터마크(watermark)나 블록체인(blockchain)과 같은 출처를 증명할 수 있는 프로토콜도 필요합니다.

"사람들은 모든 것을 완벽하게 처리하고 설명까지 해주는 마법 같은 도구를 원합니다."라고 버돌리바는 탐지 방법에 대해 말합니다. 그런 도구는 존재하지 않으며 앞으로도 없을 것입니다. "여러 도구가 필요합니다." 딥페이크 탐지기가 딥페이크를 잡아낼 수 있다고 해도, 콘텐츠는 온라인에서 잠깐 동안만 존재한 후 사라집니다. 영향력이 있을 것입니다. 따라서 버돌리바는 기술만으로는 우리를 구할 수 없다고 말합니다. 대신, 사람들은 현실이 아닌 새로운 현실에 대해 교육을 받아야 합니다.