딥페이크(Deepfake)

​딥 페이크는 "딥 러닝(deep learning)"과 "가짜(fake)"의 합성어로, 한 사람의 외모를 타인의 것으로 신뢰성 있게 대체하기 위해 디지털로 조작된 합성 미디어입니다. 이 용어는 레딧 사용자에 의해 2017년에 만들어졌으며, 실제로는 존재하지 않는 사람의 현실적인 이미지와 같은 다른 디지털 창작물도 포함되었습니다. 가짜 콘텐츠를 만드는 행위는 새로운 것은 아니지만, 딥페이크는 기계 학습과 인공 지능에서 도구와 기술을 활용합니다. 이에는 얼굴 인식 알고리즘과 가변 오토인코더(VAEs)와 생성적 적대 신경망(GANs)과 같은 인공 신경망이 포함됩니다. 이미지 포렌식 분야는 조작된 이미지를 탐지하기 위한 기술을 개발합니다.

​딥페이크는 어린이 성학대 자료, 유명인의 음란 동영상, 복수 음란물, 가짜 뉴스, 조작, 괴롭힘 및 금융 사기를 만드는 데 사용될 수 있다는 잠재적 위험성으로 인해 폭넓은 관심을 받았습니다. 딥페이크를 통한 허위 정보와 증오 발언의 전파는 정치적 의사 결정에 참여하고, 집단적인 일정을 결정하며, 정보에 기반한 의사 결정을 통해 정치적 의지를 표현하는 사람들의 능력을 방해하여 민주 시스템의 핵심 기능과 규범을 저해할 수 있습니다. 이로 인해 산업과 정부 모두가 이러한 사용을 탐지하고 제한하기 위한 대응을 하고 있습니다.

​전통적인 엔터테인먼트부터 게임까지, 딥페이크 기술은 점점 더 현실적이고 대중에게 접근 가능해져서 엔터테인먼트와 미디어 산업을 혼란스럽게 만드는 것으로 발전해왔습니다.

1. 역사(History)

​사진 조작 기술은 19세기에 개발되었으며 곧 영화에도 적용되었습니다. 기술은 20세기에 점진적으로 개선되었으며, 디지털 비디오의 등장으로 더욱 빠르게 발전했습니다.

​딥페이크 기술은 1990년대에 학계에서 연구자들에 의해 개발되었으며, 이후에는 온라인 커뮤니티의 아마추어들에 의해 더욱 발전되었습니다. 최근에는 해당 방법이 산업에서도 채택되고 있습니다.

1.1. 학술 연구(Academic research)

​딥페이크와 관련된 학술 연구는 컴퓨터 과학의 하위 분야인 컴퓨터 비전 분야와 관련이 있습니다. 이 분야는 딥페이크를 생성하고 식별하기 위한 기술을 개발합니다. 또한, 인문학 및 사회과학적 접근법은 딥페이크의 사회적, 윤리적, 미학적 함의를 연구합니다.

​1.1.1. 딥페이크에 대한 사회과학 및 인문학적 관점에서의 접근(Social science and humanities approaches to deepfakes)

​영화 연구에서 딥페이크는 "디지털 시대에 인간의 얼굴이 중심적인 모호함의 대상으로 떠오르고 있음을" 보여줍니다. 비디오 아티스트들은 딥페이크를 사용하여 "기존의 영화 역사를 새로운 스타 출연자들로 재구성함으로써 장난스럽게 재작성"해 왔습니다. 영화 학자 크리스토퍼 홀리데이는 익숙한 영화 장면에서 출연자의 성별과 인종을 교체함으로써 성별 분류와 범주를 불안정하게 만드는 방법을 분석합니다. 딥페이크의 "퀴어링" 아이디어는 올리버 M. 긴리치의 미디어 아트워크 논의에서도 다뤄지며, 여기에는 영국 예술가 제이크 엘위스의 작품 "Zizi: Queering the Dataset"이 포함됩니다. 이 작품은 드래그 퀸의 딥페이크를 사용하여 의도적으로 성별을 놀아줍니다. 딥페이크의 미학적 잠재력도 탐구되기 시작했습니다. 극장 역사학자 존 플레처는 딥페이크의 초기 시연이 공연으로 제시되고 있음을 언급하며, 이를 공연 장르로서 딥페이크가 나타내는 "더 문제적인 패러다임 변화"의 맥락에서 논의합니다.

​철학자들과 미디어 학자들은 딥페이크의 윤리성, 특히 음란물과 관련된 윤리성에 대해 논의해 왔습니다. 미디어 학자 에밀리 반 더 나겔은 조작된 이미지에 대한 사진 연구를 바탕으로 여성들이 자신의 이미지 사용에 동의할 수 있도록 하는 검증 시스템을 논의합니다.

​음란물 외에도, 철학자들은 딥페이크를 지식과 사회에 대한 "인식적 위협"으로 간주합니다. 딥페이크가 음란물뿐만 아니라 기업, 정치인 및 다른 사람들에게 "착취, 협박 및 개인적 파괴"의 위험을 초래하는 방식에 대한 여러 가지 대응책이 제안되었습니다. 법학과 미디어 연구에서 잠재적인 법적 및 규제적 대응에 대한 여러 학술적 논의가 있습니다. 심리학과 미디어 연구에서 학자들은 딥페이크를 사용하는 허위 정보의 효과와 딥페이크의 사회적 영향을 논의합니다.

​대부분의 영어 학술 연구가 허위 정보와 음란물에 대한 서구의 불안을 중심으로 한 딥페이크를 다루고 있는 반면, 디지털 인류학자 가브리엘레 드 세타는 딥페이크에 대한 중국의 반응을 분석했습니다. 중국에서는 딥페이크를 "얼굴을 바꾸다"라는 의미의 환리안(换脸)이라고 부르며, 영어 딥페이크의 "가짜(fake)"라는 의미를 포함하지 않습니다. 드 세타는 이러한 문화적 맥락이 중국의 반응이 "사기 위험, 이미지 권리, 경제적 이익 및 윤리적 불균형"에 대한 실용적인 규제 대응에 더 중점을 두는 이유를 설명할 수 있다고 주장합니다.

1.1.2. 딥페이크에 대한 컴퓨터 과학 연구(Computer science research on deepfakes)

딥페이크 기술의 초기 주요 프로젝트 중 하나는 1997년에 발표된 비디오 리라이트(Video Rewrite) 프로그램으로, 사람의 기존 영상에서 입 모양을 다른 오디오 트랙의 단어와 맞춰 수정하는 기술입니다. 이 시스템은 기계 학습 기법을 사용하여 영상 속 인물이 만든 소리와 얼굴의 형태 사이의 연관성을 자동으로 파악하여 얼굴 재생 기술을 처음으로 완전 자동화했습니다.

현대의 학술 프로젝트들은 더 현실적인 비디오를 생성하고 기술을 개선하는 데 중점을 두고 있습니다. 2017년에 발표된 "Synthesizing Obama" 프로그램은 전 대통령 바락 오바마의 영상을 수정하여 다른 오디오 트랙의 단어를 말하는 것처럼 묘사합니다. 이 프로젝트는 오디오에서 입 모양을 합성하는 포토리얼리스틱 기술을 주요 연구 기여로 나열합니다. 2016년에 발표된 Face2Face 프로그램은 사람의 얼굴 영상을 실시간으로 다른 사람의 표정을 모방하는 모습으로 수정합니다. 이 프로젝트는 깊이를 캡처하지 않는 카메라를 사용하여 실시간으로 얼굴 표정을 재연하는 첫 번째 방법을 주요 연구 기여로 나열합니다. 이 기술은 일반 소비자용 카메라로도 수행할 수 있습니다.

2018년 8월, 캘리포니아 대학교 버클리 캠퍼스의 연구원들은 AI를 사용하여 뛰어난 춤 실력을 나타내는 가짜 춤 애플리케이션을 소개하는 논문을 발표했습니다. 이 프로젝트는 딥페이크의 적용 범위를 얼굴이나 머리 부분에서 전신으로 확장합니다.

연구자들은 또한 딥페이크가 의료 이미지를 조작하는 등 다른 영역으로 확장되고 있음을 보여주었습니다. 이 연구에서는 공격자가 환자의 3D CT 스캔에서 자동으로 폐암을 삽입하거나 제거할 수 있음을 보여주었습니다. 결과는 세 명의 방사선 전문의와 최신 폐암 탐지 AI를 속일 정도로 설득력이 있었습니다. 이 위협을 증명하기 위해 저자들은 병원에 화이트 해킹 테스트를 성공적으로 수행했습니다.

2020년 5월에 발표된 딥페이크에 관한 조사에서는 최근 몇 년간 딥페이크의 생성과 탐지가 어떻게 발전했는지에 대한 타임라인을 제공합니다. 이 조사는 연구자들이 딥페이크 생성의 다음과 같은 도전 과제를 해결하는 데 중점을 두고 있음을 확인했습니다.

• 일반화(Generalization) : 고품질 딥페이크는 대상에 대한 수시간의 영상을 학습함으로써 종종 달성됩니다. 이 도전 과제는 품질 높은 이미지를 생성하기 위해 필요한 학습 데이터의 양과 모델을 학습하는 시간을 최소화하고, 학습 중에 보지 못한 새로운 신원을 학습된 모델로 실행할 수 있도록 하는 것입니다.
• 짝지어진 훈련(Paired Training) : 지도 학습 모델을 훈련하는 것은 고품질 결과를 얻을 수 있지만, 데이터 짝 찾기가 필요합니다. 이는 모델이 학습할 입력과 원하는 출력의 예를 찾는 과정입니다. 데이터 짝 찾기는 여러 신원과 얼굴 행동을 학습할 때 번거롭고 비실용적입니다. 일부 해결책으로는 자기 지도 학습(동일한 비디오의 프레임 사용), Cycle-GAN과 같은 비짝지어진 네트워크의 사용 또는 네트워크 임베딩의 조작이 있습니다.
• 신원 유출(Identity leakage) : 이는 운전자(즉, 재연하는 얼굴을 제어하는 배우)의 신원이 생성된 얼굴로 일부 전이되는 경우를 가리킵니다. 제안된 일부 해결책에는 주의 메커니즘, 소량 학습, 분리, 경계 변환 및 스킵 연결이 포함됩니다.
• 가려짐(Occlusions) : 얼굴 일부가 손, 머리, 안경 또는 다른 항목으로 가려진 경우 아티팩트가 발생할 수 있습니다. 일반적인 가려짐은 닫힌 입으로, 이는 입 안쪽과 이빨을 가리게 됩니다. 일부 해결책에는 훈련 중 이미지 분할 및 인화가 포함됩니다.
• 시간적 일관성(Temporal coherence) : 딥페이크가 포함된 비디오에서는 이전 프레임의 컨텍스트가 없기 때문에 깜박거림과 흔들림과 같은 아티팩트가 발생할 수 있습니다. 일부 연구자들은 이러한 컨텍스트를 제공하거나 현실성을 향상시키기 위해 새로운 시간적 일관성 손실을 사용합니다. 기술이 개선되면 간섭이 줄어들고 있습니다.

전반적으로, 딥페이크는 미디어와 사회, 미디어 제작, 미디어 표현, 미디어 관객, 성별, 법률 및 규제, 정치 등에 여러 가지 영향을 미칠 것으로 예상됩니다.

1.2. 아마추어 개발(Amateur development)

딥페이크라는 용어는 2017년 말경 레딧 사용자인 "deepfakes"가 만들어냈습니다. 그는 레딧 커뮤니티 r/deepfakes와 함께 딥페이크를 공유했습니다. 많은 비디오는 유명인의 얼굴이 성인 영상에서 배우들의 몸에 교체된 것을 포함하고 있었습니다. 그러나 음란물이 아닌 콘텐츠에는 배우 니콜라스 케이지의 얼굴이 다양한 영화에 교체된 비디오가 많이 포함되어 있었습니다.

다른 온라인 커뮤니티들도 남아 있습니다. 음란물을 공유하지 않는 레딧 커뮤니티인 r/SFWdeepfakes(안전한 딥페이크)와 같은 곳에서는 커뮤니티 멤버들이 유명인, 정치인 등을 음란물이 아닌 상황에서 묘사한 딥페이크를 공유합니다. 다른 온라인 커뮤니티들은 딥페이크 음란물을 금지하지 않은 플랫폼에서 여전히 음란물을 공유하고 있습니다.

1.3. 상업적 개발(Commercial development)

2018년 1월에 FakeApp라는 전용 데스크톱 응용 프로그램이 출시되었습니다. 이 앱을 사용하면 사용자들이 쉽게 서로의 얼굴이 교환된 비디오를 만들고 공유할 수 있습니다. 2019년 현재, FakeApp는 Faceswap, 커맨드라인 기반의 DeepFaceLab 및 DeepfakesWeb.com과 같은 오픈 소스 대안에 의해 대체되었습니다.

대규모 기업들도 딥페이크를 사용하기 시작했습니다. 기업 교육 비디오는 딥페이크된 아바타와 그들의 목소리를 사용하여 생성될 수 있습니다. 예를 들어, Synthesia는 딥페이크 기술과 아바타를 사용하여 개인화된 비디오를 만듭니다. 모바일 앱 기업 Momo는 사용자가 단 하나의 사진으로 자신의 얼굴을 텔레비전 및 영화 클립에 겹쳐 넣을 수 있는 앱인 Zao를 만들었습니다. 2019년 기준으로 일본의 AI 기업 DataGrid는 제로로부터 인물을 만들 수 있는 전신 딥페이크를 만들었습니다. 이들은 이를 패션 및 의류에 사용할 예정입니다.

020년 기준으로 오디오 딥페이크와 5초의 청취 시간 후 딥페이크를 감지하고 인간 목소리를 복제할 수 있는 AI 소프트웨어도 존재합니다. 2020년 3월에는 모바일 딥페이크 앱 인 Impressions가 출시되었습니다. 이것은 모바일 폰에서 유명인의 딥페이크 비디오를 만들기 위한 최초의 앱이었습니다.

1.4. 부활(Resurrection)

딥페이크 기술은 다른 사람의 메시지와 행동을 조작하는 데만 사용되는 것이 아니라, 사망한 사람을 부활시키는 데에도 사용될 수 있습니다. 2020년 10월 29일, 킴 카다시안이 그녀의 사망한 아버지 로버트 카다시안의 비디오를 게시했는데, 그 비디오에서 로버트 카다시안의 얼굴은 딥페이크 기술로 생성되었습니다. 이 홀로그램은 Kaleida라는 회사에 의해 만들어졌으며, 그들은 성능, 모션 추적, SFX, VFX 및 딥페이크 기술을 혼합하여 홀로그램을 만들었습니다.

2020년에는 Parkland 총격 사건 희생자인 Joaquin Oliver의 딥페이크 비디오가 총안전 캠페인의 일환으로 만들어졌습니다. Oliver의 부모는 비영리 기관인 Change the Ref와 McCann Health와 협력하여 Oliver가 총안전 법률을 지지하고 이를 후원하는 정치인들을 격려하는 비디오를 제작했습니다.

2022년에는 엘비스 프레슬리의 딥페이크 비디오가 '아메리카 갓 탤런트 17' 프로그램에서 사용되었습니다.

한 TV 광고에서는 1980년에 살해된 비틀즈 멤버 존 레논의 딥페이크 비디오가 사용되었습니다.

2. 기술(Techniques)

딥페이크는 오토인코더라고 불리는 한 유형의 신경망에 의존합니다. 이는 이미지를 낮은 차원의 잠재 공간으로 축소하는 인코더와 잠재 표현에서 이미지를 재구성하는 디코더로 구성됩니다. 딥페이크는 일반적인 인코더를 사용하여 사람을 잠재 공간으로 인코딩합니다. 잠재 표현은 그들의 얼굴 특징과 몸의 자세에 대한 중요한 특징을 포함하고 있습니다. 그런 다음, 이를 특정 대상을 위해 훈련된 모델로 디코딩할 수 있습니다. 이는 대상의 상세 정보가 원래 비디오의 기저 얼굴 및 몸의 특징 위에 중첩되어 나타나는 잠재 공간에 표현됨을 의미합니다.

이 아키텍처의 인기 있는 업그레이드 중 하나는 디코더에 생성적 적대 신경망(GAN)을 부착하는 것입니다. GAN은 생성자(이 경우 디코더)와 판별자를 적대적인 관계에 놓고 훈련합니다. 생성자는 원본 소재의 잠재 표현에서 새로운 이미지를 생성하는 반면, 판별자는 이미지가 생성된 것인지 아닌지를 판별하려고 합니다. 이로 인해 생성자는 결함이 감지될 경우를 대비하여 현실을 매우 잘 모방하는 이미지를 생성하게 됩니다. 두 알고리즘 모두 영원히 개선되는데, 이는 제로섬 게임으로 작동합니다. 이는 딥페이크를 대처하기 어렵게 만들며, 결함이 발견되면 언제든지 수정될 수 있습니다.

3. 응용 분야(Applications)

3.1. 연기(Acting)

전문 배우들의 디지털 클론이 이전에 영화에서 나타난 적이 있으며, 딥페이크 기술의 발전으로 그러한 클론의 접근성과 효과성이 더욱 증가할 것으로 예상됩니다. 2023년 SAG-AFTRA 파업에서 AI 기술의 사용은 주요 이슈였는데, 새로운 기술로 배우들의 디지털 유사물을 생성하고 저장하는 능력이 가능해졌기 때문입니다.

디즈니는 고해상도 딥페이크 얼굴 교체 기술을 사용하여 시각 효과를 향상시켰습니다. 디즈니는 얼굴 표정을 식별하는 프로그레시브 트레이닝을 통해 기술을 개선했으며, 얼굴 교체 기능을 구현하고 출력물을 안정화하고 정제하기 위해 반복 작업을 수행했습니다. 이러한 고해상도 딥페이크 기술은 상당한 운영 및 제작 비용을 절감합니다. 디즈니의 딥페이크 생성 모델은 일반적으로 256 x 256 해상도로 미디어를 생성하는 대신 1024 x 1024 해상도로 AI 생성 미디어를 생성할 수 있습니다. 이 기술을 사용하여 디즈니는 캐릭터를 젊게 만들거나 사망한 배우를 부활시킬 수 있습니다. 유사한 기술은 처음에 팬들에 의해 사용되어 기존 미디어에 얼굴을 비공식으로 삽입하는 데 사용되었는데, 이는 한 솔로의 얼굴에 해리슨 포드의 젊은 얼굴을 겹쳐 넣는 것과 같은 것입니다. 디즈니는 로그 원의 프린세스 레이아와 그랜드 모프 타킨의 캐릭터에 대해 딥페이크를 사용했습니다.

2020년 다큐멘터리 'Welcome to Chechnya'는 인터뷰한 사람들의 정체성을 숨기기 위해 딥페이크 기술을 사용하여 그들을 보복으로부터 보호했습니다.

크리에이티브 아티스트 에이전시는 배우의 외모를 "하루 만에" 캡처하기 위한 시설을 개발하여 배우나 그들의 재산이 다른 인격권과 함께 디지털 클론을 제어할 수 있도록 했습니다.

Puma, Nike 및 Procter & Gamble과 같은 기업들은 광고에서 전문 배우들의 디지털 클론을 사용해왔습니다.

3.2. 예술(Art)

2018년 3월, 다학제 예술가 요셉 에를레(Joseph Ayerle)는 비디오 아트워크 "Un'emozione per sempre 2.0" (영어 제목: "The Italian Game")를 발표했습니다. 에를레는 80년대 영화 스타인 오르넬라 무티(Ornella Muti)의 합성 버전으로서 시간을 여행하는 AI 배우를 만들기 위해 딥페이크 기술을 활용했습니다. 이 작품은 매사추세츠 공과대학교(MIT)가 발표한 "집단 지혜" 연구에서 언급되었습니다. 에를레는 오르넬라 무티의 시간 여행 이야기를 통해 세대 간의 반영을 탐구하면서 미술계에서 도발의 역할에 대한 의문을 조사했습니다. 기술적 구현을 위해, 에를레는 사진 모델 켄달 제너(Kendall Jenner)의 장면을 활용했습니다. 이 프로그램은 제너의 얼굴을 오르넬라 무티의 AI 생성된 얼굴로 대체하여, 결과적으로 AI 배우는 켄달 제너의 몸 위에 오르넬라 무티의 얼굴을 가지게 되었습니다.

딥페이크는 유명인과 정치인을 풍자하거나 패러디하는 데 널리 사용되고 있습니다. Trey Parker와 Matt Stone이 만든 2020년 웹 시리즈 "Sassy Justice"는 딥페이크된 공공 인물을 사용하여 현대 이벤트를 풍자하고 딥페이크 기술에 대한 인식을 높이는 데 중점을 두고 있습니다.

3.3. 협박(Blackmail)

딥페이크는 피해자를 부정한 혐의로 몰고가는 협박 자료를 생성하는 데 사용될 수 있습니다. 미국 의회 연구 서비스의 보고서에 따르면, 딥페이크는 선출된 공무원이나 기밀 정보에 접근할 수 있는 사람들을 스파이 활동이나 영향력 행사 목적으로 협박할 수 있다고 경고했습니다.

반면, 딥페이크는 진짜 자료와 신뢰할 수 없이 구별되지 않기 때문에, 실제 협박 피해자들은 이제 진짜 자료가 가짜임을 주장할 수 있게 되어, 그들에게 합리적인 부인 가능성을 제공합니다. 이러한 영향은 기존 협박 자료의 신뢰성을 무효화시키며, 협박자에 대한 충성을 없애고 협박자의 통제력을 파괴합니다. 이 현상은 "협박 인플레이션"이라고 불릴 수 있으며, 이는 실제 협박을 "저평가"하여 그 가치를 무효화시키는 결과를 가져옵니다. 이러한 가짜 협박 자료의 공급을 끝없이 늘리고 매우 확장 가능한 방식으로 이루어질 수 있도록, 소프트웨어 프로그램과 상용 GPU 하드웨어를 이용하여 이러한 협박 자료를 대량으로 생성할 수 있습니다.

1.3.4. 엔터테인먼트(Entertainment)

2022년 6월 8일, 이전 AGT 참가자인 다니엘 에밋(Daniel Emmet)이 AI 스타트업 Metaphysic AI와 협력하여 하이퍼리얼리스틱 딥페이크를 만들어 시몬 카울을 만든다는 소식이 있었습니다. 카울은 참가자들에 대한 엄격한 평가로 잘 알려져 있습니다. 그는 시카고의 "You're The Inspiration"을 해석하는 동안 무대에 서서 노래를 부를 때, 에밋은 무대에 있었고, 그의 뒤에는 완벽하게 동기화된 상태로 시몬 카울의 이미지가 나타났습니다.

2022년 8월 30일, Metaphysic AI는 '딥페이크' 시몬 카울, 하우이 맨델, 테리 크루즈가 무대에서 오페라를 부르는 모습을 선보였습니다.

2022년 9월 13일, Metaphysic AI는 'America's Got Talent' 결승에서 엘비스 프레슬리의 합성 버전으로 공연을 선보였습니다.

MIT 인공 지능 프로젝트 15.ai는 여러 인터넷 팬덤들을 위한 콘텐츠 제작에 사용되었습니다, 특히 소셜 미디어에서 많이 사용되었습니다.

2023년에는 ABBA 밴드와 KISS가 Industrial Light & Magic과 Pophouse Entertainment와 협력하여 가상 콘서트를 진행할 수 있는 딥페이크 아바타를 개발했습니다.

3.5. 사기 및 스캠(Fraud and scams)

사기꾼들은 딥페이크를 사용하여 사람들을 가짜 투자 계획, 금융 사기, 암호화폐, 송금, 그리고 홍보를 따르도록 속입니다. 유명인과 정치인들의 닮은꼴은 대규모 사기에 사용되었으며, 사적인 개인들의 닮은꼴은 스피어피싱 공격에 사용됩니다. 미국 소비자보호협회에 따르면, 딥페이크 사기는 점점 더 일반적으로 발생하고 있다고 합니다.

테일러 스위프트, 톰 행크스, 오프라 윈프리, 일론 머스크 같은 유명인의 정체성이 오용된 가짜 추천이 있었습니다. 뉴스 앵커인 게일 킹과 샐리 번독 등도 마찬가지입니다. 이들의 비디오는 YouTube, Facebook, TikTok 등 온라인 광고에 등장하여 수백만 명의 사람들에게 시청되었습니다. 한 회의 메디케어 사기 캠페인은 수천 개의 비디오에서 1억 9500만 회 이상 시청되었습니다. 딥페이크는 Le Creuset 조리기구의 가짜 기증, 비만 방지 과자, 가짜 아이폰 기증, 사기적인 빨리 돈 벌기, 투자, 암호화폐 계획에 사용되었습니다.

많은 광고는 "유명인의 비디오를 비문맥화하여" 인공성을 모방하는 AI 음성 복제를 사용합니다. 다른 것들은 유명인의 전체 클립을 사용한 후 다른 배우나 목소리로 이동합니다. 어떤 사기는 실시간 딥페이크를 사용할 수도 있습니다.

유명인들은 이러한 가짜 추천을 경고하고, 사람들이 더 조심하도록 권고하고 있습니다. 유명인들은 "익명의 소셜 미디어 사용자를 찾아내고 소송하는 것은 자원이 많이 필요한 일"이기 때문에 딥페이크 사기를 운영하는 모든 사람에 대해 소송을 제기할 가능성이 낮지만, 소셜 미디어 회사에 통지서를 보내면 비디오와 광고를 제거하는 데 도움이 됩니다.

오디오 딥페이크는 사회 공학 사기의 일환으로 사용되어 사람들이 신뢰할 수 있는 사람으로부터 지시를 받고 있다고 생각하게 합니다. 2019년에는 영국의 한 에너지 기업 CEO가 회사의 본사 최고경영자의 목소리를 흉내 내기 위해 오디오 딥페이크 기술을 사용한 개인로부터 22만 유로를 헝가리 은행 계좌로 이체하도록 명령을 받은 사기를 당한 사례도 있었습니다.

2023년 현재, 딥페이크 기술의 발전과 몇 초에서 몇 분의 녹음을 통해 개인의 목소리를 복제할 수 있는 새로운 텍스트 생성 도구의 결합은, 친구나 친척의 현실적인 디지털 클론을 사용하여 피해자를 대상으로 하는 자동화된 위장 사기를 가능하게 했습니다.

3.6. 신원 마스킹(Identity masking)

오디오 딥페이크는 사용자의 실제 정체성을 가리는 데 사용될 수 있습니다. 예를 들어 온라인 게임에서 플레이어는 다른 플레이어들과 대화할 때 게임 캐릭터와 같이 들리는 목소리를 선택할 수 있습니다. 여성, 어린이 및 트랜스젠더인과 같은 괴롭힘을 당하는 사람들은 이러한 "음성 스킨"을 사용하여 자신의 성별이나 나이를 숨길 수 있습니다.

3.7. 밈(Memes)

2020년에는 인터넷에서 딥페이크를 활용하여 게임 시리즈인 Yakuza의 게임 Yakuza 0의 곡 "Baka Mitai" (ばかみたい)의 후렴구를 부르는 사람들의 비디오를 생성하는 인터넷 밈이 등장했습니다. 이 슬픈 노래는 시리즈에서 플레이어가 노래방 미니게임에서 불러야 하는 곡입니다. 이 밈의 대부분은 사용자 Dobbsyrules가 2017년에 업로드한 비디오를 템플릿으로 사용합니다. Dobbsyrules는 노래에 맞춰 입을 움직여 노래를 립싱크한 것입니다.

3.8. 정치(Politics)

딥페이크는 잘 알려진 정치인들을 비디오에서 오도하려는 데 사용되었습니다.

2018년 2월, 별도의 비디오에서 아르헨티나 대통령 Mauricio Macri의 얼굴이 Adolf Hitler의 얼굴로 대체되었고, 안젤라 메르켈의 얼굴이 도널드 트럼프의 얼굴로 대체되었습니다.

2018년 4월, 조던 필이 Buzzfeed와 협력하여 바락 오바마의 딥페이크를 Peele의 목소리로 만들었습니다. 이는 딥페이크에 대한 인식을 높이기 위한 공익 선포문 역할을 했습니다.

2019년 1월, Fox 제휴사 KCPQ가 트럼프의 타원 사무실 연설 중에 트럼프의 외모와 피부색을 조롱하는 딥페이크를 방영했습니다. 비디오를 책임진 직원은 그 후 해고되었습니다.

2019년 6월, 미국 하원 정보위원회가 선거를 움직이기 위해 딥페이크를 악용하는 잠재적 악용에 대한 청문회를 개최했습니다.

2020년 4월, 멸종 반란의 벨기에 지부가 페이스북에 벨기에 총리 Sophie Wilmès의 딥페이크 비디오를 게시했습니다. 이 비디오는 삼림 파괴와 코로나19 간의 가능한 관련성을 홍보했습니다. 24시간 이내에 10만 회 이상의 조회수를 기록하고 많은 댓글을 받았습니다. 비디오가 나타난 페이스북 페이지에서 많은 사용자들이 딥페이크 비디오를 진짜로 해석했습니다.

2020년 미국 대선 캠페인 중, 조 바이든이 정신적으로 퇴행했다는 소문을 뒷받침하기 위해 조 바이든의 딥 페이크가 등장했습니다. 인터뷰 중 잠이 들었다거나 길을 잃었다는 내용으로 조 바이든을 비웃는 것들이 포함되었습니다.

2020년 델리 의회 선거 캠페인 중, 델리 바하르티야 자나타 파티는 리더 매노지 티와리의 영어 캠페인 광고를 하리어로 번역하여 하리아나 주 유권자들을 겨냥하는 데 이와 유사한 기술을 사용했습니다. 배우가 목소리를 제공하고 티와리의 연설 비디오를 새로운 목소리에 맞추기 위해 비디오를 사용하는 인공 지능이 사용되었습니다. 당의 한 직원은 이를 "긍정적인" 딥페이크 기술 사용으로 설명했으며, 이를 통해 후보가 유권자의 언어를 사용하지 않더라도 목표 대상에 접근할 수 있었습니다.

2020년에는 Bruno Sartori가 자이르 볼소나로와 도널드 트럼프와 같은 정치인을 희롱하는 딥페이크를 제작했습니다.

2021년 4월, 유럽 여러 국가의 정치인들이 러시아 국가를 대표하는 유명한 개그컨설턴트인 보반과 렉서스로부터 접근을 받았습니다. 그들은 러시아 반대 정치인이자 러시아 반대 선거인 알렉세이 나발니의 캠페인 총무인 레오니드 볼코프를 흉내 냈으며, 이는 딥페이크 기술을 통해 이루어졌다고 비판을 받았습니다. 그러나 두 사람은 The Verge에 따르면 딥페이크를 사용하지 않았으며 단지 닮은꼴을 사용했다고 밝혔습니다.

2023년 5월, 부통령 카말라 해리스가 오늘, 내일, 어제에 대해 어수선한 말을 하며 언행하는 딥페이크 비디오가 소셜 미디어에서 확산되었습니다.

2023년 6월, 미국에서 론 데산티스 대통령 선거 캠페인이 도널드 트럼프를 오도하기 위해 딥페이크를 사용했습니다.

3.9. 음란물(Pornography)

2017년, 딥페이크 음란물이 인터넷 상에 두드러지게 등장했는데, 특히 Reddit에서 두드러졌습니다. 2019년 현재, 인터넷 상의 많은 딥페이크가 일반적으로 그들의 동의 없이 사용된 여성 유명인들의 음란물을 특징으로 합니다. 2019년 10월에 발표된 네덜란드 사이버 보안 스타트업 Deeptrace의 보고서에 따르면, 온라인 상의 모든 딥페이크의 96%가 음란물이었습니다. 2018년 기준으로 Daisy Ridley 딥페이크가 주목을 받았습니다. 2019년 10월 기준으로, 인터넷 상의 대부분의 딥페이크 주제는 영국과 미국 배우들이었습니다. 그러나 대다수의 주제는 한국인이며, 이들 중 대부분은 K-pop 스타입니다.

2019년 6월, Windows 및 Linux용 다운로드 가능한 애플리케이션이 DeepNude라는 이름으로 출시되었습니다. 이 애플리케이션은 신경망, 특히 생성적 적대 신경망을 사용하여 여성 이미지에서 의류를 제거했습니다. 이 앱에는 유료 및 무료 버전이 있었으며, 유료 버전의 가격은 50달러였습니다. 6월 27일, 제작자들은 애플리케이션을 제거하고 소비자에게 환불했습니다.

여성 유명인들은 딥페이크 음란물의 주요 대상이 되었으며, 이에 대한 주요 예로는 Emma Watson과 Scarlett Johansson의 얼굴 교환 앱에서의 딥페이크 포르노 비디오가 2023년에 온라인에 등장했습니다. 2024년에는 Taylor Swift의 딥페이크 포르노 이미지가 온라인에서 유포되었습니다.

주요 대상은 여전히 LGBT 정치인, 여성 정치인 또는 활동가, 특히 유색인 여성 및 권력에 의문을 제기하는 사람들입니다.

3.10. 소셜 미디어(Social media)

딥페이크는 최근 인기 있는 소셜 미디어 플랫폼에서 사용되기 시작했는데, 특히 중국의 딥페이크 앱인 Zao를 통해 두드러졌습니다. Zao 앱은 사용자가 로미오 + 줄리엣 및 게임 오브 스론과 같은 영화와 TV 프로그램에서 캐릭터들의 얼굴에 자신의 얼굴을 대체할 수 있도록 합니다. 이 앱은 원래 침입적인 사용자 데이터와 개인 정보 정책으로 인해 비난을 받았으며, 회사는 이 정책을 개정할 것이라고 밝힌 성명을 발표했습니다. 2020년 1월, 페이스북은 자사 플랫폼에서 이를 막기 위한 새로운 조치를 도입하겠다고 발표했습니다.

미국 의회 연구서는 외국 정보 기관이 딥페이크를 사용하여 기밀 정보에 접근할 수 있는 개인을 모집하기 위해 소셜 미디어 계정을 생성했다는 내용의 미정보를 인용했습니다.

2021년, 배우 톰 크루즈의 현실적인 딥페이크 비디오가 틱톡에 공개되어 화제가 되었으며 수천만 회 이상의 조회수를 기록했습니다. 이 딥페이크 비디오에는 크루즈의 "인공지능 생성 본인"이 골프장에서 타격을 하거나 코인 트릭을 과시하거나 롤리팝을 먹는 등 다양한 활동을 하는 모습이 포함되어 있었습니다. 클립의 제작자인 벨기에 VFX 아티스트 크리스 우메는 2018년에 처음으로 딥페이크에 관심을 갖게 되었으며 이들의 "창의적 잠재력"을 보았다고 말했습니다.

3.11. 양말 인형(Sockpuppets)

딥페이크 사진은 양말 인형(온라인 상에 존재하지 않는 사람이나 가짜 아이디), 온라인과 전통 매체에서 활발하게 활동합니다. 특히 유명한 사람으로 추정되는 Oliver Taylor라는 존재하지 않는 사람에 대한 전설과 함께 생성된 딥페이크 사진이 등장한 것으로 보입니다. Oliver Taylor 페르소나는 영국 대학생으로서 여러 신문에 의견 기사를 제출하고, 온라인 매체에서 영국의 법학 학자와 그의 아내를 "테러 지지자"로 비난하는 활동을 했습니다. 이 학자는 2018년 이스라엘에서 NSO라는 감시 회사에 대해 이스라엘에서 소송을 시작했는데, 이는 멕시코의 사람들이 NSO의 휴대전화 해킹 기술의 피해자임을 주장했습니다. 로이터는 Oliver Taylor에 대한 거의 미약한 기록만을 찾을 수 있었으며 "그"의 대학은 그에 대한 기록이 없었습니다. 많은 전문가들은 프로필 사진이 딥페이크라고 동의했습니다. 몇몇 신문은 그에게 속해있다고 알려진 기사를 철회하거나 웹사이트에서 삭제하지 않았습니다. 이러한 기술들이 선전정보 전장에서 새로운 전쟁터가 될 것을 우려합니다.

소셜 네트워크에서 존재하지 않는 사람들의 딥페이크 사진 컬렉션은 이스라엘의 당파적인 선전 활동의 일부로 사용되었습니다. "Zionist Spring" 페이스북 페이지에는 존재하지 않는 사람들의 사진과 함께 그들의 "증언"이 포함되어 있었는데, 이들은 왼쪽 성향 정치를 버리고 우파 정치를 받아들인 이유를 설명했습니다. 페이지에는 또한 이스라엘 총리 벤야민 네타냐후와 그의 아들, 그리고 다른 이스라엘 우파 출처에서의 대규모 게시물이 포함되어 있었습니다. 이 사진들은 "인간 이미지 합성" 기술을 사용하여 생성되었는데, 이는 실제 사람들의 사진에서 데이터를 가져와 존재하지 않는 사람의 현실적인 합성 이미지를 생성하는 컴퓨터 소프트웨어입니다. "증언"의 대부분에서 우파 정치를 받아들이는 이유는 주로 총리에 대한 폭력 선동에 대해 알게 되어 충격을 받았다고 합니다. 우파 이스라엘 방송국은 이러한 존재하지 않는 사람들의 "증언"을 "공유"되고 있기 때문에 이를 방송했습니다. 방송국은 이러한 사람들을 찾지 못했음에도 불구하고 이들의 "증언"을 방영했습니다. "원산지가 왜 중요한가요?" 라며 설명했습니다. 다른 페이스북 가짜 프로필 - 가상의 개인 프로필 - 에는 우파 총리에 대한 선동을 포함한 자료가 포함되어 있었는데, 이에 대해 총리가 자신의 살인 계획이 있다고 불평했습니다.

4. 우려 사항 및 대응책(Concerns and countermeasures)

가짜 사진은 오랫동안 풍부했지만 동영상을 위조하는 것은 더 어려웠으며, 딥페이크의 존재는 비디오를 진짜로 분류하는 것을 더 어렵게 만듭니다. 인공 지능 연구원인 알렉스 챔파나드는 사람들이 얼마나 빨리 딥페이크 기술로 속아넘어갈 수 있는지 알아야 하며, 문제는 기술적인 것이 아니라 정보와 저널리즘에 대한 신뢰를 통해 해결되어야 한다고 말했습니다. 남부 캘리포니아 대학교의 컴퓨터 과학 부교수 하오 리는 악의적인 목적으로 생성된 딥페이크, 예를 들어 가짜 뉴스는 딥페이크 기술에 대한 인식을 확산시키는 것이 없다면 훨씬 더 해로울 것이라고 말했습니다. 리는 2019년 10월 현재 인공 지능과 컴퓨터 그래픽 분야의 빠른 발전으로 인해 진짜 비디오와 딥페이크가 최대 반년 내에 구별할 수 없어질 것으로 예측했습니다. 구글의 이전 사기 장교인 쇼만 고세마주머더는 딥페이크를 "사회적 우려의 영역"으로 꼽았으며, 딥페이크는 결국 자동으로 생성될 수 있는 수준으로 진화하게 될 것이며, 개인이 그 기술을 사용하여 수백만 개의 딥페이크 비디오를 제작할 수 있다고 말했습니다.

4.1. 정보의 신뢰성(Credibility of information)

주요 함정 중 하나는 미디어 콘텐츠가 진실에 해당하는지 여부를 판단할 수 없는 시대에 빠질 수 있다는 것입니다. 딥페이크는 의심을 불러일으키고 신뢰를 저해하는 디스인포메이션 공격 도구 중 하나입니다. 그들은 집단적인 의제를 확인하고, 문제를 논의하고, 결정을 내리며, 정치적 의지를 행사함으로써 민주 사회의 기능에 방해가 될 수 있습니다. 사람들은 실제 사건을 가짜로 보기 시작할 수도 있습니다.

4.2. 명예 훼손(Defamation)

딥페이크는 개별 엔티티를 엄청나게 손상시킬 수 있는 능력을 갖고 있습니다. 이는 딥페이크가 종종 한 개인을 대상으로 하거나, 다른 사람들과의 관계를 향상시켜 공공 의견이나 신념에 영향을 미칠만큼 강력한 스토리를 만들기 위해 노력하기 때문입니다. 이는 딥페이크 음성 사기를 통해 이루어질 수 있습니다. 이는 음성을 조작하여 가짜 전화나 대화를 만드는 것입니다. 딥페이크의 또 다른 사용 방법은 조작된 개인적 발언입니다. 이는 미디어를 조작하여 개인이 피해를 주는 의견을 표현하는 것입니다. 부정적인 비디오나 오디오의 품질이 높을 필요는 없습니다. 누군가의 유사성과 행동이 인식 가능하다면 딥페이크는 그들의 평판을 손상시킬 수 있습니다. 2020년 9월, 마이크로소프트가 딥페이크 탐지 소프트웨어 도구를 개발 중이라는 사실을 공개했습니다.

4.3. 감지(Detection)

4.3.1. 오디오(Audio)

가짜 오디오를 감지하는 것은 성능을 향상시키기 위해 오디오 신호에 대한 주의 깊은 처리가 필요한 매우 복잡한 작업입니다. 딥러닝을 사용하여 특징 설계의 전처리 및 마스킹 증강은 성능 향상에 효과적으로 증명되었습니다.

4.3.2. 비디오(Video)

대부분의 딥페이크에 관한 학술 연구는 딥페이크 비디오의 감지에 중점을 두고 있습니다. 딥페이크 감지의 한 가지 접근 방식은 알고리즘을 사용하여 딥페이크 비디오에서 발생하는 미묘한 불일치를 인식하는 것입니다. 예를 들어, 연구자들은 비디오를 자동으로 검사하여 비정상적인 눈 깜빡임 패턴이나 조명의 불규칙한 패턴과 같은 오류를 찾아내는 시스템을 개발했습니다. 이러한 접근법은 딥페이크 감지가 "이동하는 골대"로 특징 지어지기 때문에 비판을 받았습니다. 즉, 딥페이크를 감지하는 알고리즘이 개선됨에 따라 딥페이크의 생성이 계속 변경되고 개선됩니다.

가장 효과적인 딥페이크 감지 알고리즘을 평가하기 위해 선도 기술 기업들의 연합이 딥페이크 감지 도전을 주최하여 조작된 콘텐츠를 식별하기 위한 기술을 가속화했습니다. 딥페이크 감지 도전의 우승 모델은 4,000개의 비디오에 대한 홀드아웃 세트에서 65%의 정확도를 보였습니다. 또한 매사추세츠 공과대학의 한 팀은 2021년 12월에 발표한 논문에서 일반인이 임의로 선택된 50개의 비디오를 식별하는 데 69~72%의 정확도를 보였습니다.

버팔로 대학의 한 팀은 2020년 10월에 발표한 논문에서 딥페이크를 성공적으로 발견하기 위해 표시된 사람들의 눈 반사를 사용하는 기술을 개발했습니다.

정치 지도자와 같이 잘 알려진 개인들의 경우 얼굴, 제스처 및 음성 행동 패턴과 같은 신원 기반 기능을 구별하고 딥페이크 가짜를 탐지하기 위해 알고리즘을 개발해 왔습니다.

또 다른 팀은 남부 캘리포니아 대학교 정보과학 연구소의 시각 인공지능 및 멀티미디어 분석 연구실(VIMAL)에서 Wael AbdAlmageed가 주도하여, 합성곱 신경망을 기반으로 한 두 가지 세대의 딥페이크 감지기를 개발했습니다. 첫 번째 세대는 재귀 신경망을 사용하여 딥페이크 생성 과정에서 남은 시공간적 불일치를 식별하여 시각적 아티팩트를 찾아내었습니다. 이 알고리즘은 그 당시 유일한 대규모 딥페이크 벤치마크인 FaceForensics++에서 96%의 정확도를 달성했습니다. 두 번째 세대는 두 가지 분기 네트워크를 사용하여 아티팩트와 고수준의 의미론적 얼굴 정보를 구별했습니다. 첫 번째 분기는 색상 정보를 전파하고, 다른 분기는 얼굴 콘텐츠를 억제하고 LoG(Laplacian of Gaussian)를 사용하여 저수준의 주파수를 증폭시킵니다. 더 나아가, 그들은 참된 얼굴의 조밀한 표현을 학습하고 딥페이크의 표현(즉, 특징)을 분산시키는 새로운 손실 함수를 포함시켰습니다. VIMAL의 접근법은 FaceForensics++ 및 Celeb-DF 벤치마크에서 최신의 성능을 보여주었으며, 2022년 3월 16일(발표일과 동일한 날)에는 다시 훈련이나 딥페이크를 생성하는 알고리즘에 대한 지식 없이도 볼로디미르 젤렌스키의 딥페이크를 즉시 식별하는 데 사용되었습니다.

​다른 기술들은 블록체인을 사용하여 미디어의 소스를 확인할 수 있다고 제안합니다. 예를 들어, 비디오는 소셜 미디어 플랫폼에 표시되기 전에 블록체인을 통해 확인되어야 합니다. 이 기술을 사용하면 신뢰할 수 있는 소스에서만 비디오가 승인되어 가능한 유해한 딥페이크 미디어의 전파가 감소합니다.

모든 비디오와 이미지를 카메라 및 비디오 카메라(스마트폰 카메라 포함)로 디지털적으로 서명하는 것이 딥페이크와의 싸움에 도움이 될 것으로 제안되었습니다. 이를 통해 모든 사진이나 비디오를 원래 소유자로 추적할 수 있으며 이를 통해 반대자를 추적할 수 있습니다.

딥페이크 비디오 통화를 발견하는 간단한 방법 중 하나는 통화 요청자에게 측면을 보여 달라고 요청하는 것입니다.

4.4. 예방(Prevention)

Deeptrace에서 작업하는 Henry Ajder는 직장에서 딥페이크에 대비하는 여러 가지 방법을 제안합니다. 중요한 대화 중에는 의미 있는 비밀번호나 비밀 질문을 사용하여 참여자의 신원을 확인할 수 있습니다. 또한 음성 인증 및 기타 생체 인증 기능이 최신 상태로 유지되도록 하는 것이 중요합니다. 직원들에게 딥페이크에 대해 교육을 제공하고 잠재적인 위험에 대한 인식을 높이는 것도 중요합니다. 이러한 조치를 시행함으로써 조직은 딥페이크 조작의 위협으로부터 더욱 잘 보호할 수 있습니다.

4.5. 논쟁(Controversies)

2024년 3월, 버킹엄 궁전에서 케이트 미들턴이 암을 앓고 항암 요법을 받고 있다는 영상 클립이 공개되었습니다. 그러나 이 영상은 그녀가 인공지능 딥페이크인 것으로 추측되는 소문을 일으켰습니다. UCLA 경기 감독 존슨 퍼킨스는 그녀가 암에 걸렸는지 의심하고, 더 나아가 그녀가 위급한 상황에 처해 있거나 사망했을 수도 있다고 추측했습니다.

5. 예시 사건(Example events)

2018년 4월 17일, 미국 배우 조던 필, BuzzFeed 및 Monkeypaw Productions는 유튜브에 바락 오바마를 딥페이크한 영상을 게시했습니다. 이 영상에서 바락 오바마의 목소리와 얼굴이 조던 필의 것으로 변형되어 트럼프를 비하하는 말을 하고 있습니다. 이 영상의 목적은 딥페이크의 위험한 결과와 힘, 그리고 딥페이크가 누구든지 아무 말이나 할 수 있게 만들 수 있다는 것을 보여주는 것이었습니다.

5.1. Barack Obama

2019년 5월 5일, Derpfakes는 미국 NBC의 '투나잇 쇼'에서 지미 팰런이 연기한 스케치를 바탕으로 도널드 트럼프의 딥페이크를 유튜브에 게시했습니다. (2016년 5월 4일 방송) 오리지널 스케치에서 지미 팰런은 도널드 트럼프로 분장되어 바라크 오바마와 전화 통화를 한 것으로 나타났는데, 그 내용은 인디애나 주에서의 주요 우승을 자랑하는 것으로 나타났습니다. 딥페이크에서는 지미 팰런의 얼굴이 도널드 트럼프의 얼굴로 변환되었고, 오디오는 그대로 유지되었습니다. 이 딥페이크 비디오는 Derpfakes가 웃음을 유발하기 위해 제작되었습니다.

2023년 3월에는 뉴욕 경찰청 직원들이 트럼프를 제압하는 모습을 보여주는 일련의 이미지가 나타났습니다. Midjourney를 사용하여 생성된 이 이미지는 처음에 일리엇 히긴스가 트위터에 게시했지만, 나중에 맥락 없이 다시 공유되어 일부 시청자들이 이것이 실제 사진인 것으로 오해할 수 있었습니다.

5.2. Donald Trump

2019년에 나는 센터 포 아메리칸 프로그레스에서 나오시 펠로시의 연설 클립이 소셜 미디어에서 널리 퍼져 나갔다. 이 비디오에서는 비디오가 감속되었고, 오디오의 피치가 변경되어 그녀가 술에 취한 것처럼 보이게 되었다. 비판가들은 이것이 딥페이크가 아니라 얕은페이크로, 보다 정교한 형태의 비디오 조작이 아니라고 주장한다.

5.3. Nancy Pelosi

2019년, 나시 펠로시가 센터 포 아메리칸 프로그레스에서 한 연설에서 사용된 클립이 소셜 미디어를 통해 널리 보급되었습니다. 이 비디오에서는 비디오가 감속되었고, 오디오의 피치가 변경되어 그녀가 술에 취한 듯한 모습을 보이도록 편집되었습니다. 비평가들은 이것이 딥페이크가 아니라 얕은페이크로, 보다 정교한 형태의 비디오 조작이 아니라고 주장합니다.

5.4. Mark Zuckerberg

2019년 5월, CannyAI와 협업한 두 명의 예술가가 Facebook 창립자 마크 저커버그에 대한 딥페이크 비디오를 만들었습니다. 이 비디오는 인공 지능의 위험성에 대해 대중을 교육하는 전시회의 일부였습니다.

5.5. Kim Jong-un and Vladimir Putin

2020년 9월 29일, 비정부주의적 단체인 RepresentUs가 제작한 북한 김정은 및 러시아 대통령 블라디미르 푸틴의 딥페이크가 YouTube에 업로드되었습니다.

김정은과 푸틴의 딥페이크는 미국 선거에 이들 지도자의 개입이 미국 민주주의에 해로울 것이라는 개념을 전달하기 위해 공개적으로 방영될 목적이었습니다. 이 광고들은 아메리칸들이 민주주의가 얼마나 취약한지, 뉴스와 미디어가 신뢰성에 관계없이 국가의 방향에 큰 영향을 미칠 수 있다는 것을 깨닫게 하기 위한 것이기도 했습니다. 그러나 이 광고들은 끝에 영상이 실제가 아님을 상세히 설명하는 코멘트가 포함되었음에도 불구하고, 아메리칸들의 반응에 대한 두려움과 민감성으로 인해 최종적으로 방영되지 않았습니다.

2023년 6월 5일, 알려지지 않은 출처로부터 블라디미르 푸틴의 딥페이크가 다수의 라디오와 텔레비전 네트워크에 방송되었습니다. 이 클립에서 푸틴은 러시아 침공을 발표하고 군대의 총력전을 호소하는 것으로 나타납니다.

5.6. Volodymyr Zelenskyy

2022년 3월 16일, 우크라이나 대통령 볼로디미르 제레미 스키가 2022년 러시아의 우크라이나 침공 중에 병사들에게 무기를 내려놓고 항복하라고 명하는 것으로 보이는 1분짜리 딥페이크 동영상이 소셜 미디어에 유포되었습니다. 러시아 소셜 미디어에서 이를 홍보했지만, 이것이 거짓임이 밝혀지자 Facebook과 YouTube가 이를 제거했습니다. Twitter는 이 동영상을 거짓으로 노출된 트윗에서 허용했지만, 사람들을 속이기 위해 게시된 경우 이를 제거할 것이라고 밝혔습니다. 해커들은 TV 방송국 Ukraine 24의 실시간 스크롤링 텍스트 뉴스 크롤에 이 정보를 삽입했으며, 이 비디오는 주니어의 웹 사이트에 잠시 나타나기도 했습니다. 또한 제레미 스키가 그 나라의 수도인 키예프를 탈출했다는 거짓 주장과 함께 나타났습니다. 이 딥페이크를 만든 사람은 명확하지 않았으며, 제레미 스키는 "우리는 어떠한 무기도 내려놓을 계획이 없습니다. 우리의 승리까지"라고 자신의 비디오로 대응했습니다.

5.7. Wolf News

2022년 후반, 중국 지지 선전가들이 "Wolf News"에서 나온 것으로 주장하는 딥페이크 비디오를 확산하기 시작했습니다. 이 딥페이크 비디오는 합성된 배우를 사용했습니다. 이 기술은 훈련 및 인사 관련 비디오에 라이브 배우의 저렴한 대안으로 소개되고 있는 런던 회사 Synthesia에서 개발되었습니다.

5.8. Pope Francis​

2023년 3월, 시카고의 익명의 건설 노동자가 Midjourney를 사용하여 백색 발렌시아가 패딩 재킷을 입은 교황 프란치스코의 가짜 이미지를 만들었습니다. 이 이미지는 급속하게 확산되어 2천만 조회수를 기록했습니다. 작가 라이언 브로더릭은 이것을 "첫 번째 진짜 대규모 AI 잘못된 정보 사례"라고 표현했습니다. Slate에서 상담 받은 전문가들은 그 이미지를 고급스럽지 않다고 설명했습니다: "5년 전에 포토샵으로 만들 수 있었을 것입니다".

5.9. Rashmika Mandanna

2023년 11월 초, 유명한 남인도 배우 래시미카 만단나가 딥페이크의 희생양이 되었습니다. 인도계 영국 유명 인플루언서 자라 파텔의 얼굴에 래시미카의 얼굴이 합성된 동영상이 소셜 미디어에 유포되기 시작했습니다. 자라 파텔은 해당 동영상 제작과는 무관하다고 주장했습니다.

5.10. Bongbong Marcos

2024년 4월에 필리핀 대통령 본본 마르코스를 오해시키는 딥페이크 동영상이 공개되었습니다. 이 동영상은 필리핀 대통령이 중국이 필리핀을 공격할 경우 필리핀 군대와 특수 부대에게 "적절히 대응하라"고 명령하는 것으로 보이는 마르코스의 딥페이크 음성과 함께 제공되는 슬라이드쇼입니다. 이 동영상은 남중국해 분쟁과 관련된 긴장 상황 속에서 공개되었습니다. 대통령 통신처는 대통령으로부터 그러한 지시가 없다고 밝히고, 외국의 행위자가 이 가짜 미디어를 만든 것일 수도 있다고 말했습니다. 필리핀 방송인 협회는 이 딥페이크 미디어와 관련하여 형사 고발을 제기했습니다.

6. 대응(Responses)

6.1. 소셜 미디어 플랫폼(Social media platforms)

6.1.1. X(Twitter)

X(트위터)는 플랫폼에서 합성 및 조작된 미디어를 처리하기 위해 적극적인 조치를 취하고 있습니다. 허위 정보가 퍼지는 것을 방지하기 위해, 트위터는 미디어가 조작되었음을 시청자에게 알리는 표시가 있는 트윗에 주의를 줍니다. 또한 해당 트윗을 리트윗하거나 좋아요를 누르거나 관련 트윗에 참여하려는 사용자에게 경고가 나타납니다. 트위터는 또한 사용자에게 조작되거나 합성된 미디어를 포함한 트윗 옆에 트위터 모멘트나 신뢰할 수 있는 뉴스 기사로 연결되는 링크를 제공하여 잘못된 정보에 대응합니다. 또한 사용자의 안전에 해를 끼칠 수 있는 딥페이크나 조작된 미디어를 포함하는 트윗을 제거할 수 있는 능력을 갖추고 있습니다. 딥페이크 및 조작된 미디어 탐지를 향상시키기 위해 트위터는 트위터와 함께 딥페이크 탐지 솔루션을 개발하고자 하는 사용자에게 협력을 제안하는 양식을 작성하도록 요청했습니다.

6.1.2. Facebook

페이스북은 최첨단 딥페이크 탐지 소프트웨어 개발을 촉진하기 위해 노력하고 있습니다. 페이스북은 2019년 12월에 개최된 딥페이크 탐지 챌린지(DFDC)에 주요 파트너로 참여하여 2114명의 참가자가 참여하고 35,000개 이상의 모델을 생성했습니다. 가장 뛰어난 성능을 보인 모델들은 최고의 탐지 정확도를 가진 것으로 분석되었으며, 이러한 결과는 딥페이크 탐지 모델을 개선하고 정교화하기 위한 추가 연구의 관심사입니다. 게다가, 페이스북은 개인의 발언을 조작하는 데 인공지능을 사용한 미디어를 제거할 것이라고 밝혔습니다. 그러나 단어의 순서나 맥락을 변경하기 위해 편집된 미디어는 인공지능으로 생성되지 않았기 때문에 플랫폼에 남아 있지만 거짓으로 표시될 것입니다.

6.2. 인터넷 반응(Internet reaction)

2018년 1월 31일, Gfycat은 사이트에서 모든 딥페이크를 제거하기 시작했습니다. 레딧의 r/deepfakes 서브레딧은 2018년 2월 7일에 "자발적 음란물" 정책 위반으로 금지되었습니다. 같은 달, 트위터 대표들은 비동의적인 딥페이크 콘텐츠를 게시한 계정을 중단할 것이라고 밝혔습니다. 채팅 사이트 디스코드는 과거에 딥페이크에 대한 조치를 취했으며, 딥페이크에 대한 일반적인 입장을 취해왔습니다. 2018년 9월, 구글은 "자발적인 합성 음란물 이미지"를 금지 목록에 추가하여 가짜 누드가 포함된 결과를 차단할 수 있도록 허용했습니다. 2018년 2월, 포르노허브는 딥페이크 비디오를 사이트에서 금지할 것이라고 밝혔습니다.

페이스북은 이전에 플랫폼에서 딥페이크를 제거하지 않을 것이라고 밝힌 바 있습니다. 대신, 비디오는 제3자에 의해 가짜로 표시되고 사용자의 피드에서 우선순위가 줄어들 것입니다. 이 응답은 2019년 6월 페이스북과 인스타그램에서 마크 저커버그의 2016년 비디오를 특징으로 한 딥페이크가 유포된 후에 나온 것입니다.

2022년 5월, 구글은 공식적으로 Jupyter Notebook colabs의 이용 약관을 변경하여 deepfake를 생성하는 목적으로 그들의 colab 서비스 사용을 금지했습니다. 이는 VICE 기사가 게시된 후 몇 일 만에 이루어졌는데, 해당 기사는 "대부분의 딥페이크는 비동의적 음란물"이며 인기있는 딥페이크 소프트웨어인 DeepFaceLab (DFL)의 주요 사용 목적은 구글 colab과 자주 함께 사용되는데, "이 세대의 대부분의 딥페이크를 구동하는 가장 중요한 기술"이며 종종 비동의적 음란물을 만드는 데 사용된다고 주장했습니다. 이는 DFL의 GitHub 페이지가 딥페이크 포르노 웹 사이트 Mr.Deepfakes에 연결되어 있으며, DFL Discord 서버의 참가자들도 Mr.Deepfakes에 참여한다는 사실을 가리키는데, 이러한 사실을 들었습니다.

6.3. 법적 대응(Legal response)

미국에서는 딥페이크가 초래하는 문제에 대한 대응이 있었습니다. 2018년에는 악의적인 딥페이크 금지법이 미국 상원에 제출되었고, 2019년에는 DEEPFAKES 책임법이 하원에 제출되었습니다. 버지니아, 텍사스, 캘리포니아, 뉴욕을 포함한 여러 주에서 딥페이크에 관한 법안이 제안되었습니다. 2019년 10월 3일 캘리포니아 주지사 게빈 뉴솜은 602호와 730호 회의 법안을 서명했습니다. 602호 회의 법안은 동의 없이 만들어진 성적으로 노출된 딥페이크 콘텐츠를 표적으로 삼은 개인에 대해 콘텐츠 제작자에 대한 소송권을 부여합니다. 730호 회의 법안은 공직에 출마한 후보를 표적으로 한 악의적인 딥페이크 오디오 또는 시각 미디어의 배포를 선거 60일 이내에 금지합니다.

2019년 11월 중국은 딥페이크와 다른 합성 된 가짜 영상이 2020년부터 그들의 가짜 여부에 대한 명확한 표시를 표시해야한다고 발표했습니다. 중국 인터넷 정보처에 따르면 이에 불응시에는 범죄로 간주될 수 있습니다. 중국 정부는 사용자 및 온라인 비디오 플랫폼이 규칙을 준수하지 않는 것에 대해 처벌 할 권리를 보유하는 것으로 보입니다.

영국에서는 딥페이크 제작자가 괴롭힘으로 고발될 수 있지만, 딥페이크를 특정 범죄로 만들 것을 요구하는 요구가 있습니다. 미국에서는 신분 도용, 사이버 스토킹 및 복수 포르노와 같은 다양한 혐의가 추구되었으며, 보다 포괄적인 법률 개정안에 대한 논의도 있었습니다.

캐나다에서는 통신 안보 기관이 딥페이크가 캐나다 정치에 개입하는 데 사용될 수 있다고 밝힌 보고서를 발표했습니다. 특히 정치인들을 비하하고 유권자에게 영향을 미칠 수 있다고 합니다. 결과적으로, 캐나다 시민들이 딥페이크의 표적이 될 경우 대응할 수 있는 여러 가지 방법이 있습니다.

인도에서는 인공지능 또는 딥페이크에 대한 직접적인 법률이나 규제가 없지만, 인도 형법과 정보기술법 2000/2008에는 법적 구제를 위한 규정이 있습니다. 또한, 새롭게 제안된 디지털 인도법은 AI 및 특히 딥페이크에 대한 장을 갖게 될 것입니다.

유럽에서는 유럽 연합의 인공지능 법안 (AI Act)이 딥페이크를 포함한 AI 시스템을 규제하는 위험 중심 접근 방식을 취합니다. 이 법안은 "불허용 위험", "고위험", "특정/제한된 또는 투명성 위험" 및 "최소 위험"의 범주를 설정하여 AI 제공업체 및 사용자의 규제 의무 수준을 결정합니다. 그러나 이러한 위험 범주에 대한 명확한 정의 부재는 딥페이크에 대한 효과적인 시행에 잠재적인 어려움을 일으킵니다. 법학자들은 정치적 오보나 동의 없는 개인적인 이미지 제작을 위한 딥페이크의 분류에 대해 우려를 표명했습니다. 이러한 용도가 항상 "고위험" AI 시스템으로 간주되어야 하는지에 대한 논쟁이 있으며, 이는 더 엄격한 규제 요구 사항으로 이어질 수 있습니다.

6.4. DARPA 대응(Response from DARPA)

2016년에 국방고등연구계획국(DARPA)은 2020년까지 자금이 지원되는 미디어 포렌식(MediFor) 프로그램을 시작했습니다. MediFor는 이미지와 비디오를 포함한 디지털 조작을 자동으로 감지하는 것을 목표로 했습니다. 여기에는 딥페이크도 포함됩니다. 2018년 여름, MediFor는 AI로 생성된 비디오, 오디오, 이미지 및 이러한 딥페이크를 감지하는 자동화된 도구를 만들기 위해 개인들이 경쟁하는 이벤트를 개최했습니다. MediFor 프로그램에 따르면 디지털 무결성, 물리적 무결성 및 의미적 무결성의 세 가지 정보 계층을 설정하여 조작된 미디어를 정확하게 감지하기 위해 하나의 무결성 점수를 생성하는 프레임워크를 구축했습니다.

2019년에 DARPA는 의미 포렌식(SemaFor) 프로그램을 위한 "제안자들의 날"을 개최하여 연구자들이 AI 조작 미디어의 바이럴 확산을 방지하기 위해 노력했습니다. DARPA와 의미 포렌식 프로그램은 또한 컴퓨터가 상식과 논리적 추론을 활용하여 AI 조작 미디어를 감지하는 노력을 통해 협력했습니다. MediFor의 기술을 기반으로 한 SemaFor의 속성 추론 알고리즘은 디지털 미디어가 특정 조직이나 개인에서 비롯된 것인지 추론하고, 특성화 알고리즘은 미디어가 악의적인 목적으로 생성되거나 조작되었는지를 결정합니다. 2024년 3월, SemaFor는 SemaFor 하에서 개발된 오픈 소스 자원에 대한 공개 접근을 제공하는 분석 카탈로그를 게시했습니다.

6.5. 정보 환경에 관한 국제 패널(International Panel on the Information Environment)

2023년에 시작된 정보 환경에 대한 국제 패널(International Panel on the Information Environment)은 250명 이상의 과학자 consorium으로 구성되어, 딥페이크 및 인터넷을 통해 정보를 배포하는 조직에서 비뚤어진 인센티브로 인해 발생하는 다른 문제에 대한 효과적인 대책을 개발하고 있습니다.

7. 대중문화에서(In popular culture)

1986년 12월 중순, Analog 잡지에 Jack Wodhams의 소설 "Picaper"가 게재되었습니다. 이 소설의 줄거리는 숙련된 해커들이 비양심적인 변호사와 정치인을 위해 디지털로 향상되거나 생성된 비디오를 제작하는 내용을 다룹니다. 1987년 영화 "The Running Man"에서는 아놀드 슈워제네거가 출연하며, 독재 정부가 컴퓨터를 사용하여 도망자들의 얼굴을 배우들의 얼굴로 디지털 교체하여 도망자들이 중립화된 것처럼 보이게 하는 내용을 담고 있습니다.

1992년 필립 커의 테크노 스릴러 "A Philosophical Investigation"에서는 주인공이자 연쇄살인범인 '비트겐슈타인'이 딥페이크와 유사한 소프트웨어와 가상 현실 슈트를 사용하여 이자도라 '제이크' 자코위츠 경위의 아바타와 성관계를 맺습니다. 1993년 영화 "Rising Sun"에서는 션 코너리와 웨슬리 스나입스가 출연하며, 진고 아사쿠마라는 인물이 컴퓨터 디스크를 사용하여 개인의 신원을 디지털로 변경하여 경쟁자를 범죄자로 몰아넣는 것을 폭로하는 내용을 다룹니다.

2019년 BBC One TV 시리즈 "The Capture"에서는 딥페이크 기술이 줄거리의 일부로 사용됩니다. 첫 번째 시리즈에서는 전 영국 육군 하사관인 숀 에머리가 변호사를 폭행하고 납치한 혐의를 받습니다. 그러나 실제로는 조작된 CCTV 영상이 그를 범인으로 몰아가고 경찰의 수사를 오도하는 것으로 밝혀집니다. 두 번째 시리즈에서는 정치인 아이작 터너가 자신의 명예를 훼손하는 또 다른 딥페이크를 발견하고, 이것이 결국 공개되어 바로잡힙니다.

2020년 6월, 유튜브 딥페이크 아티스트 Shamook은 1994년 영화 "포레스트 검프"에서 톰 행크스의 얼굴을 존 트라볼타의 얼굴로 교체한 딥페이크를 제작했습니다. 그는 이 작업을 위해 톰 행크스와 동시대에 출시된 존 트라볼타의 영화에서 추출한 6,000개의 고품질 이미지를 사용했습니다. 이 딥페이크의 유머와 아이러니는 2007년 존 트라볼타가 "포레스트 검프"의 주연 역할을 맡을 기회를 거절하고 "펄프 픽션"에 출연하기로 결정한 데서 비롯되었습니다.

2021년 다큐멘터리 "Al Davis vs. the NFL"에서는 라스베이거스 레이더스의 소유주였던 앨 데이비스와 자주 대립했던 NFL 커미셔너 피트 로젤의 딥페이크 버전을 사용하여 이야기를 전달합니다.

2022년 캐나다 경찰 시리즈 "Hudson & Rex"의 57번째 에피소드 "Impawster Syndrome"에서는 경찰 팀의 한 멤버가 조작된 CCTV 영상으로 인해 강도와 폭행 혐의로 조사받는 내용을 다룹니다.

2022년 켄드릭 라마는 그의 음악 비디오 "The Heart Part 5"에서 니프시 허슬, 오.제이. 심슨, 캐니 웨스트 등과 유사한 인물로 변신하는 딥페이크 기술을 사용했습니다. 이 비디오의 딥페이크 기술은 "사우스 파크"를 만든 트레이 파커와 맷 스톤이 이끄는 Deep Voodoo 스튜디오에서 제작되었습니다.

아로에 블락은 그의 오랜 협력자인 아비치를 기리기 위해 딥페이크 기술을 사용하여 그들의 곡 "Wake Me Up"을 영어, 스페인어, 만다린어로 공연했습니다.

2023년 1월, ITVX는 유명인들의 얼굴을 딥페이크로 교체한 배우들이 무의미한 갈등을 겪는 내용을 다룬 시리즈 "Deep Fake Neighbour Wars"를 공개했습니다.

2023년 10월, 톰 행크스는 자신의 인스타그램 페이지에 "어떤 치과 플랜"을 홍보하는 자신의 딥페이크 이미지를 공유하며 팬들에게 "주의하세요... 나는 그것과 아무 관련이 없습니다."라고 경고했습니다.

딥페이크

---

https://en.wikipedia.org/w/index.php?title=Deepfake&oldid=1225427498

​이 문서는 2024년 5월 25일 (토) 01:21 (KST)에 마지막으로 편집되었습니다.

수정된 부분은 붉은색으로 표시되었습니다.

https://creativecommons.org/licenses/by-sa/4.0/deed.ko