WIRED, 딥페이크 음란물(포르노) 동영상과 급증 빅테크 기업의 묵인

새로운 연구에 따르면 딥페이크 동영상의 수가 급증하고 있으며, 세계 최대 검색 엔진이 동의하지 않은 딥페이크 전용 사이트 수십 개로 클릭을 유도하고 있습니다.

딥페이크 동영상과 급증 빅테크 기업의 묵인

구글과 마이크로소프트의 검색 엔진은 딥페이크 음란물(포르노) 동영상에 문제가 있습니다. 딥페이크는 반세기 전에 등장한 이래로 머신 러닝을 이용해 사람의 머리를 허락 없이 포르노로 변형하는 기술로 여성을 학대하고 괴롭히는 데 지속적으로 사용되어 왔습니다. 이제 AI 기술의 발전과 딥페이크 생태계의 확장에 힘입어 비합의적인 딥페이크 포르노 동영상의 수가 기하급수적으로 증가하고 있습니다.

딥페이크 음란물(포르노) 통계 조사

독립적인 연구원이 수행하여 WIRED와 공유한 비동의 딥페이크 포르노 동영상에 대한 새로운 분석에 따르면 딥페이크 동영상이 얼마나 널리 퍼져 있는지 알 수 있습니다. 온라인에서 표적이 되지 않기 위해 익명을 요구한 연구원에 따르면 지난 7년 동안 딥페이크 포르노 동영상을 독점적으로 또는 부분적으로 호스팅하는 상위 35개 웹사이트에 업로드된 동영상은 최소 244,625개에 달했습니다.

2023년 첫 9개월 동안 해당 웹사이트에 업로드된 동영상은 11만 3,000개로, 2022년 한 해 동안 업로드된 동영상 7만 3,000개보다 54% 증가했습니다. 분석 결과에 따르면 2023년 말에는 2023년에 제작될 동영상의 수가 지난 1년을 합친 것보다 더 많을 것으로 예상됩니다.

이러한 놀라운 수치는 비합의적 딥페이크 문제가 얼마나 심각해졌는지를 보여주는 단편적인 예일 뿐이며, 전체 규모는 훨씬 더 크고 다른 유형의 조작된 이미지까지 포함합니다. 최근 몇 년 동안 주로 여성을 표적으로 삼고 당사자의 동의나 모르게 제작되는 딥페이크 남용 산업이 등장했습니다. 정지 이미지에서 작동하는 얼굴 바꾸기 앱과 몇 번의 클릭만으로 사진 속 인물의 옷을 벗길 수 있는 앱도 눈에 띄게 증가하고 있습니다. 이러한 앱으로 수백만 개의 이미지가 만들어지고 있을 것입니다.

A deepfake porn bot is being used to abuse thousands of women

펜실베이니아 대학교에서 디지털 인권과 사이버 성폭력에 대해 연구하는 소피 매독스(Sophie Maddocks)는 "이러한 범죄는 일상적인 사람들, 일상적인 고등학생, 일상적인 성인을 표적으로 삼고 있으며 일상적인 일이 되었습니다."라고 말합니다. "이러한 기술에 접근하기 어렵게 만들 수 있다면 많은 변화를 가져올 수 있을 것입니다. 잠재적으로 성범죄를 선동하는 데 2초도 걸리지 않아야 합니다."

이번 연구는 딥페이크 포르노 동영상을 독점적으로 호스팅하거나 다른 성인용 자료와 함께 동영상을 제공하는 35개의 웹사이트를 집중적으로 조사했습니다. (소셜 미디어에 게시된 동영상, 비공개로 공유된 동영상 또는 조작된 사진은 포함되지 않습니다.) WIRED는 이러한 웹사이트의 가시성을 높이기 위해 웹사이트의 이름을 지정하거나 직접 연결하지 않습니다. 연구진은 딥페이크 동영상의 수와 지속 시간을 분석하기 위해 웹사이트를 스크랩했으며, 분석 서비스인 SimilarWeb을 사용하여 사람들이 해당 웹사이트를 어떻게 찾는지 조사했습니다. 시밀러웹은 비즈니스용 웹 애널리틱스 서비스를 제공하는 웹사이트로, 이 기업은 고객에게 자신의 클라이언트와 경쟁사의 웹사이트 트래픽의 양, 키워드 분석을 포함한 리퍼럴 소스, 웹사이트의 상주 정도 등의 기능을 제공합니다.

많은 웹사이트가 딥페이크 포르노 동영상을 호스팅하거나 퍼뜨리는 것으로 나타났습니다. 웹사이트 이름에 딥페이크 또는 딥페이크의 파생어가 포함된 경우가 많았습니다. 상위 2개 웹사이트에는 각각 44,000개의 동영상이 포함되어 있으며, 다른 5개 웹사이트에는 10,000개 이상의 딥페이크 동영상이 호스팅되어 있습니다. 대부분의 웹사이트는 수천 개의 동영상을 보유하고 있지만, 일부 웹사이트는 수백 개의 동영상만 보유하고 있습니다. 연구원이 분석한 일부 동영상은 수백만 번 시청되기도 했습니다.

또한 이 연구에서는 어떤 식으로든 비합의적인 딥페이크 포르노를 포함하고 있는 일반 포르노 웹사이트 300개를 추가로 확인했습니다. 연구진은 '유출' 웹사이트와 사람들의 소셜 미디어 사진을 재게시하기 위해 존재하는 웹사이트에도 딥페이크 이미지가 포함되어 있다고 말합니다. 사진을 취급하는 한 웹사이트는 35만 장의 사진에 '옷을 벗은' 사람들이 있다고 주장합니다.

온라인에서 딥페이크 동영상과 이미지의 전체 규모를 측정하는 것은 매우 어렵습니다. 소셜 미디어에서 콘텐츠가 공유되는 위치를 추적하는 것은 어려운 일이며, 가학적인 콘텐츠는 피해자와 아는 사람들에 의해 비공개 메시지 그룹이나 비공개 채널에서 공유되기도 합니다. 2023년 9월, 스페인의 알멘드랄레호 마을에서는 11세에서 17세 사이의 소녀 20명 이상이 자신도 모르게 AI 도구가 자신들의 나체 사진을 생성하는 데 사용되었다는 사실을 알게 되었습니다.

AI-generated naked child images shock Spanish town of Almendralejo

"딥페이크 비동의 포르노 이미지를 생성하는 AI 도구의 가용성이 크게 증가했으며, 포르노 플랫폼과 불법 온라인 네트워크에서 이러한 유형의 콘텐츠에 대한 수요가 증가하고 있습니다."라고 호주 모나쉬 대학교의 부교수이자 AI와 기술이 조장하는 학대를 연구하는 애셔 플린(Asher Flynn)은 말합니다. 이러한 수요는 새로운 생성 AI 도구로 인해 더욱 증가할 가능성이 높습니다.

딥페이크의 관문 검색 엔진

딥페이크 동영상이나 이미지를 만드는 많은 웹사이트와 도구의 관문은 검색을 통해 이루어집니다. 수백만 명의 사람들이 연구원이 분석한 웹사이트로 이동하며, 그 중 50~80%는 검색을 통해 해당 웹사이트로 이동합니다. 검색을 통해 딥페이크 동영상을 찾는 것은 매우 간단하며 검색 대상에 대한 특별한 지식이 필요하지 않습니다.

이 문제는 전 세계적인 문제입니다. 연구진은 VPN을 사용하여 캐나다, 독일, 일본, 미국, 브라질, 남아프리카공화국, 호주에서 구글 검색을 테스트했습니다. 모든 테스트에서 딥페이크 웹사이트가 검색 결과에 눈에 띄게 표시되었습니다. 유명인, 스트리머, 콘텐츠 크리에이터가 딥페이크의 표적이 되는 경우가 많았습니다. 매독스는 딥페이크의 확산이 '만연'해졌다고 말하며, 2017년 12월에 딥페이크 동영상이 처음 등장했을 때 많은 연구자들이 처음 우려했던 바라고 말합니다.

AI-Assisted Fake Porn Is Here and We’re All Fucked

딥페이크 동영상을 제작하는 데 필요한 도구가 등장한 이후 딥페이크 동영상은 사용하기 쉬워졌고, 제작되는 동영상의 품질도 향상되었습니다. 이미지 생성 도구의 등장으로 인해 더 높은 품질의 어뷰징 이미지가 제작될 가능성이 높아졌고, 결국에는 딥페이크 동영상도 제작될 수 있게 되었습니다. 그리고 딥페이크가 처음 등장한 지 5년이 지난 지금, 가짜 이미지 공유를 범죄로 규정하는 최초의 법이 등장했습니다.

Sharing deepfake intimate images to be criminalised in England and Wales

플린은 이러한 딥페이크 앱의 확산이 코로나19 시대에 디지털 커뮤니케이션에 대한 의존도가 높아지고 "법과 정책이 이에 발맞추지 못하는 상황"과 맞물려 '완벽한 폭풍'을 일으켰다고 말합니다.

전문가들은 새로운 법률과 함께 기술에 대한 더 나은 교육이 필요하며, 피해를 유발하기 위해 만들어진 도구의 확산을 막기 위한 조치가 필요하다고 말합니다. 여기에는 웹사이트를 호스팅하는 회사와 Google 및 Microsoft의 Bing을 포함한 검색 엔진의 조치가 포함됩니다. 현재 디지털 밀레니엄 저작권법(DMCA: Digital Millennium Copyright Act) 제소는 여성이 웹사이트에서 동영상을 삭제하기 위해 사용하는 주요 법적 메커니즘입니다.

딥페이크 및 생성 AI 전문가로 딥페이크 기술의 확산을 모니터링해온 헨리 아더(Henry Ajder)는 사람들이 딥페이크 포르노 동영상, 사람의 얼굴을 바꾸는 앱, 동의하지 않은 이미지를 생성할 수 있는 도구를 찾는 과정에 더 많은 '마찰'을 가하면 확산을 줄일 수 있다고 말합니다. "누군가가 딥페이크 포르노를 찾기가 최대한 어렵게 만드는 것이 중요합니다."라고 그는 말합니다. 유해한 웹사이트에 대한 검색 엔진의 검색 결과 순위를 낮추거나 인터넷 서비스 제공업체가 사이트를 차단하는 것 등이 그 예라고 그는 말합니다. "이러한 작업의 양과 규모, 그리고 역사적으로 이러한 문제를 심각하게 받아들이지 않았던 플랫폼이 갑자기 그렇게 해야 할 필요성을 고려할 때 낙관적으로 생각하기는 어렵습니다."라고 Ajder는 말합니다.

The Biggest Deepfake Abuse Site Is Growing in Disturbing Ways

구글의 딥페이크 검색 처리

"다른 검색 엔진과 마찬가지로 Google은 웹에 존재하는 콘텐츠를 색인화하지만, 사람들이 보고 싶지 않은 유해하거나 노골적인 콘텐츠로 충격을 주지 않도록 순위 시스템을 적극적으로 설계합니다."라고 Google 대변인 네드 아드리안스(Ned Adriance)는 검색 결과를 삭제하는 시점에 대한 페이지를 가리키며 말합니다. Google의 지원 페이지에는 사용자가 "비자발적인 가짜 포르노"의 삭제를 요청할 수 있다고 나와 있습니다. 삭제 요청 양식에는 콘텐츠를 찾는 데 사용된 검색어와 URL을 직접 제출해야 합니다. "이 공간이 진화함에 따라 다른 유형의 비합의적 노골적인 이미지에 대해 구축한 시스템을 기반으로 사람들을 보호하기 위해 더 많은 안전장치를 추가하기 위해 적극적으로 노력하고 있습니다."라고 Adriance는 말합니다.

마이크로소프트의 딥페이크 검색 처리

Microsoft의 최고 디지털 안전 책임자인 코트니 그레고어(Courtney Gregoire)는 딥페이크는 허용하지 않으며, 웹 양식을 통해 신고할 수 있다고 말합니다. "동의하지 않은 친밀한 이미지(NCII : nonconsensual intimate imagery)의 배포는 개인의 프라이버시와 존엄성을 심각하게 침해하는 행위이며 피해자에게 치명적인 영향을 미칩니다."라고 Gregoire는 말합니다. "Microsoft는 플랫폼과 서비스에서 NCII를 권유하거나 피해자의 동의 없이 친밀한 이미지의 제작 또는 재배포를 옹호하는 행위를 포함하여 NCII를 금지합니다."

동영상과 사진의 수는 계속 급증하고 있지만, 피해자에게 미치는 영향은 오래 지속될 수 있습니다. 매독스(Maddocks)는 "성별에 기반한 온라인 괴롭힘은 여성의 표현의 자유에 막대한 영향을 미치고 있습니다."라고 말합니다. WIRED의 보도에 따르면 딥페이크의 표적이 된 여성 트위치 스트리머들은 침해당한 느낌, 더 많은 괴롭힘에 노출된 느낌, 시간적 손실에 대해 자세히 설명했으며, 일부는 합의되지 않은 콘텐츠가 가족에게까지 퍼졌다고 말했습니다.

모나쉬 대학교 교수인 플린(Flynn)은 자신의 연구를 통해 디지털 학대의 결과로 불안, 우울증, 자해, 자살과 같은 정신 건강 문제가 "높은 비율"로 발생한다는 사실을 발견했다고 말합니다. "이미지가 딥페이크인지 '진짜'인지 여부에 관계없이 개인의 정신적, 신체적 건강은 물론 고용, 가족, 사회생활에 미치는 잠재적 영향은 엄청날 수 있습니다."라고 Flynn은 말합니다.

https://www.wired.com/story/deepfake-porn-is-out-of-control/

Deepfake Porn Is Out of Control