거대 생성형 AI와 전투를 위한 아티스트의 신 무기, 데이터 포이즈닝(Data Poisoning) 툴

1942년 아프리카 전선에서 영국군과 독일군의 전투가 벌어졌습니다. 영국군은 엘 알라메인이라는 장소에서 큰 승리를 거뒀는데, 그 중요한 이유 중 하나는 '우물 관리'였습니다. 영국군 총사령관 몽고메리는 병사들의 전투력을 유지하기 위해 수인성 전염병을 예방하기 위해 엄격한 '우물 관리'를 시행했습니다. 반면, 독일군은 신선한 물을 확보하지 못하고 병사들의 상당 부분이 이질과 같은 문제로 전투력을 잃어버렸습니다.

전쟁에서 물은 매우 중요한 공급원이며, 그 중요성은 물론 역사적으로도 이해되고 있었습니다. 물을 중요한 공급원으로 활용하는 전술 중 하나는 우물에 독을 타거나 오염시키는 것이었습니다. 루마니아의 왕 블라드 3세는 15세기 오스만 튀르크족의 진격을 늦추기 위해 후퇴할 때 모든 우물에 독을 풀어 적의 진격을 지연시킨 사례가 있었으며, 이는 그의 백성에게도 희생을 강요한 일이었습니다. 20세기에도 핀란드와 독일군은 적의 추격을 늦추기 위해 이 방법을 사용했습니다. 몇 년 전에는 IS(이슬람 국가)가 전쟁에서 이 방법을 사용하여 국제적인 비난을 받았습니다.

우물 관리의 논란은 전쟁 중에만 있는 것이 아닙니다. 흑사병이 유럽을 강타할 때, 유대인들이 우물에 독을 탔다는 믿음은 이들에 대한 박해를 촉발하며 여러 차례 동원되었습니다. 또한 '관동대지진'에서도 이와 비슷한 상황이 발생하여 무고한 사람들의 희생을 초래했습니다.

여기 거대 인공지능 기업이 인터넷이라는 데이터 댐의 물을 채운 아티스트들의 동의없이 무분별하게 사용하기 시작하면서 전쟁이 시작되었습니다. 하지만 거대 기업을 상대할 아티스트들은 힘이 부족하여 파업만을 할 뿐이였습니다. 여기에 새로운 무기로 '데이터 포이즈닝'을 제시하는 연구가 있습니다. 보통 인공지능 학습을 방해하는 목적으로 알고 있는 이 무서운 독을 아티스트에게 새로운 힘을 줄 수 있는 도구가 되도록 연구하는 논문이 발표되었다고 합니다.

나이트쉐이드(Nightshade)

시카고 대학교의 연구원들은 개발자가 인공지능(AI) 시스템을 자신의 작품에 학습시키지 못하도록 아티스트가 디지털 아트에 '독'을 넣을 수 있는 도구를 개발했습니다. 독성 열매로 유명한 식물과의 이름을 딴 '나이트쉐이드(Nightshade)'라고 불리는 이 도구는 독성 열매가 포함되면 AI 학습에 사용되는 데이터 세트가 잘못된 정보로 오염되는 방식으로 이미지를 수정합니다. 새로운 툴을 사용하면 아티스트가 온라인에 업로드하기 전에 아트의 픽셀에 보이지 않는 변경 사항을 추가할 수 있으므로, 인공지능 학습 데이터 세트에 긁어 넣으면 결과 모델이 혼란스럽고 예측할 수 없는 방식으로 손상될 수 있습니다.

나이트쉐이드(Nightshade)를 먹고 독에 중독되는 인공지능

나이트쉐이드(Nightshade)는 창작자의 허락 없이 아티스트의 작품을 사용하여 모델을 훈련시키는 AI 회사에 대항하기 위한 것입니다. 이 훈련 데이터를 '독(poison)'으로 만들면 개를 고양이로, 자동차를 소로 만드는 등 결과물을 쓸모없게 만들어 DALL-E, Midjourney, Stable Diffusion과 같은 이미지 생성형 AI 모델의 반복 작업에 손상을 줄 수 있습니다.

MIT 테크놀로지 리뷰에서 컴퓨터 보안 컨퍼런스 Usenix에서 동료 검토를 위해 제출된 이 연구를 독점적으로 미리 살펴봤습니다.

OpenAI, Meta, Google, Stability AI와 같은 AI 회사들은 저작권이 있는 자료와 개인 정보가 동의나 보상 없이 스크랩되었다고 주장하는 아티스트들로부터 수많은 소송을 당하고 있습니다. 나이트쉐이드를 개발한 팀을 이끈 시카고 대학교의 벤 자오 교수는 아티스트의 저작권과 지적 재산을 무시하는 행위에 대한 강력한 억지력을 만들어 AI 기업에서 아티스트에게로 힘의 균형을 되돌릴 수 있기를 바란다고 말합니다. 

또한 Zhao 팀은 아티스트가 자신의 스타일을 AI 회사에 의해 스크래핑되는 것을 방지하기 위해 자신만의 스타일을 '마스크'할 수 있는 도구인 Glaze를 개발했습니다. 이 도구는 사람의 눈에는 보이지 않지만 머신러닝 모델을 조작하여 이미지를 실제와 다른 것으로 해석하도록 이미지의 픽셀을 미묘하게 변경하는 방식으로 Nightshade와 비슷한 방식으로 작동합니다.

Zhao 팀은 나이트셰이드를 글레이즈에 통합할 계획이며, 아티스트는 데이터 중독 툴을 사용할지 여부를 선택할 수 있습니다. 또한, 다른 사람들이 나이트셰이드를 수정하여 자신만의 버전을 만들 수 있도록 오픈 소스로 공개할 계획입니다. 더 많은 사람이 이 도구를 사용하고 자신만의 버전을 만들수록 이 도구는 더욱 강력해질 것이라고 Zhao는 말합니다. 대규모 AI 모델의 데이터 세트는 수십억 개의 이미지로 구성될 수 있으므로 모델에 더 많은 포이즌 이미지를 스크래핑할수록 이 기술은 더 많은 피해를 입힐 수 있습니다.

표적 공격

데이터 표적 공격(데이터 포이즌 공격 또는 데이터 중독 공격)은 기계 학습 및 인공 지능 모델을 속이기 위한 악의적인 기술적인 공격 형태입니다. 이 공격에서 공격자는 모델을 학습하고 실행하는 데 사용되는 데이터에 악의적인 변경을 가하거나 오염시킵니다.

나이트셰이드는 생성형 AI 모델의 보안 취약점을 악용하는데, 이 모델은 방대한 양의 데이터(이 경우 인터넷에서 가져온 이미지)를 학습한다는 사실에서 비롯됩니다. 나이트셰이드는 이러한 이미지를 엉망으로 만듭니다.

온라인에 작품을 업로드하고 싶지만 AI 회사에 의해 이미지가 스크랩되는 것을 원하지 않는 아티스트는 Glaze에 업로드하고 자신의 작품과 다른 아트 스타일로 마스킹하도록 선택할 수 있습니다. 그런 다음 나이트셰이드를 사용하도록 선택할 수도 있습니다. AI 개발자가 기존 AI 모델을 조정하거나 새로운 모델을 구축하기 위해 더 많은 데이터를 얻기 위해 인터넷을 스크래핑하면, 이러한 오염된 샘플이 모델의 데이터 세트에 들어가 오작동을 일으킬 수 있습니다.

생성형 AI 모델은 단어 간의 연결에 능숙하기 때문에 독이 퍼지는 데 도움이 됩니다. 나이트셰이드는 "개"라는 단어뿐만 아니라 "강아지", "허스키", "늑대"와 같은 유사한 개념의 모든 단어를 감염시킵니다. 포이즌 공격은 접선적으로 관련된 이미지에도 작동합니다. 예를 들어 모델이 '판타지 아트'라는 프롬프트에 대해 독이 주입된 이미지를 스크랩한 경우, '용'과 '반지의 제왕에 나오는 성'이라는 프롬프트도 마찬가지로 다른 이미지로 조작될 수 있습니다.

Examples of non-glazed and glazed AI art imitations. Image source: Shan et. al., 2023.

사람들이 데이터 중독 기법을 악의적으로 악용할 수 있는 위험이 있다고 인정합니다. 하지만 공격자들은 수십억 개의 데이터 샘플을 학습하기 때문에 더 크고 강력한 모델에 실제 피해를 입히려면 수천 개의 중독된 샘플이 필요하다고 합니다.

강력한 억지력

딥러닝 시스템의 보안을 연구해왔지만 이번 작업에 참여하지 않은 컬럼비아 대학교의 컴퓨터 공학 교수 준펑 양은 AI 기업이 아티스트의 권리를 더 존중하게 된다면, 예를 들어 로열티를 더 기꺼이 지불하게 된다면 나이트셰이드가 큰 영향을 미칠 수 있을 것이라고 말합니다.

Stability AI 및 OpenAI와 같이 생성형 텍스트-이미지 모델을 개발한 AI 회사들은 아티스트가 자신의 이미지가 향후 버전의 모델을 학습하는 데 사용되지 않도록 선택할 수 있도록 하겠다고 제안했습니다. 하지만 아티스트들은 이것만으로는 충분하지 않다고 말합니다. 글레이즈를 사용해 온 일러스트레이터이자 아티스트는 옵트아웃(opt-out) 정책으로 인해 아티스트가 여러 단계를 거쳐야 하지만 여전히 기술 회사에 모든 권한을 맡겨야 한다고 말합니다. Opt-out(사전동의) 정책은 개인 정보 보호와 데이터 처리에 관련된 개념입니다. 이 정책은 사용자 또는 소비자가 정보 수집 또는 데이터 처리 활동에서 참여하지 않거나, 더 이상 정보 수집 또는 처리에 동의하지 않을 수 있는 선택권을 부여하는 방식으로 동작합니다

아티스트들은 나이트셰이드가 이러한 상황을 바꿀 수 있기를 희망합니다. "인공지능 회사가 우리의 동의 없이 우리의 작품을 가져가서 전체 모델을 파괴할 수 있는 가능성이 있기 때문에 인공지능 회사가 다시 한 번 생각하게 만들 것입니다."라고 그녀는 말합니다.

또 다른 아티스트인 오텀 비벌리는 나이트셰이드와 글레이즈 같은 도구 덕분에 자신의 작품을 다시 온라인에 게시할 수 있다는 자신감을 얻었다고 말합니다. 그녀는 이전에 자신의 작품이 인기 있는 LAION 이미지 데이터베이스에 동의 없이 스크랩된 것을 발견한 후 인터넷에서 작품을 삭제한 적이 있습니다. "아티스트가 자신의 작품에 대한 권한을 되찾을 수 있도록 도와주는 도구가 있다는 사실에 정말 감사할 따름입니다."라고 그녀는 말합니다.

https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/

This new data poisoning tool lets artists fight back against generative AI