증가하는 인공지능(AI)의 에너지 발자국(Energy Footprint)

알렉스 드 브리스는 암스테르담 자유대학교 경영경제대학원에서 박사 학위를 취득했으며, 디지털 트렌드의 의도치 않은 결과를 폭로하는 리서치 회사 디지코노미스트의 설립자입니다. 그의 연구는 신흥 기술의 환경적 영향에 초점을 맞추고 있으며 블록체인 기술의 지속 가능성에 관한 글로벌 논의에서 중요한 역할을 담당하고 있습니다.

증가하는 인공지능(AI)의 에너지 발자국(Engergy Footprint)

소개

2022년과 2023년에 걸쳐 인공지능(AI)은 급속도로 확장되고 광범위하고 대규모로 적용되는 시기를 보냈습니다. 2개월 만에 1억 명의 사용자에게 도달한 대화형 생성 AI 챗봇인 OpenAI의 ChatGPT의 성공적인 출시에 영향을 받아 알파벳, 마이크로소프트와 같은 유명 기술 기업들은 2023년에 AI에 대한 지원을 크게 늘렸습니다. 이에 대응하여 마이크로소프트와 알파벳은 각각 자체 챗봇인 빙 챗과 바드를 출시했습니다. 이러한 개발 가속화로 인해 AI 및 데이터 센터의 전력 소비와 잠재적인 환경 영향에 대한 우려가 커지고 있습니다. 최근 몇 년 동안 데이터센터 전력 소비는 암호화폐 채굴을 제외하고 전 세계 전력 사용량의 비교적 안정적인 1%를 차지했습니다. 2010년부터 2018년까지 전 세계 데이터센터 전력 소비량은 6% 증가에 그쳤을 수 있습니다. AI 모델과 애플리케이션을 개발하고 유지하는 데 필요한 컴퓨팅 리소스로 인해 데이터센터가 전 세계 전력 소비에 기여하는 비중이 급증할 수 있다는 우려가 커지고 있습니다.

이 논평에서는 AI 전력 소비에 대한 초기 연구를 살펴보고 광범위한 AI 기술 채택이 전 세계 데이터센터 전력 사용에 미칠 잠재적 영향을 평가합니다. 비관적 시나리오와 낙관적 시나리오를 모두 논의하고, 두 가지 극단적인 시나리오를 모두 수용하는 것에 대한 주의 사항으로 결론을 맺습니다.

AI와 에너지 소비

AI는 기계가 지능적인 행동을 할 수 있도록 하는 다양한 기술과 방법을 말합니다. 이 영역에서 새로운 콘텐츠(예: 텍스트, 이미지 또는 동영상)를 생성하는 데 사용되는 생성형 AI에는 텍스트 생성 도구인 ChatGPT와 텍스트 프롬프트를 이미지로 변환하는 2022년 대중화된 도구인 OpenAI의 DALL-E가 대표적인 예입니다. 이 두 도구는 모두 자연어 처리를 사용하며, 서로 다른 기술을 사용하지만 초기 학습 단계와 추론 단계라는 공통된 프로세스를 공유합니다.

흔히 가장 에너지 집약적인 것으로 간주되는 AI 모델의 훈련 단계는 AI의 지속 가능성 연구의 초점이 되어 왔습니다. 이 단계에서는 ChatGPT와 같은 AI 모델에 대규모 데이터 세트가 공급됩니다. 모델의 초기 임의 매개변수를 조정하여 예측된 출력을 목표 출력에 가깝게 맞춥니다. ChatGPT가 특수 변형으로 개발된 GPT-3(Generative Pre-trained Transformer 3)와 같은 대규모 언어 모델(LLM)의 경우, 이 프로세스를 통해 주어진 문맥에 따라 특정 단어나 문장을 예측하는 학습이 이루어집니다. 일단 배포되면 이러한 매개변수가 모델의 동작을 안내합니다. 허깅페이스는 자사의 빅사이언스 대형 오픈 액세스 다국어(BLOOM) 모델이 훈련하는 동안 433MWh의 전력을 소비했다고 보고했습니다. GPT-3, 고퍼, 오픈 사전 훈련 트랜스포머(OPT)를 포함한 다른 LLM은 훈련에 각각 1,287, 1,066, 324MWh를 사용한 것으로 알려졌습니다. 이러한 각 LLM은 테라바이트의 데이터로 학습되었으며 1,750억 개 이상의 파라미터를 가지고 있습니다.

학습이 끝나면 모델은 프로덕션 환경에 배포되어 새로운 데이터를 기반으로 출력을 생성하는 추론 단계를 시작합니다. ChatGPT와 같은 도구의 경우 이 단계에는 사용자 쿼리에 대한 실시간 응답을 생성하는 작업이 포함됩니다. 추론 단계는 AI의 환경적 지속 가능성에 관한 문헌에서 상대적으로 덜 주목받았습니다. 이 주제에 대한 체계적인 문헌 검토에서 Verdecchia 등(2023)은 2015년 이후 98편의 논문 중 추론 단계에 초점을 맞춘 논문은 17편에 불과하고 49편은 학습 단계에 초점을 맞췄다는 사실을 발견했습니다. 그러나 추론 단계가 AI 모델의 수명 주기 비용에 크게 기여할 수 있다는 징후가 있습니다. 리서치 회사인 세미애널리시스(SemiAnalysis)는 OpenAI가 ChatGPT를 지원하기 위해 총 28,936개의 그래픽 처리 장치(GPU)를 갖춘 3,617대의 엔비디아 HGX A100 서버가 필요하며, 이는 하루 564MWh의 에너지 수요를 의미한다고 밝혔습니다. GPT-3의 훈련 단계에서 사용된 1,287MWh와 비교하면 추론 단계의 에너지 수요는 상당히 높은 것으로 보입니다. 또한, 구글은 2019년부터 2021년까지 AI 관련 에너지 소비의 60%가 추론에서 발생한다고 보고했습니다. 구글의 모회사인 알파벳도 훈련 비용 대비 추론 비용에 대해 우려를 표명했습니다. 그러나 허깅 페이스의 대조적인 데이터에 따르면 블룸 모델은 훈련 단계에 비해 추론 단계에서 훨씬 적은 에너지를 소비했습니다. AI 모델의 재훈련 빈도, 모델 성능과 에너지 소비 간의 균형 등 다양한 요인이 궁극적으로 이 비율에 영향을 미칩니다. 현재 문헌에서는 각 단계의 상대적 비중을 파악할 수 있는 추가적인 인사이트를 거의 제공하지 않기 때문에 추론 단계가 일반적으로 전력 소비 측면에서 학습 단계와 어떻게 비교되는지는 여전히 미해결 과제로 남아 있습니다. 따라서 향후 연구에서는 AI 모델의 모든 수명 주기 단계를 철저히 조사해야 합니다.

미래 에너지 발자국 개발

2023년 AI 붐은 AI 칩에 대한 수요 증가로 이어졌습니다. 2023년 8월, 칩 제조업체인 엔비디아는 2023년 7월부터 3개월간 135억 달러의 AI 기반 2분기 매출을 기록했다고 발표했습니다. 특히, 엔비디아의 데이터센터 부문이 전 분기 대비 141% 증가한 것은 AI 제품에 대한 수요가 급증하고 있으며, 이는 잠재적으로 AI의 에너지 발자국을 크게 증가시킬 수 있다는 것을 보여줍니다. 예를 들어, 알파벳의 구글과 같은 기업은 모든 구글 검색에 제너레이티브 AI가 통합될 경우 전력 수요가 크게 증가할 수 있습니다. SemiAnalysis는 각 Google 검색에 ChatGPT와 유사한 AI를 구현하려면 총 4,102,568개의 GPU에 해당하는 512,821개의 NVIDIA A100 HGX 서버가 필요하다고 추정했습니다.5 서버당 6.5kW의 전력 수요를 감안하면 이는 일일 전력 소비량 80GWh, 연간 소비량 29.2TWh로 환산할 수 있습니다. 뉴스트리트 리서치(New Street Research)도 비슷한 추정을 통해 Google에 약 40만 대의 서버가 필요하며, 이는 일일 소비량 62.4GWh, 연간 소비량 22.8TWh로 이어진다고 제안했습니다. 현재 Google이 매일 최대 90억 건의 검색을 처리하고 있으므로 이러한 시나리오에서는 요청당 평균 6.9~8.9Wh의 에너지를 소비하게 됩니다. 이 추정치는 230,768건의 요청에 대해 914kWh의 전력을 소비한 허깅 페이스의 BLOOM 모델과 일치하며, 요청당 평균 3.96Wh의 전력을 소비했습니다.

알파벳의 회장은 2023년 2월에 LLM과의 상호작용이 "표준 키워드 검색보다 10배 더 많은 비용이 들 수 있다"고 언급했습니다.6 표준 Google 검색은 0.3Wh의 전력을 사용하는 것으로 알려졌으므로,9 이는 LLM 상호작용당 약 3Wh의 전력을 소비한다는 것을 의미합니다. 이 수치는 2023년 초 SemiAnalysis가 ChatGPT의 운영 비용을 평가한 결과와 일치하는데, 이 평가에 따르면 ChatGPT는 하루 1억 5,900만 건의 요청에 응답하며, 하루 평균 전력 소비량은 564MWh, 최대 요청당 2.9Wh로 추정됩니다. 그림 1은 LLM과 상호 작용할 때의 다양한 전력 소비량 추정치를 표준 Google 검색의 전력 소비량과 비교한 것입니다.

그림 1 표준 Google 검색과 비교한 다양한 AI 기반 시스템에 대한 요청당 에너지 소비량 추정치

이 시나리오는 현재 모델과 기술을 기반으로 모든 표준 Google 검색이 LLM 상호 작용이 될 경우 Google의 총 전력 소비량에 미칠 수 있는 잠재적 영향을 강조합니다. 2021년 Google의 총 전력 소비량은 18.3TWh였으며, 이 중 AI가 차지하는 비중은 10~15%였습니다.2 최악의 시나리오에 따르면 Google의 AI만으로도 아일랜드(연간 29.3TWh)와 같은 국가의 전력 소비량만큼의 전력을 소비할 수 있으며, 이는 과거 AI 관련 에너지 소비량에 비해 크게 증가한 수치입니다. 하지만 이 시나리오는 현재의 하드웨어와 소프트웨어를 활용한 본격적인 AI 도입을 가정한 것으로, 빠르게 확산될 가능성은 낮습니다. Google 검색은 전 세계적으로 수십억 명의 사용자를 확보하고 있지만 이처럼 가파른 채택 곡선을 그릴 가능성은 낮습니다. 게다가 NVIDIA는 512,821대의 A100 HGX 서버를 즉시 제공할 수 있는 생산 능력을 갖추지 못했으며, 설사 생산 능력을 갖추더라도 Google이 이 서버에 투자하는 총 금액만 약 1,000억 달러에 달할 것입니다.5 3년간 1,000억 달러 규모의 AI 서버 투자에 대한 연간 감가상각 비용은 333억 3,000만 달러에 달할 것입니다. 이러한 하드웨어 비용만으로도 Google의 영업이익률에 상당한 영향을 미칠 수 있습니다. 구글 검색은 2022년에 1,625억 달러의 매출을 올렸고, 구글의 모회사인 알파벳의 전체 영업이익률은 26%였습니다. Google 검색의 경우 이는 422억 5,000만 달러의 영업 마진으로 환산됩니다. 하드웨어 비용과 수십억 달러에 달하는 전기료 및 기타 비용이 추가되면 이 영업이익률은 급격히 0으로 떨어질 수 있습니다. 요약하면, AI 기술의 급속한 도입으로 Google과 같은 기업의 에너지 소비가 급격히 증가할 수 있지만, 이러한 최악의 시나리오가 현실화되는 것을 막을 수 있는 다양한 리소스 요인이 존재합니다.

전 세계 AI 관련 전력 소비에 대한 보다 실용적인 예측은 이 부문에서 NVIDIA의 매출을 통해 도출할 수 있습니다. 2023년에 약 95%의 시장 점유율을 기록할 것으로 예상되는 엔비디아는 AI 서버 시장을 선도하고 있습니다. 이 회사는 2023년에 10만 대의 AI 서버를 공급할 것으로 예상됩니다. 최대 용량으로 작동할 경우(즉, NVIDIA의 DGX A100 서버의 경우 6.5kW, DGX H100 서버의 경우 10.2kW), 이러한 서버의 총 전력 수요는 650~1,020MW에 달할 것으로 예상됩니다. 연간 기준으로 이러한 서버는 최대 5.7~8.9TWh의 전력을 소비할 수 있습니다. 과거 데이터센터의 연간 예상 전력 소비량이 205TWh였던 것과 비교하면2 이는 거의 무시할 수 있는 수준입니다. 또한 AI 서버의 공급망은 몇 년 더 병목 현상을 겪을 가능성이 높습니다. 엔비디아의 칩 공급업체인 TSMC도 엔비디아가 필요로 하는 칩을 공급하는 데 필수적인 칩 온 웨이퍼 온 기판(CoWoS) 패키징 기술을 확장하기 위해 고군분투하고 있습니다. TSMC는 새로운 CoWoS 패키징 공장에 투자하고 있지만 이 공장은 2027년에야 대량 생산을 시작할 것으로 예상됩니다.11 시장 점유율이 감소할 것으로 예상되는 올해까지 NVIDIA는 150만 대의 AI 서버를 출하할 수 있습니다. 비슷한 전력 소비 프로필을 고려할 때 이러한 기계의 총 전력 수요는 9.75~15.3GW에 달할 수 있습니다. 이 정도의 서버는 연간 85.4~134.0TWh의 전력을 소비할 수 있습니다. 이 단계에서는 이러한 서버가 전 세계 데이터센터 전력 소비에 상당한 기여를 할 수 있습니다. 2023년 상반기에 NVIDIA가 애널리스트의 예상치를 크게 상회하는 실적을 달성함에 따라7 AI 서버 공급망은 예상 성장을 달성할 수 있는 궤도에 올라서고 있습니다. 이 시나리오에서 고려해야 할 중요한 주의 사항은 가동률이 100% 미만이 될 가능성이 높다는 점이며, 이로 인해 잠재적인 전력 소비의 일부가 완화될 것입니다. 고려해야 할 또 다른 요소는 오버헤드 전력 소비(예: 서버 냉각)로, 이는 AI 서버 장치와 관련된 총 전력 소비를 증가시킵니다.

하드웨어 효율성 개선 외에도 모델 아키텍처와 알고리즘의 혁신은 장기적으로 AI 관련 전력 소비를 완화하거나 심지어 줄이는 데 도움이 될 수 있습니다. Google의 일반 언어 모델(GLaM)은 GPT-3에 포함된 파라미터 수의 7배에 달하는 파라미터로 학습되었지만, 이 과정에서 GPT-3 학습 후 18개월 만에 2.8배 적은 에너지가 필요했습니다. 그러나 이러한 관점은 1865년에 공식화된 제본스의 역설을 간과한 것으로, 효율성 증가가 수요 증가로 이어져 자원 사용량이 순증가할 때 발생하는 현상을 간과한 것입니다. 이러한 효과는 기술 변화와 자동화의 역사에서 오랫동안 관찰되어 왔으며, 최근 AI 애플리케이션의 사례에서도 볼 수 있습니다. 실제로 수요가 공급을 앞지르기 시작한 2022년과 2023년에 제너레이티브 AI에 대한 관심이 급증한 것은 이러한 반등 효과의 일부일 수 있습니다. 또한 모델 효율성이 개선되면서 이제 단일 소비자 수준의 GPU로도 AI 모델을 학습할 수 있게 되었습니다. 이는 AI 관련 전력 소비의 증가가 엔비디아의 A100 및 H100 GPU와 같은 새로운 고성능 GPU뿐만 아니라 보다 일반적인 GPU에서 비롯될 것임을 의미합니다. 이미 이러한 GPU를 사용하던 암호화폐 채굴자들이 컴퓨팅 파워의 용도를 AI 관련 작업으로 변경하기 시작한 사례도 있습니다. 두 번째로 큰 암호화폐인 이더리움이 에너지 집약적인 채굴 알고리즘을 보다 지속 가능한 대안으로 교체한 2022년 9월에 이러한 GPU 중 상당수가 유휴 상태로 남게 되었습니다. 이러한 변화로 인해 이더리움의 총 전력 수요는 최대 9.21GW까지 감소한 것으로 추정됩니다. 이는 연간 전력 소비량의 80.7TWh에 해당하는 양입니다. "마이닝 2.0"이라고 불리는 추세에 따라 이전에 이더리움 채굴자가 사용하던 GPU의 20%가 AI에 사용하도록 용도가 변경될 수 있다는 제안이 있었습니다. 9.21GW의 전력 수요를 기준으로 할 때, 이는 최대 1.84GW에 해당합니다. 결과적으로 연간 전력 소비량의 16.1TWh가 AI로 전환될 수 있으며, 모델 효율성이 지속적으로 개선되어 AI 목적에 적합한 하드웨어의 범위가 계속 넓어짐에 따라 더 많은 디바이스가 이에 동참할 가능성이 있습니다.

마지막으로, 모델 효율성 향상은 모델 성능과 전기 비용 간의 균형에도 영향을 미칠 수 있습니다. AI 모델 성능은 종종 약간의 정확도 개선에도 과도한 에너지 집약적인 티핑 포인트에 도달합니다. 모델의 효율성을 높이고 에너지 비용을 줄이면 모델을 더욱 개선하려는 노력이 더 실행 가능해져 효율성 이득의 일부가 무효화될 수 있습니다.

결론

AI 관련 전력 소비의 정확한 미래는 아직 예측하기 어렵지만, 이 논평에서 논의된 시나리오는 지나치게 낙관적이거나 지나치게 비관적인 기대치를 낮추는 것이 중요하다는 점을 강조합니다. Google 검색과 같은 애플리케이션에 AI를 통합하면 이러한 애플리케이션의 전력 소비가 크게 증가할 수 있습니다. 그러나 다양한 리소스 요인이 단기적으로 전 세계 AI 관련 전력 소비의 증가를 제한할 가능성이 높습니다. 동시에 하드웨어 및 소프트웨어 효율성의 개선이 AI 관련 전력 소비의 장기적인 변화를 완전히 상쇄할 것이라고 기대하는 것은 지나치게 낙관적인 전망일 수 있습니다. 이러한 발전은 효율성의 증가가 총 리소스 사용을 줄이기보다는 오히려 AI에 대한 수요 증가로 이어지는 반등 효과를 유발할 수 있습니다. 2022년과 2023년의 AI 열기는 이러한 반등 효과의 일부일 수 있으며, 이러한 열기로 인해 AI 서버 공급망은 향후 몇 년 동안 전 세계 데이터센터 전력 소비에 더 큰 기여를 할 수 있는 궤도에 올랐습니다. 또한 효율성이 향상되면 이전에 암호화폐 이더리움 채굴에 사용되었던 것과 같이 오래되고 사용되지 않는 GPU의 재고가 상당량 확보되어 AI용으로 용도가 변경될 수 있습니다. 따라서 개발자는 AI 최적화에 집중할 뿐만 아니라 모든 애플리케이션이 AI의 혜택을 받거나 혜택이 항상 비용을 능가할 가능성은 낮기 때문에 애초에 AI 사용의 필요성을 비판적으로 고려하는 것이 바람직할 것입니다. AI가 적용되는 사례에 대한 리소스 사용 정보는 제한되어 있으므로 규제 당국은 AI 공급망 전반의 투명성을 높이고 이 새로운 기술 트렌드의 환경 비용에 대한 이해를 증진하기 위해 특정 환경 공개 요건을 도입하는 것을 고려할 수 있습니다.

https://www.cell.com/joule/fulltext/S2542-4351(23)00365-3?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2542435123003653%3Fshowall%3Dtrue

PIIS2542435123003653.pdf

0.40MB