AWS가 설계한 차세대 그라비톤4 및 트레이니움2 칩 공개

AWS는 AWS re:Invent에서 자체 설계한 차세대 Graviton4 및 Trainium2 칩을 발표(2023년 11월 29일)했습니다. 이 칩들은 기계 학습 교육 및 생성적 AI 애플리케이션을 포함한 다양한 고객 워크로드에 대해 개선된 가격 대비 성능 및 에너지 효율을 제공합니다. Graviton4는 이전 세대 대비 더 높은 컴퓨팅 성능, 더 많은 코어, 그리고 더 많은 메모리 대역폭을 제공합니다. Trainium2는 기존 Trainium 칩보다 4배 빠른 훈련 속도와 2배 향상된 에너지 효율을 제공하며, 최대 100,000개의 칩으로 구성된 EC2 UltraClusters에서 배포될 수 있습니다. 이러한 발전은 AWS 고객이 더 빠르고 비용 효율적이며 에너지 효율적인 방식으로 대규모 모델을 훈련할 수 있게 해줍니다. Graviton4 및 Trainium2는 AWS의 클라우드 인프라를 더욱 발전시키고, 고객이 보다 복잡한 작업을 실행할 수 있도록 지원함으로써 AWS의 기술 리더십을 강화합니다.

---

AWS re:Invent에서 Amazon.com, Inc.(NASDAQ: AMZN)의 계열사인 Amazon Web Services, Inc.(AWS)는 오늘 AWS에서 설계한 차세대 칩 제품군인 AWS Graviton4 및 AWS Trainium2를 발표했습니다. 기계 학습(ML) 교육 및 생성적 인공 지능(AI) 애플리케이션을 포함하여 광범위한 고객 워크로드에 대한 가격 대비 성능과 에너지 효율성이 향상되었습니다. Graviton4 및 Trainium2는 AWS 칩 설계의 최신 혁신을 보여줍니다. AWS는 각 세대의 칩을 통해 더 나은 가격 대비 성능과 에너지 효율성을 제공하여 고객에게 AMD, Intel 및 NVIDIA와 같은 타사의 최신 칩을 갖춘 칩/인스턴스 조합 외에도 거의 모든 애플리케이션을 실행할 수 있는 더 많은 옵션을 제공합니다. Amazon Elastic Compute Cloud(Amazon EC2)의 워크로드.

Amazon Web Services(AWS), Graviton4, Trainium2

• Graviton4: 현재 세대 Graviton3 프로세서보다 최대 30% 향상된 컴퓨팅 성능, 50% 더 많은 코어, 75% 더 많은 메모리 대역폭을 제공하여 Amazon EC2에서 실행되는 광범위한 워크로드에 최고의 가격 대비 성능과 에너지 효율성을 제공합니다.
• Trainium2: 1세대 Trainium 칩보다 최대 4배 빠른 교육을 제공하도록 설계되었으며 최대 100,000개의 칩으로 구성된 EC2 UltraClusters에 배포할 수 있어 기본 모델(FM) 및 대규모 언어 모델(LLM)을 한 번에 교육할 수 있습니다. 시간을 단축하는 동시에 에너지 효율성을 최대 2배까지 향상시킵니다.

AWS의 컴퓨팅 및 네트워킹 담당 부사장인 David Brown은 "실리콘은 모든 고객 워크로드를 뒷받침하므로 AWS의 중요한 혁신 영역이 됩니다."라고 말했습니다. "고객에게 중요한 실제 작업 부하에 칩 설계를 집중함으로써 고객에게 가장 발전된 클라우드 인프라를 제공할 수 있습니다. Graviton4는 단 5년 만에 우리가 제공한 4세대 제품으로 가장 강력하고 에너지 효율적입니다. 우리는 광범위한 워크로드를 위해 구축한 칩입니다. 그리고 생성 AI에 대한 관심이 급증함에 따라 Tranium2는 고객이 ML 모델을 더 빠르게, 더 저렴한 비용으로, 더 나은 에너지 효율성으로 훈련하도록 도울 것입니다."

Graviton4는 광범위한 워크로드에 대한 가격 대비 성능과 에너지 효율성의 기준을 높입니다.

현재 AWS는 전 세계적으로 150개 이상의 Graviton 기반 Amazon EC2 인스턴스 유형을 대규모로 제공하고 있으며 200만 개 이상의 Graviton 프로세서를 구축했으며 50,000명 이상의 고객을 보유하고 있습니다. —상위 100개 EC2 고객 포함 — Graviton 기반 인스턴스를 사용하여 애플리케이션에 대한 최고의 가격 대비 성능을 달성했습니다. Datadog, DirecTV, Discovery, Formula 1(F1), NextRoll, Nielsen, Pinterest, SAP, Snowflake, Sprinklr, Stripe 및 Zendesk를 포함한 고객은 Graviton 기반 인스턴스를 사용하여 데이터베이스, 분석, 웹과 같은 광범위한 워크로드를 실행합니다. 서버, 일괄 처리, 광고 게재, 애플리케이션 서버 및 마이크로서비스. 고객이 더 큰 규모의 인메모리 데이터베이스와 분석 워크로드를 클라우드로 가져오면서 컴퓨팅, 메모리, 스토리지 및 네트워킹 요구 사항이 증가합니다. 결과적으로 이러한 까다로운 워크로드를 실행하는 동시에 비용을 관리하려면 더 높은 성능과 더 큰 인스턴스 크기가 필요합니다. 또한 고객은 환경에 미치는 영향을 줄이기 위해 워크로드에 대해 보다 에너지 효율적인 컴퓨팅 옵션을 원합니다. Graviton은 Amazon Aurora, Amazon ElastiCache, Amazon EMR, Amazon MemoryDB, Amazon OpenSearch, Amazon Relational Database Service(Amazon RDS), AWS Fargate 및 AWS Lambda를 비롯한 다양한 AWS 관리형 서비스에서 지원되며, 이러한 서비스 사용자에게 Graviton의 가격 대비 성능 이점을 제공합니다. 서비스.

Graviton4 프로세서는 Graviton3보다 최대 30% 향상된 컴퓨팅 성능, 50% 더 많은 코어, 75% 더 많은 메모리 대역폭을 제공합니다.Graviton4는 또한 모든 고속 물리적 하드웨어 인터페이스를 완전히 암호화하여 보안 기준을 높입니다. Graviton4는 메모리 최적화 Amazon EC2 R8g 인스턴스에서 사용할 수 있으므로 고객은 고성능 데이터베이스, 인 메모리 캐시 및 빅 데이터 분석 워크로드의 실행을 향상시킬 수 있습니다. R8g 인스턴스는 현재 세대 R7g 인스턴스보다 최대 3배 더 많은 vCPU와 3배 더 많은 메모리로 더 큰 인스턴스 크기를 제공합니다. 이를 통해 고객은 더 많은 양의 데이터를 처리하고, 워크로드를 확장하고, 결과 도출 시간을 단축하고, 총 소유 비용을 낮출 수 있습니다. Graviton4 기반 R8g 인스턴스는 현재 미리보기로 제공되며 앞으로 몇 달 내에 일반 출시될 예정입니다. Graviton4 기반 R8g 인스턴스에 대해 자세히 알아보려면 aws.amazon.com/ec2/instance-types/r8g를 방문하세요.

Trainum2의 EC2 UltraClusters는 클라우드에서 최고의 성능과 가장 에너지 효율적인 AI 모델 교육 인프라를 제공하도록 설계되었습니다.

오늘날 새롭게 떠오르는 생성 AI 애플리케이션의 기반이 되는 FM 및 LLM은 대규모 데이터 세트에서 교육을 받습니다. 이러한 모델을 통해 고객은 텍스트, 오디오, 이미지, 비디오, 심지어 소프트웨어 코드를 포함한 다양하고 새로운 콘텐츠를 생성하여 사용자 경험을 완전히 재구성할 수 있습니다. 오늘날 가장 발전된 FM 및 LLM의 범위는 수천억에서 수조에 달하므로 수만 개의 ML 칩에 걸쳐 확장할 수 있는 안정적인 고성능 컴퓨팅 용량이 필요합니다. AWS는 이미 최신 NVIDIA GPU, Trainium 및 Inferentia2를 비롯한 ML 칩을 갖춘 가장 광범위하고 심층적인 Amazon EC2 인스턴스 선택권을 제공하고 있습니다. 현재 Databricks, Helixon, Money Forward 및 Amazon Search 팀을 포함한 고객은 Trainium을 사용하여 Trainium의 고성능, 확장성, 안정성 및 저렴한 비용을 활용하여 대규모 딥 러닝 모델을 훈련합니다. 그러나 현재 가장 빠르게 가속화된 인스턴스를 사용하더라도 고객은 점점 더 정교해지는 모델을 더 저렴한 비용으로 더 빠르게 훈련하는 동시에 사용하는 에너지 양을 줄일 수 있는 더 높은 성능과 확장성을 원합니다.

Trainium2 칩은 최대 수조 개의 매개변수를 사용하여 FM 및 LLM의 고성능 교육을 위해 특별히 제작되었습니다. Trainium2는 1세대 Trainium 칩에 비해 최대 4배 빠른 훈련 성능과 3배 더 많은 메모리 용량을 제공하는 동시에 에너지 효율성(와트당 성능)을 최대 2배 향상하도록 설계되었습니다. Trainium2는 단일 인스턴스에 16개의 Trainium 칩을 포함하는 Amazon EC2 Trn2 인스턴스에서 사용할 수 있습니다. Trn2 인스턴스는 AWS Elastic Fabric Adapter(EFA) 페타비트 규모 네트워킹과 상호 연결된 차세대 EC2 UltraClusters에서 Trainium2 칩을 최대 100,000개까지 확장하여 최대 65엑사플롭의 컴퓨팅을 제공하고 고객에게 슈퍼컴퓨터에 대한 온디맨드 액세스를 제공할 수 있도록 고안되었습니다. -급 성능. 이 수준의 규모를 통해 고객은 몇 달이 아닌 몇 주 만에 3,000억 개의 매개변수 LLM을 교육할 수 있습니다. 훨씬 저렴한 비용으로 최고의 확장형 ML 훈련 성능을 제공함으로써 Trn2 인스턴스는 고객이 생성 AI의 차세대 발전을 실현하고 가속화하는 데 도움이 될 수 있습니다. Trainum에 대해 자세히 알아보려면 aws.amazon.com/machine-learning/trainium/을 방문하세요.

생성적 AI의 책임 있는 배포를 선도하는 Anthropic은 신뢰할 수 있고 해석 가능하며 조종 가능한 AI 시스템을 만드는 AI 안전 및 연구 회사입니다. 2021년부터 AWS 고객이었던 Anthropic은 최근 유용하고 무해하며 정직한 AI 보조자 Claude를 출시했습니다. Anthropic의 공동 창립자인 Tom Brown은 "Amazon Bedrock에서 출시된 이후 Claude는 AWS 고객들로부터 빠른 채택을 보였습니다."라고 말했습니다. "우리는 Trainium 칩을 사용하여 미래 기반 모델을 개발하기 위해 AWS와 긴밀히 협력하고 있습니다. Trainium2는 매우 큰 규모로 모델을 구축하고 훈련하는 데 도움이 될 것이며 일부 제품에서는 1세대 Trainium 칩보다 최소 4배 더 빠를 것으로 기대합니다. AWS와의 협력은 모든 규모의 조직이 Anthropic의 최첨단 AI 시스템과 AWS의 안전하고 안정적인 클라우드 기술을 함께 사용함으로써 새로운 가능성을 열어주는 데 도움이 될 것입니다."

Comcast, Condé Nast 및 Fortune 500대 기업의 50% 이상을 포함하여 전 세계 10,000개 이상의 조직이 Databricks를 사용하여 데이터, 분석 및 AI를 통합합니다. Databricks의 Generative AI 부사장인 Naveen Rao는 "수천 명의 고객이 AWS에서 Databricks를 구현하여 mosaicML을 사용하여 다양한 사용 사례에 맞게 FM을 사전 훈련, 미세 조정 및 제공할 수 있게 되었습니다."라고 말했습니다. "AWS Trainium은 mosaic MPT 모델을 교육하는 데 필요한 확장성과 고성능을 저렴한 비용으로 제공합니다. 차세대 모자이크 MPT 모델을 교육할 때 Trainium2를 사용하면 모델을 더욱 빠르게 구축할 수 있으며, 이를 통해 우리는 다음과 같은 이점을 얻을 수 있습니다. 고객은 전례 없는 규모와 성능을 통해 자체 생성 AI 애플리케이션을 보다 신속하게 시장에 출시할 수 있습니다."

Datadog은 조직 전체에 대한 완전한 가시성을 제공하는 관찰 가능성 및 보안 플랫폼입니다. Datadog의 수석 엔지니어인 Laurent Bernaille는 "Datadog에서는 수만 개의 노드를 실행하므로 성능과 비용 효율성의 균형을 맞추는 것이 매우 중요합니다. 이것이 바로 우리가 이미 Amazon EC2 제품군의 절반을 Graviton에서 실행하고 있는 이유입니다."라고 말했습니다. "Graviton4 기반 인스턴스를 우리 환경에 원활하게 통합하여 즉시 성능을 향상시켰습니다. Graviton4가 정식 출시되면 사용할 수 있기를 기대합니다."

Epic은 선도적인 인터랙티브 엔터테인먼트 회사이자 3D 엔진 기술 제공업체입니다. Epic은 3억 5천만 개가 넘는 계정과 25억 명 이상의 친구 연결을 보유한 세계 최대 게임 중 하나인 Fortnite를 운영하고 있습니다. Epic의 수석 클라우드 엔지니어인 Roman Visintine은 "AWS Graviton4 인스턴스는 지금까지 테스트한 EC2 인스턴스 중 가장 빠른 인스턴스이며 가장 경쟁력이 있고 지연 시간에 민감한 워크로드 전반에 걸쳐 탁월한 성능을 제공하고 있습니다."라고 말했습니다. "우리는 Graviton4를 사용하여 플레이어 경험을 개선하고 Fortnite 내에서 가능한 것을 확장할 수 있기를 기대합니다."

Honeycomb은 엔지니어링 팀이 이전에는 불가능했던 문제를 찾아 해결할 수 있게 해주는 관찰 플랫폼입니다. Honeycomb의 Field CTO인 Liz Fong-Jones는 "AWS Graviton4 기반 R8g 인스턴스를 평가하게 되어 매우 기쁩니다."라고 말했습니다. "최근 테스트에서 Go 기반 OpenTelemetry 데이터 수집 워크로드에는 Graviton3 기반 C7g/M7g/R7g 인스턴스에 비해 Graviton4 기반 R8g 인스턴스에서 25% 더 적은 복제본이 필요했으며 추가로 중간 대기 시간이 20% 향상되고 10% 더 적은 수의 복제본이 필요했습니다. 99번째 백분위수 지연 시간 개선. Graviton4 기반 인스턴스가 정식 출시되면 이를 활용할 수 있기를 기대합니다."

SAP의 클라우드 네이티브 인메모리 데이터베이스인 SAP HANA Cloud는 SAP BTP(SAP Business Technology Platform)의 데이터 관리 기반입니다. SAP SE 이사회 멤버이자 CTO인 Juergen Mueller는 "고객은 SAP HANA Cloud를 사용하여 클라우드에서 미션 크리티컬 비즈니스 프로세스와 차세대 지능형 데이터 애플리케이션을 실행합니다."라고 말했습니다. "SAP HANA Cloud를 AWS Graviton 기반 Amazon EC2 인스턴스로 마이그레이션하는 프로세스의 일환으로 우리는 이미 분석 워크로드에 대해 최대 35% 향상된 가격 성능을 확인했습니다. 앞으로 몇 달 안에 Graviton4의 유효성을 검증하고 그 이점을 기대합니다. 이는 우리의 공동 고객에게 가져올 수 있습니다."