AMD는 단일 GPU 모델과 1.5TB HBM3 메모리를 갖춘 8-GPU 플랫폼으로 MI300 GPU 포트폴리오를 확대한다.

AMD는 샌프란시스코, 캘리포니아에서 개최된 Data Center and AI Technology Premiere 행사에서 AI 및 데이터 센터 제품의 포괄적인 포트폴리오를 발표했습니다. 이 회사는 HBM과 함께 동일 패키지에 3D-적층된 CPU 및 GPU 코어를 갖춘 Instinct MI300A 프로세서와 8개의 가속기 및 1.5TB의 HBM3 메모리를 탑재한 새로운 GPU 전용 MI300X 모델을 공개했습니다. 이번 발표에는 클라우드 네이티브 애플리케이션용 5nm EPYC Bergamo 프로세서, 최대 1.1GB의 L3 캐시를 갖춘 EPYC Genoa-X 프로세서, 그리고 2023년 하반기에 출시될 텔코 및 엣지 배포용 EPYC Sienna 프로세서가 포함되었습니다. Alveo 및 Pensando 네트워킹 및 DPU와 함께, AMD는 AI 가속 솔루션 전반에서 시장 선도자인 Nvidia 및 Intel과 직접 경쟁하고 있습니다.

Instinct MI300A는 13개의 칩렛으로 구성된 데이터 센터 APU이며, 대부분이 3D-적층되어 있고, CDNA 3 그래픽 엔진과 통합된 24개의 Zen 4 CPU 코어 및 총 128GB의 HBM3 메모리 8개 스택을 갖추고 있습니다. 이 칩은 146억 개의 트랜지스터를 포함하고 있어 AMD가 생산에 투입한 가장 큰 칩입니다. 5nm CPU와 GPU의 혼합으로 이루어진 9개의 컴퓨팅 다이가 메모리 및 I/O 트래픽을 처리하는 능동형 인터포저로 기능하는 4개의 6nm 기본 다이 위에 3D-적층되어 있습니다. MI300A는 2-엑사플롭 El Capitan 슈퍼컴퓨터를 구동할 것이며, 이는 올해 후반에 가동될 때 세계에서 가장 빠를 것으로 예정되어 있습니다.

GPU 전용 MI300X는 대규모 언어 모델에 최적화되어 있으며, 24GB HBM3 칩 전체에 분산된 192GB의 HBM3 메모리와 쌍을 이루는 CDNA3 GPU 타일을 갖추고 있습니다. AMD는 이를 통해 칩이 최대 800억 개의 매개변수를 가진 LLM을 실행할 수 있으며, 회사는 이를 단일 GPU로서의 기록이라고 주장합니다. MI300X는 8개의 채널에 걸쳐 5.2TB/s의 메모리 대역폭과 896GB/s의 Infinity Fabric 대역폭을 제공합니다. 이 칩은 5nm(GPU) 및 6nm(I/O die) 노드의 혼합으로 12개의 서로 다른 칩렛으로 구성되며 총 153억 개의 트랜지스터를 포함합니다.

AMD는 단일 MI300X GPU에서 실행되는 400억 매개변수 Falcon-40B 모델의 시연을 수행했으며, 이는 회사가 주장하는 대로 이 규모의 모델이 단일 GPU에서 실행된 첫 번째 사례입니다. MI300X는 Nvidia H100 대비 2.4배의 HBM 밀도와 1.6배의 HBM 대역폭을 제공하여 AMD가 자신의 칩에서 더 큰 모델을 실행할 수 있도록 합니다. 캐시-일관성 메모리 아키텍처는 CPU와 GPU 간의 데이터 이동을 줄여 지연 시간을 낮추고, 데이터 이동으로 인한 전력 소비(종종 계산 자체보다 더 많은 전력을 소비함)를 줄여 성능과 전력 효율을 개선합니다.

AMD는 또한 8개의 MI300X GPU를 1.5TB의 총 HBM3 메모리가 있는 단일 서버 마더보드에 결합하고 OCP 규격을 준수하는 AMD Instinct Platform을 발표했으며, 이는 Nvidia의 독점 MGX 플랫폼과 대조됩니다. 오픈소스 설계는 배포 속도를 높이기 위한 것입니다. MI300A는 현재 샘플링 중이며, MI300X 및 8-GPU Instinct Platform은 3분기에 샘플링되고 4분기에 출시될 것입니다.