AMD가 AI 데이터센터용 MI350 플래그십 GPU를 출시했으며, 고성능 추론 및 학습을 위한 1,850억 개의 트랜지스터를 탑재했습니다.

어드밴스드 마이크로 디바이시스(Advanced Micro Devices Inc.)는 오늘 일부 작업에서 엔비디아(Nvidia Corp.)의 블랙웰 B200을 능가할 수 있는 새로운 인공지능(AI) 칩 라인인 인스턴트 MI350 시리즈를 출시했다고 밝혔다. 이 제품군에는 액체 냉각을 통해 열을 방산하는 최상위 모델인 MI355X와, 일부 성능을 희생하여 작동 온도를 낮추고 팬을 사용하여 액체 냉각 대신 사용할 수 있는 축소형 칩인 인스턴트 MI350X 등 두 가지 그래픽 카드로 구성된다. AMD의 인공지능 그룹 부사장인 바미 보판나(Vamsi Boppana)는 "유연한 공랭식 및 직접 액체 냉각 구성을 갖춘 인스턴트 MI350 시리즈는 원활한 배포를 위해 최적화되어 있으며, 공랭식 랙에서는 최대 64개의 GPU를, 직접 액체 냉각 환경에서는 최대 128개의 GPU를 지원하고 FP4 성능 기준 2.6 엑사플롭스(exaFLOPS)까지 확장할 수 있다"고 말했다.

MI350 시리즈는 대만반도체(Taiwan Semiconductor Manufacturing Co.)의 최신 3나노미터 공정으로 제작된 연산 회로를 탑재한 8개의 칩렛과, 프로세서 내부의 데이터 흐름을 관리하며 MI350의 베이스 레이어 역할을 하는 2개의 6나노미터 I/O 칩렛으로 구성된 3차원 10칩렛 설계 기반이다. MI355X와 MI350X 모두 AI 칩에 널리 사용되는 고속 대용량 RAM인 HBM3E 메모리 288기가바이트를 탑재한다. HBM3E는 이론적으로 최대 16개의 수직 적층 RAM 레이어를 지원하며, 마이크론 테크놀로지(Micron Technology Inc.)의 최신 HBM3E 칩은 HBM3E 메모리를 포함한 AI 칩 개발에 필요한 전문 장비의 양을 줄이는 메모리 내장自检(Self-Test) 모듈을 갖추고 있다.

AMD에 따르면 MI350 시리즈는 엔비디아의 플래그십 블랙웰 B200 그래픽 카드보다 메모리가 60% 더 많다. 회사는 일부 워크로드에서 더 빠른 성능을 약속했으며, AMD는 MI350 칩이 B200보다 8비트 부동소수점 숫자를 10% 더 빠르게 처리하고 4비트 부동소수점 숫자는 두 배 이상 빠르게 처리할 수 있다고 밝혔다. MI350의 4비트 부동소수점(FP4) 데이터 지원은 이전 AMD 그래픽 카드 대비 도입된 주요 개선 사항 중 하나로, MI350 시리즈의 단일 칩이 최대 5,200억 개의 파라미터를 가진 AI 모델을 실행할 수 있게 한다. 또한 AMD는 경쟁 제품 대비 달러당 토큰 생성량이 40% 증가할 것이라고 약속했다.

AMD는 일부 FP4 워크로드에서 최대 160페타플롭스의 성능을 제공하는 8칩 서버 구성으로 MI350을 제공할 예정이다. 여기서 1페타플롭스는 초당 1조 번의 연산을 의미한다. 향후 AMD는 차기 인스턴트 MI400 칩 시리즈(MI350의 후속 제품)의 칩, 회사의 중앙처리장치(CPU), 그리고 AI 클러스터의 다른 칩들로부터 인프라 관리 작업을 오프로딩하는 펜산도(Pensando) 데이터 처리 장치를 결합한 '헬리오스(Helios)'라는 이름의 랙 시스템 라인을 출시할 계획이다.

소프트웨어 측면에서 헬리오스는 AMD 그래픽 카드를 프로그래밍하는 데 사용되는 개발자 도구, 애플리케이션 프로그래밍 인터페이스(API) 및 기타 컴포넌트로 구성된 회사의 ROCm 플랫폼과 함께 제공될 예정이다. 최신 릴리스인 ROCm 7.0은 AI 모델의 추론 속도를 기존보다 3.5배 이상 빠르게 하고 학습 워크로드의 성능을 3배까지 향상시킬 수 있다. AMD에 따르면 이 속도 향상은 ROCm 7.0이 데이터 이동을 더 효율적으로 관리하고 분산 추론(여러 그래픽 카드에 추론 워크로드를 분산시켜 처리를 가속화하는 작업)을 더 잘 처리할 수 있도록 하는 최적화의 결과다. 보판나는 "지난 한 해 동안 ROCm은 급격히 성숙하여 리더십급 추론 성능을 제공하고, 학습 기능을 확장하며, 오픈소스 커뮤니티와의 통합을 심화시켰다"고 작성했다.