Samsung은 processing-in-memory 기술을 AMD MI100 GPU에 통합하여 AI 가속기 아키텍처를 발전시킵니다

Samsung이 96개의 AMD Instinct MI100 GPU를 탑재한 슈퍼컴퓨터를 공개했으며, 각 GPU에는 처리-인-메모리(PIM) 칩이 장착되어 있습니다. 회사는 이 기술이 대규모 AI 모델 훈련의 성능과 에너지 효율성을 현저히 개선할 수 있다고 주장합니다. 이 슈퍼컴퓨터는 지난 화요일 한국에서 열린 산업 행사에서 공개되었습니다. 처리-인-메모리 기술은 CPU와 DRAM 사이를 이동해야 할 데이터의 양을 줄이는데, 이는 메모리 내부에서 일부 계산을 수행함으로써 가능합니다.

Samsung Electronics 고급기술연구소 AI 연구센터장 Choi Chang-kyu에 따르면, 이 클러스터는 PIM 칩이 없는 동일한 클러스터 구성에 비해 Google의 Text-to-Test Transfer Transformer (T5) 언어 모델을 2.5배 빠르게 훈련시킬 수 있으면서도 2.7배 적은 전력을 사용했습니다. Choi는 "이것은 세계에서 유일한 종류입니다"라고 말했습니다. Samsung은 자신의 PIM 기술이 클러스터의 연간 에너지 사용량을 2,100 기가와트시 줄일 수 있고 960,000톤의 탄소 배출을 감축할 수 있다고 예측했으며, 이는 160억 도시 나무가 10년 동안 흡수할 탄소량과 동등합니다.

성능 개선은 각 PIM 칩에 Samsung의 고대역폭 메모리(HBM) 사용에서 비롯되었으며, 이는 고성능 컴퓨팅과 AI 워크로드를 위해 업계에서 점점 더 많이 사용되는 기술입니다. Samsung의 HBM-PIM 칩을 다른 회사들의 HBM 구현과 구별하는 것은 PIM 칩의 각 메모리 뱅크에 내부 처리 장치가 포함되어 있다는 점이며, 이는 CPU와 메모리 사이의 데이터 이동과 관련된 병목을 줄입니다.

Samsung은 로열티 무료의 크로스 아키텍처 프로그래밍 추상화 계층인 SYCL을 사용한 소프트웨어 개발을 통해 자신의 PIM 기술 채택을 주도하기 위해 노력하고 있습니다. 회사는 또한 가속화된 DIMM의 약자인 AXDIMM이라고 부르는 것을 통해 이 기술을 시장에 출시할 계획입니다. PIM이 향후 몇 년 동안 연구 기관, 학술 기관 및 기타 조직에서 배포한 신규 슈퍼컴퓨터에 나타나기 시작하면, 더 넓은 채택이 분명해질 것입니다.