Cerebras, 13.5백만 코어를 제공하는 독점 웨이퍼 스케일 칩 아키텍처의 Andromeda 슈퍼컴퓨터 공개.
Cerebras는 SC22에서 새로운 AI 슈퍼컴퓨터 Andromeda를 공개했으며, 이는 16대의 Cerebras CS-2 시스템에 걸쳐 총 1,350만 개의 코어를 탑재하고 있습니다. 이 시스템은 Cerebras의 웨이퍼 스케일 멀티코어 WSE-2 프로세서에 의해 구동되며, 1 엑사플롭의 AI 연산 성능과 120 페타플롭스의 밀집 연산 성능을 자랑합니다. 각 WSE-2 웨이퍼는 산술, 메모리, 통신을 처리하는 세 가지 물리적 평면으로 구성됩니다. 메모리 평면에만 온보드 SRAM 40GB가 포함되어 있어 전체 BERT-LARGE 모델을 담을 수 있을 만큼 충분하며, 산술 평면에는 약 850,000개의 독립적인 코어와 340만 개의 FPUs가 포함되어 있고, 통신 평면의 카테시안 메시를 통해 총 20 PB/s의 내부 대역폭을 제공합니다. Andromeda는 광범위한 데이터 전처리 및 후처리 작업을 수행하는 64코어 AMD EPYC 3 프로세서 뱅크로부터 데이터를 공급받습니다.
올해 초 Oak Ridge National Lab의 슈퍼컴퓨터 Frontier가 핵무장 시뮬레이션 능력을 갖춘 채 엑사플롭 마크를 돌파했으며, Andromeda가 16비트 반정밀도를 사용하는 반면 Frontier는 64비트 정밀도로 운영된다는 점은 다르지만, 두 시스템은 서로 다른 목적을 위해 설계되었습니다. Frontier의 구축 비용은 6억 달러인 반면, Andromeda의 비용은 3,500만 달러 미만입니다. Cerebras의 창립자이자 CEO인 Andrew Feldman은 "AMD EPYC는 unparalleled한 코어 밀도, 메모리 용량 및 IO를 제공하므로 이러한 유형의 클러스터에 가장 적합한 선택입니다. 이로 인해 Andromeda 슈퍼컴퓨터에 데이터를 공급하는 것은 명백한 선택이었습니다."라고 밝혔습니다. 마찬가지로 Andromeda는 Argonne National Lab에 있는 2,000개 이상의 Nvidia A100 GPU로 구성된 클러스터인 Polaris를 대체하기 위해 설계된 것이 아닙니다. Polaris 역시 자체적으로 전처리 및 후처리에 AMD EPYC 코어를 사용하고 있습니다. 오히려 각 슈퍼컴퓨터는 서로 다른 유형의 작업에서 뛰어난 성능을 발휘합니다.
Andromeda는 주로 영(zero)으로 이루어진 다차원 텐서 배열인 대규모 희소 행렬을 처리하는 데 특화되어 있으며, 특히 대규모 언어 모델(LLM)에서 그 강점을 보여줍니다. AstraZeneca와 GlaxoSmithKline을 포함한 고객들은 COVID 유전체 및 후성유전체에 대한 연구를 포함하여 '오믹스(omics)' 연구 분야에서 Andromeda 상의 LLM 사용 성공 사례를 보고했습니다. National Energy Technology Lab에서의 실험 동안 과학자들은 Polaris가 감당할 수 없었던 'GPU 불가능(GPU impossible)' 작업을 완료하기도 했습니다. 이 시스템은 또한 융합 연구에도 배포되었으며, 현재 Santa Clara에 위치한 고성능 컴퓨팅 데이터 센터 Colovore에 설치되어 운영 중입니다.
Cerebras는 학술계와 대학원생들에게 Andromeda에 대한 무료 접근 권한을 할당했으며, 이 시스템은 Python 및 Jupyter 노트북과 원활하게 통합됩니다. 이전에 Cerebras에서 근무했던 Cambridge University 박사 과정 학생인 Mateo Espinosa는 "Cerebras가 이렇게 큰 클러스터에 대학원생들에게 무료 접근 권한을 제공했다는 점은 놀라운 일입니다. Andromeda는 분산 컴퓨팅과 병렬 프로그래밍의 고통 없이 최대 규모의 언어 모델에 걸쳐 1,350만 개의 AI 코어와 거의 완벽한 선형 확장성을 제공합니다. 이는 모든 ML 대학원생의 꿈입니다."라고 말했습니다.
머신러닝이 점점 더 커지는 데이터 볼륨과 맞서고 있는 가운데, 네트워크 내외부의 지연 시간은 점차 제약 요인으로 작용하고 있습니다. 더 높은 처리량은 에너지 소비를 증가시키고, 단순히 하드웨어를 추가해서는 해결할 수 없는 병목 현상을 초래합니다. 바로 이러한 수렴 지점에서 Cerebras는 Andromeda를 positioning하여 그 존재감을 드러내고 있습니다.