하이퍼스케일 데이터센터 전역에서 에너지 공급과 전력 배분이 GPU 배포를 능가하는 주요 성능 병목이 되었다.

하이퍼스케일 데이터센터 전역에서 제한 요소는 더 이상 몇 개의 액셀러레이터를 배포할 수 있는가가 아니라 얼마나 많은 에너지를 공급하고 분배하며 효율적으로 사용할 수 있는가입니다. 많은 환경에서 상한선은 칩 밀도가 아니라 시스템과 시설이 지속할 수 있는 전력으로 정의됩니다.

국제에너지기구(International Energy Agency)에 따르면 글로벌 데이터센터 전기 소비는 2030년까지 945테라와트시에 도달할 것으로 예상되며, 이는 현재 수준에서 약 2배 증가하는 수준으로 주로 AI 워크로드에 의해 주도됩니다. 결과적으로 시스템 설계는 이론적 컴퓨팅 용량이 아니라 사용 가능한 전력을 얼마나 효율적으로 유용한 성능으로 변환할 수 있는가에 의해 점점 더 결정됩니다.

이러한 규모에서 AI 성능은 더 이상 개별 구성 요소에 의해 결정되지 않습니다. 이는 시스템 동작에 의해 정의됩니다. 수천 개의 컴퓨팅 요소가 동시에 작동하며 복잡한 인터커넥트 및 메모리 계층 전반에서 데이터를 공유합니다. 중요한 것은 단일 엔진이 얼마나 빠르게 실행될 수 있는가가 아니라 시스템 전체가 부하 상황에서 얼마나 효율적으로 데이터를 이동, 우선 순위 지정 및 전달하는가입니다. 과제는 컴퓨팅을 추가하는 것에서 조정하는 것으로 이동하고 있으며, 이러한 이동의 중심에는 인터커넥트가 있습니다.

데이터센터는 AI 배포의 가장 극단적인 형태를 나타냅니다. 시스템은 CPU, GPU, NPU 및 전문화된 AI 액셀러레이터를 포함한 이질적 컴퓨팅의 대규모 클러스터 전반에서 처리량을 최대화하도록 설계되며, 모두 공유 데이터셋에서 동시에 작동합니다. 고정된 전력 및 열 예산으로 제한되는 엣지 시스템과 달리 데이터센터는 사용 가능한 에너지의 한계에서 작동합니다. 문제는 얼마나 많은 컴퓨팅을 배포할 수 있는가일 뿐만 아니라 사용 가능한 전력을 얼마나 효과적으로 유용한 작업으로 변환할 수 있는가입니다. 비효율적인 데이터 이동에 소비된 전력은 컴퓨팅에 사용 가능한 에너지를 줄이며, AI 시스템이 확장됨에 따라 비효율적인 데이터 이동은 점점 더 해당 예산을 소비합니다. 인터커넥트 효율성은 데이터센터 AI 시스템의 설계에 중심이 되었습니다. 단위 에너지당 더 많은 데이터를 이동하면 더 높은 효과적인 시스템 성능으로 직접 전환됩니다.

업계 대화는 종종 high-bandwidth memory (HBM) 같은 칩 외부 대역폭이나 CXL 및 PCIe를 사용한 확장 및 메모리 풀링 구현에 초점을 맞추며, 이는 메모리 용량 및 외부 대역폭이 주요 제약 요소인 학습 워크로드에 여전히 중요합니다. 그러나 많은 최신 아키텍처에서 병목 현상은 온칩 및 칩 외부 데이터 이동 전반에 점점 더 분산되어 전체 시스템 전반에서 조정된 최적화가 필요합니다.

AI 액셀러레이터가 복잡성이 증가함에 따라 멀티코어 NPU, systolic array 및 벡터 유닛을 포함한 증가하는 수의 컴퓨팅 엔진을 통합하며, 모두 동시에 데이터를 생성하고 소비합니다. 온칩 인터커넥트는 이제 고대역폭 스트리밍 데이터 흐름, 레이턴시에 민감한 제어 트래픽 및 일관성 기반 메모리 액세스 패턴을 처리해야 합니다. 캐시 계층이 더욱 중요해지고 있습니다. 로컬 캐시는 데이터 재사용이 높을 때 외부 메모리보다 훨씬 더 높은 효과적인 대역폭을 제공할 수 있지만 효율적으로 조정해야 하는 추가 트래픽 패턴을 도입합니다. 가장 빠른 외부 메모리 시스템도 따라갈 수 없는 내부 패브릭을 완전히 보상할 수 없습니다. AI 성능은 점점 더 외부에서 얼마나 빠르게 가져올 수 있는가에 의해서가 아니라 시스템 내에서 데이터가 얼마나 잘 이동하고, 재사용되고, 우선 순위가 지정되는가에 의해 결정됩니다.

최신 AI 시스템은 본질적으로 이질적입니다. GPU와 NPU는 매우 넓은 멀티스레드 데이터 스트림에서 고처리량 스트리밍 워크로드를 구동합니다. CPU는 폭발적이고 레이턴시에 민감한 트래픽을 도입합니다. 액셀러레이터는 긴밀하게 동기화된 일관성 인식 통신이 필요할 수 있습니다. 이러한 다양성을 지원하려면 여러 트래픽 클래스를 동시에 관리하고 우선 순위를 적용하며 부하 상황에서 예측 가능한 레이턴시를 유지할 수 있는 인터커넥트 아키텍처가 필요합니다. 서비스 품질(QoS), 트래픽 격리 및 일관성 도메인 관리는 경합 및 우선 순위 지정을 관리하기 위해 중요해집니다. 공유 메모리 도메인 전반에서 데이터 일관성을 유지하면 성능 저하를 피하기 위해 신중하게 관리해야 하는 동기화 오버헤드가 발생합니다. 지능형 중재 및 스케줄링 없이 경합은 추가 컴퓨팅의 이점을 빠르게 약화시킵니다. 인터커넥트는 실제 워크로드 상황에서 시스템 동작을 관리하며 데이터 이동뿐 아니라 전체 성능 및 효율성을 형성합니다.

AI 컴퓨팅 확장을 계속하기 위해 업계는 칩릿 기반 아키텍처를 빠르게 채택하고 있습니다. 대규모 SoC를 여러 다이로 분할함으로써 설계자는 수율을 개선하고 비용을 절감하며 레티클 한계를 초과하여 시스템을 확장할 수 있습니다. 하지만 데이터 이동 과제를 제거하기보다는 이 아키텍처 변화는 그것들을 재분배합니다. 칩릿 내에서 더 짧은 선, 더 높은 대역폭 및 더 낮은 레이턴시를 통해 지역화된 통신을 최적화할 수 있으며 메모리와 컴퓨팅을 더 가깝게 배치할 수 있습니다. 그러나 칩릿 간 통신은 새로운 제약을 도입합니다. 온칩 인터커넥트와 비교하면 다이 간 인터페이스는 일반적으로 대역폭 밀도, 레이턴시 및 전력 효율성에서 더 제한되며 지속적인 고용량 데이터 교환을 요구하는 AI 워크로드에서 빠르게 병목이 될 수 있습니다. 칩릿은 다이 간 QoS 및 우선 순위 지정, 다이 간 트래픽의 효율적인 스케줄링 및 불필요한 데이터 이동을 최소화하기 위한 신중한 워크로드 분할의 필요성을 증가시킵니다. 그들은 문제를 해결하고 생성합니다. 확장 가능한 시스템 설계를 가능하게 하면서 시스템 수준 데이터 이동 아키텍처를 더욱 중요하게 만듭니다.

AI 시스템이 규모와 복잡성이 증가함에 따라 인터커넥트 설계의 전통적인 접근 방식이 무너지고 있습니다. 수작업 인터커넥트는 엄격하게 범위가 지정된 설계에서는 효과적이지만 수백 개의 컴퓨팅 요소, 여러 메모리 계층 및 복잡한 트래픽 상호작용을 가진 시스템으로 효율적으로 확장되지 않습니다. 과제는 아키텍처 의도의 수준에서 시작됩니다. 데이터가 시스템을 통해 어떻게 이동해야 하는지 수동으로 지정하는 것은 시간이 많이 걸리고 오류가 발생하기 쉬우며 최적화하기 어렵습니다. 이동은 시스템 수준 모델링 및 탐색, 자동화된 인터커넥트 생성 및 아키텍처를 설명하는 더욱 추상적이고 프로그래밍 가능한 방식을 향하고 있습니다. 목표는 단순히 인터커넥트를 더 빠르게 구축하는 것이 아니라 개념에서 구현까지 아키텍처 의도를 보존하고 성능, 전력 및 확장성 목표가 예측 가능하게 충족되도록 하는 것입니다.

역사적으로 인터커넥트 설계는 종종 보조적 관심사로 취급되었으며 컴퓨팅 및 메모리 결정이 내려진 후 해결되었습니다. 최신 AI 시스템에서 인터커넥트는 시스템 성능, 효율성 및 확장성의 주요 결정 요소입니다. 데이터센터에서 AI 확장의 다음 단계는 사용 가능한 전력의 한계 내에서 컴퓨팅에 얼마나 효율적으로 데이터를 전달할 수 있는가에 의해 정의되고 있습니다. 이는 설계 프로세스 초기에 데이터 이동을 우선시하고 인터커넥트를 일급 아키텍처 요소로 취급하며 고성능 패브릭과 시스템 수준 자동화를 결합하는 솔루션을 채택하는 것을 의미합니다. 성능은 더 이상 랙의 액셀러레이터 개수로만 결정되지 않으며, 이들 액셀러레이터가 얼마나 일관되게 바쁜 상태를 유지할 수 있는가에 의해 결정됩니다. 이는 부하 상황에서 데이터를 예측 가능하게 우선 순위 지정, 균형 조정 및 전달할 수 있는 시스템이 필요합니다. 차세대 AI 인프라는 더 많은 컴퓨팅뿐 아니라 처음부터 데이터를 처리하는 것만큼 효율적으로 이동하도록 설계된 시스템에 의해 정의될 것입니다.

*Andy Nightingale은 40년 이상의 하이테크 산업 경험을 보유한 Arteris의 제품 관리 및 마케팅 부사장입니다. 영국컴퓨터학회(British Computer Society) 및 마케팅협회(Chartered Institute of Marketing)의 정회원으로 Arm에서 23년간 네트워크 인터커넥트, 메모리 및 인터럽트 컨트롤러, 시스템 MMU를 포함한 시스템 IP 제품을 전문으로 하는 제품 마케팅 팀을 이끌었습니다. Arteris에서 그는 Magillem system-on-chip 배포 도구 및 FlexNoC와 Ncore network-on-chip 제품을 감독합니다.*