엔비디아, 기가와트 규모 데이터 오케스트레이션 및 차세대 AI 학습 워크로드용 베라 루빈 시스템 공개

엔비디아의 최신 베라 루빈(Vera Rubin) 아키텍처는 독립형 GPU가 아닌 긴밀하게 통합된 시스템 형태로 출시되고 있다. 이 조화된 스택은 루빈 GPU, 베라 CPU, Groq 3 LPX 추론 가속기, 그리고 스토리지 및 네트워킹을 위한 전용 랙으로 구성된다. 이러한 배포는 AI 컴퓨팅이 기가와트(GW) 규모로 확장됨에 따라 데이터 오케스트레이션으로의 전략적 전환을 의미한다.

엔비디아 스토리지 기술 부사장인 제이슨 하디(Jason Hardy)에 따르면, 베라 CPU는 점점 더 거대해지는 메모리 풀 간에 데이터를 효율적으로 이동시키는 근본적인 병목 현상을 해결한다. “베라는 단일 서버나 어떤 종류의 컴퓨팅 플랫폼에도 넣을 수 있는 메모리에 한계가 있기 때문에 중요합니다.”라고 그는 말했다. 데이터 센터가 컴퓨팅 성능을 확장함에 따라 메모리 용량도 함께 증가했으며, 이는 인프라 붐의 두 번째 물결 동안 마이크론(Micron)과 같은 공급업체의 성장을 촉진했다. 그러나 최적의 타이밍에 해당 데이터를 GPU로 전달하는 것은 여전히 기술적으로 어렵다. 특히 와트당 토큰(Token) 수와 관련된 효율성 목표가 강화되면서 정밀한 트래픽 방향 설정이 중요해졌다.

하디는 “베라 CPU가 가속화를 가능하게 함에 따라 이러한 작업에서 3배 이상의 개선이 있었다”고 보고했다. 그는 또한 “이제 병목 현상 없이 모든 성능을 끌어낼 수 있으므로 플래시 저장소를 최대한 활용할 수 있게 되었다”고 덧붙였다.

다른 기업들도 서로 다른 하드웨어 전략을 통해 동일한 과제를 해결하고 있다. 예를 들어, 오픈AI(OpenAI)가 최근 공개한 할라페뇨(Jalapeño) 칩은 데이터 이동을 완전히 제거하는 것을 목표로 한다. 이달 초 블로그 게시글에서 동사는 “데이터 이동과 통신 지연을 최소화하기 위해 할라페뇨를 설계했습니다”라고 밝혔다. 이는 전체 워크로드를 단일 연결 시스템 내에 수용함으로써 이를 달성한다. 게시글은 이어 “그 넓은 도메인으로 인해 전체 워크로드가 하나의 연결된 시스템 내에 머무를 수 있어 데이터 이동을 최소화하고, 시작부터 끝까지 요청이 빠르고 효율적으로 처리되도록 돕습니다”라고 설명했다.

별도로, 소식통들은 엔비디아가 허깅 페이스(Hugging Face)를 129억 달러에 인수할 것이라고 보도했다.

전문화된 데이터 오케스트레이션 시스템의 등장은 AI 인프라 경쟁에서의 구조적 변화를 신호한다. 아마존(Amazon)과 구글(Google)을 포함한 하이퍼스케일러들이 지난 몇 년간 자체 칩을 개발해 왔지만, 엔비디아의 우위는 이제 GPU 지배력에 국한되지 않는다. 대신 경쟁의 무대는 시스템 수준 통합으로 확대되었다: 스토리지, 네트워킹, 메모리, 컴퓨팅이 협조적으로 작동하도록 보장하는 것이다. 이러한 인프라 레이어는 이제 칩 제조사들 사이뿐만 아니라 풀스택 시스템 설계자들 사이에서도 경쟁이 가능한 상태이다. 엔비디아가 새로운 전선에서 경쟁자들을 마주하고 있지만, 초기 증거들은 이들이 이러한 조화된 아키텍처를 대규모로 구축하고 배포하는 데 있어 압도적인 선두 자리를 차지하고 있음을 시사한다.