Nvidia는 AI 팩토리 규모 경제와 추론 워크로드 효율성, ROI의 중요성을 연계한다.
AI factory 경제학은 고성능 그래픽 처리 장치에 대한 접근만으로는 점점 더 충분하지 않습니다. 에이전트 시스템이 여러 모델, 데이터베이스 및 도구를 활용함에 따라 전체 데이터 센터가 하나의 컴퓨팅 시스템으로 작동해야 합니다.
이러한 전환은 관심을 개별 칩에서 컴퓨팅 용량을 유용한 지능으로 변환하는 인프라로 이동시키고 있습니다. Nvidia Corp의 하이퍼스케일 및 HPC 부사장 겸 총괄 관리자인 Ian Buck에 따르면, 네트워킹, 스토리지, 프로세서 및 소프트웨어는 전력의 각 단위에서 생성되는 출력을 증가시키면서 규모에 따라 함께 작동해야 합니다.
"자동차나 장치 또는 PC 대신 이제는 토큰입니다"라고 Buck이 말했습니다. "이들은 IT가 아닙니다. 비용도 아닙니다. 실제로 이들은 가치가 증가하고, 수익을 창출하며, 교환 가능하고, 내구성이 있으며, 생산적인 경제의 일부입니다."
AI factory의 상업적 산출물은 배포된 모델이 요청을 처리하고 토큰을 생성하는 추론에서 나옵니다. 그러나 데이터와 시장 조건이 변함에 따라 조직이 배포된 모델을 지속적으로 업데이트하기 때문에 추론이 학습을 대체하지는 않습니다. "이 모든 서비스에서 단순히 실행 후 망각하는 것이 아닙니다"라고 Buck이 설명했습니다. "기업들이 이러한 모델을 사용할 때 이들을 개선하고, 정렬하며, 더 많은 데이터를 추가합니다. 이들을 최신 상태로 유지하고 인식하게 하는 것 - 실제로는 약간의 학습입니다. 우리는 강화 학습과 온라인 정렬의 작업을 보고 있습니다."
낮은 지연 시간은 더 빠른 추론이 더 큰 가치를 갖는 워크로드에 대해 또 다른 경제적 계층을 만듭니다. Nvidia의 Groq 3 LPX 추론 가속기는 Vera Rubin 플랫폼과 함께 작동하여 시간에 민감한 워크로드에 대한 사용자당 토큰 비율을 증가시킵니다. "토큰 처리에서 가장 빠른 사고의 가치가 있다면, LPX를 Vera Rubin 위에 부스트하여 그것을 가능하게 할 수 있습니다"라고 Buck이 말했습니다. "우리는 핀테크 및 실시간으로 일어나는 다른 분야의 관심을 많이 보고 있습니다."
전력 용량은 궁극적으로 데이터 센터가 배포할 수 있는 컴퓨팅 인프라의 양을 제한합니다. 이러한 제약은 와트당 토큰을 AI factory 경제학의 중심 척도로 만들고 벤더들이 각 하드웨어 세대마다 성능을 개선하도록 압박합니다. "데이터 센터는 자연적인 상한선이 있으며, 그 상한선은 실제로 전력입니다"라고 Buck이 말했습니다. "GPU의 모든 세대마다 우리는 와트당 토큰이 10배 이상으로 더 효율적이 되도록 합니다. 실제로 Blackwell에서는 와트당 토큰에서 결국 30배의 개선을 얻었습니다."
이러한 전환은 또한 시스템을 설계하고 운영해야 하는 규모를 변경합니다. CoreWeave는 고객이 구성을 선택하거나 처리량과 토큰 속도 사이의 균형을 최적화하는 상위 수준의 추론 서비스를 사용할 수 있게 해줍니다. "CoreWeave는 고객을 위해 그것을 할 수 있습니다"라고 Buck이 말했습니다. "그들은 모든 선택에 압도당할 필요가 없습니다. 우리의 파트너 생태계가 매우 중요한 곳이 바로 그곳입니다."