IBM과 Together AI가 규제 대상 기업 AI 워크로드를 위해 IBM Cloud에서 대규모 NVIDIA HGX B300 inference cluster 배포를 위한 $240 million multi-year deal을 체결했다.

IBM와 Together AI는 IBM 클라우드에서 NVIDIA HGX B300 시스템의 대규모 클러스터를 구축하기 위해 다년간에 걸친 2억 4,000만 달러 규모의 계약을 체결했으며, 해당 인프라는 2027년 1분기에 가동될 것으로 예상됩니다. 이는 NVIDIA HGX B300 시스템과 NVIDIA Spectrum-X 이더넷 네트워킹을 활용하는 IBM 클라우드 최초의 전용 대규모 추론 클러스터입니다. 해당 인프라를 통해 Together AI는 엔터프라이즈 고객에게 AI 모델을 제공하는 데 드는 비용을 절감하면서도 추론 처리 능력을 확대할 수 있게 됩니다.

Together AI는 이 클러스터를 활용해 오픈소스 AI 모델에 대한 추론 서비스를 제공할 예정입니다. Together AI의 최고경영자(CEO)인 Vipul Ved Prakash는 "기업들은 폐쇄형 모델의 높은 가격 부담 없이 최첨단 모델 수준의 성능을 원하며, 이는 기반 인프라가 대규모로 빠르고 안정적일 때만 가능합니다"라고 말했습니다. 그는 이어 "NVIDIA와 함께한 IBM과의 협력을 통해 우리는 그러한 기반을 확보했습니다. 이번 클러스터를 통해 더 많은 기업에 프로덕션 등급의 추론 서비스를 더 빠르게 제공하게 되었으며, 이는 기업이 오픈소스 AI를 당연한 선택지로 받아들이도록 하는 우리의 노력에서 중요한 한 걸음입니다."라고 덧붙였습니다.

Together AI의 추론 사업부는 현재 월간 400조 개의 토큰을 처리하고 있습니다. 동사는 최근 시리즈 C 라운드에서 83억 달러의 기업 가치로 8억 달러의 자금을 조달했으며, 이 자금은 AI 네이티브 클라우드 플랫폼 구축에 투입될 예정입니다. 동사의 플랫폼은 추론, 모델 학습, 파인튜닝, 에이전틱 워크플로우를 포괄하며, 폐쇄형 AI 시스템을 대체할 수 있는 오픈소스 모델의 입지를 강화하고 있습니다.

Together AI는 인프라 로드맵과 요구되는 확장 속도에 맞춰 GPU를 공급할 수 있는 역량을 근거로 IBM과 NVIDIA를 선정했습니다. 결정 과정에서 토큰 제공 비용 역시 주요 고려 사항이었습니다.

해당 클러스터는 NVIDIA Spectrum-X 이더넷 네트워킹으로 연결된 NVIDIA HGX B300 시스템을 사용합니다. NVIDIA의 B300 플랫폼은 이전 세대 대비 AI 팩토리 생산량을 30배 이상 향상시킬 수 있습니다.

IBM은 이 인프라가 Together AI의 추론 플랫폼과 IBM 클라우드 인프라를 결합함으로써 기업 시장 진출을 위한 경로를 제공한다고 평가합니다. IBM 클라우드 총괄 책임자인 Alan Peacock은 "기업들은 실제 비즈니스 성과를 도출하기 위해 대규모로 에이전틱 AI를 채택하려는 경쟁에 돌입해 있습니다"라며 "IBM과 NVIDIA는 Together AI가 차세대 AI 인프라를 위한 혁신을 가속화할 수 있도록 돕는 확장 가능하고 경제적이며 엔터프라이즈 등급의 AI 인프라를 제공하고 있습니다."라고 밝혔습니다.

이번 계약은 IBM과 NVIDIA 간의 기존 협력 관계를 확장하는 것으로, GPU 네이티브 데이터 분석, 비정형 데이터 추출, 온프레미스 및 클라우드 인프라, 컨설팅 서비스 등을 포괄합니다.

NVIDIA의 HPC 및 AI 인프라 솔루션 담당 수석 이사인 Dion Harris는 해당 인프라가 기업 도입에서 수행하는 역할에 대해 강조하며 "AI 팩토리는 전력이나 통신망처럼 필수적인 기업 인프라로 자리 잡아가고 있으며, 컴퓨팅 자원과 데이터를 지능으로 전환하고 있습니다."라고 말했습니다.