IBM과 Together AI가 첫 대규모 NVIDIA HGX B300 배포를 위한 $240백만 규모의 다년간 협력을 발표했습니다.

IBM와 Together AI는 IBM 클라우드에서 AI 인프라를 제공하기 위한 전략적 협력을 발표했습니다. 다년간의 2억 4,000만 달러 계약에 따라 IBM는 2027년 1분기에 예상되는 NVIDIA HGX B300 시스템의 대규모 클러스터를 배포할 예정입니다. Together AI는 이 클러스터를 활용하여 기업들에게 오픈소스 모델 추론 기능을 제공할 것입니다. 이는 IBM 클라우드에서 HGX B300 시스템과 NVIDIA Spectrum-X 이더넷 네트워킹을 사용하여 추론 전용으로 구축된 첫 번째 대규모 클러스터입니다. NVIDIA에 따르면, 이번 배포는 이전 세대 대비 AI 팩토리 출력이 30배 더 많도록 설계되었습니다.

이번 협력은 AI 배포를 확장하는 기업들에게 향상된 성능과 토큰 경제성을 Together AI가 제공할 수 있도록 하는 것을 목표로 합니다. 오픈소스 모델이 AI의 미래에 필수적이라는 원칙에 따라 운영되는 Together AI는 최근 83억 달러의 가치 평가로 8억 달러 규모의 시리즈 C 자금 조달 라운드를 완료했습니다. 이 플랫폼은 추론, 학습, 파인튜닝, 에이전틱 워크플로우 전반에 걸친 기능을 포괄합니다. Together AI는 현재 월간 400조 개의 토큰을 처리하고 있다고 보고했습니다. 해당 회사는 빠른 AI 확장 속도와 최저 토큰 비용 요구 사항을 충족할 수 있는 GPU 용량 제공 능력 및 혁신적인 제품 로드맵을 바탕으로 IBM과 NVIDIA를 선택했습니다.

Together AI의 CEO인 Vipul Ved Prakash는 기업들이 폐쇄형 모델의 가격 태그 없이 프론티어 모델의 성능을 원하며, 이를 위해서는 대규모에서 빠르고 신뢰할 수 있는 인프라가 필요하다고 밝혔습니다. 그는 이 클러스터가 더 많은 기업들에게 프로덕션 등급의 추론을 가능하게 하며, 오픈소스 AI가 기업들에게 명백한 선택지가 되는 데 중요한 한 걸음이라고 언급했습니다.

IBM 클라우드 총책임자(General Manager)인 Alan Peacock은 기업들이 에이전틱 AI를 대규모로 채택하기 위해 경쟁하고 있으며, IBM과 NVIDIA는 이러한 전환을 지원하기 위해 확장 가능하고 경제적이며 엔터프라이즈 등급의 AI 인프라를 제공하고 있다고 강조했습니다. NVIDIA의 HPC 및 AI 인프라 솔루션 담당 수석 이사(Senior Director)인 Dion Harris는 AI 팩토리가 전력 및 통신망과 비교될 만큼 필수적인 기업 인프라로 변모하며, 필요한 규모에서 성능과 효율성을 갖추어 컴퓨팅과 데이터를 지능으로 전환하고 있다고 설명했습니다.

이번 협력은 최근 GPU 네이티브 데이터 분석, 비정형 데이터 추출, 온프레미스 및 클라우드 인프라, 그리고 조직들이 AI를 대규모로 운영할 수 있도록 돕기 위한 컨설팅 서비스 등 다양한 영역에서 진전을 발표한 광범위한 IBM과 NVIDIA 간의 파트너십을 기반으로 합니다.