IBM과 Together AI는 대규모 Nvidia 기반 AI 추론 클러스터 구축을 위한 $240 million 규모의 다년 협약을 체결했습니다.

전력, 데이터센터 용량 및 기타 공급망 제약으로 인해 AI 인프라는 심각한 부족 상태이며, 서비스 제공자들은 경쟁하는 클라우드 제공자들과 협력해야 하더라도 확보할 수 있는 모든 컴퓨팅 리소스를 임차할 것입니다.

Together AI가 최근의 사례입니다. 이번 주 이 서비스 제공자는 오픈 웨이트 추론 플랫폼을 IBM Cloud의 Nvidia GPU 대규모 클러스터에서 운영하기 위한 2억 4천만 달러 규모의 거래를 발표했습니다. "Together AI는 혁신적인 제품 로드맵과 빠른 AI 확장에 필요한 속도로 GPU 용량을 공급할 수 있는 능력, 그리고 최저 토큰 비용 때문에 Nvidia와 함께 IBM을 선택했습니다"라고 IBM의 발표문은 밝힙니다. 다시 말해, Together AI는 필요한 시점에 필요한 용량을 보유하고 있던 Big Blue를 선택한 것입니다.

Together AI는 AI 추론 생태계에서 상위권에 위치합니다. 이 회사의 비즈니스 모델은 주로 클라우드 또는 네오클라우드 제공자들로부터 컴퓨팅 용량을 임차하는 것입니다. 이들 제공자 중 많은 곳은 데이터센터 운영자로부터 시설 공간과 용량을 임차받으면서 서로 경쟁하는 서비스를 운영합니다. 최근에 Together AI는 메릴랜드, 멤피스, 스웨덴의 데이터센터에 GPU 컴퓨팅을 배포하기 시작했지만, 대부분의 AI 서비스 제공자처럼 주요 가치 제안은 추론, 파인튜닝, 훈련 같은 애플리케이션을 위해 사용자들이 하드웨어를 쉽게 사용할 수 있도록 만드는 것입니다. 추론의 경우, 이는 대부분 OpenAI 호환 API 엔드포인트로 축약됩니다.

이 서비스 제공자는 가격 대비 성능이 유리하다면 그 API 엔드포인트가 어떤 하드웨어 위에서 실행되는지에 대해 특별히 까다롭지 않습니다. 예를 들어, Together AI는 Intel과 협력하여 구축된 SambaNova의 이기종 컴퓨팅 플랫폼 위에 서비스를 배포할 것이며, Nvidia GPU를 프리필 처리에 활용합니다. 이러한 시스템들은 올해 초 Vector Core Compute의 새로운 AI 데이터센터에서 가동되었습니다.

이 경우 Together AI는 Nvidia B300을 도입하고 있는데, 의심할 여지없이 IBM이 제공할 수 있었던 옵션이기 때문입니다. 2025년 초에 발표된 HGX B300 플랫폼은 Nvidia의 가장 강력한 제품이 아닙니다. CEO Jensen Huang이 기회 있을 때마다 자랑하는 72-GPU 랙 시스템과 달리, HGX 플랫폼은 훨씬 더 표준적이며 기존의 공기 냉각 데이터센터에 배포될 수 있습니다. 각 14-15 kW 박스는 8개의 B300 GPU를 포함하며, 이들은 박스 내에서는 NVLink로, 박스 간에는 Nvidia의 Spectrum-X Ethernet 패브릭으로 상호 연결됩니다. IBM에 따르면, 이 배포는 추론 애플리케이션을 위해 B300을 대규모로 사용한 첫 번째 사례입니다.

컴퓨팅 용량은 2027년 1분기에 온라인으로 제공될 것으로 예상됩니다.