IBM와 Together AI는 대규모 NVIDIA B300 AI 추론 클러스터 구축을 위해 2억 4,000만 달러 규모의 다년간 계약을 체결했다.

IBM은 Together AI와 다년간에 걸친 2억 4,000만 달러 규모의 계약을 체결하고, NVIDIA HGX B300 시스템을 활용하여 IBM Cloud上で 대규모 인공지능 추론 클러스터를 구축하기로 했다. 2027년 1분기에 가용 예정인 이 클러스터는 Together AI가 기업 고객에게 오픈소스 모델 추론 서비스를 제공할 수 있도록 지원한다. IBM에 따르면, 이번 구축은 NVIDIA HGX B300 시스템과 NVIDIA Spectrum-X 이더넷 네트워킹으로 구성된 IBM Cloud 최초의 전용 대규모 추론 클러스터다. NVIDIA는 해당 인프라가 이전 세대 대비 최대 30배 더 많은 AI 팩토리 출력을 제공하도록 설계했다고 밝혔다.

Together AI는 새로운 클러스터를 활용해 엔터프라이즈가 대규모 AI 워크로드를 프로덕션 환경으로 전환함에 따라 추론 성능을 향상시키고 토큰 경제성을 최적화할 계획이다. 오픈소스 인공지능에 중점을 둔 이 회사는 추론, 학습, 파인튜닝, 에이전틱 워크플로우를 아우르는 AI 네이티브 클라우드 플랫폼을 운영 중이다. 최근 Together AI는 83억 달러의 기업 가치로 8억 달러 규모의 시리즈 C 자금 조달 라운드를 완료했다. 동사는 현재 추론 플랫폼이 월 약 4,000조 개의 토큰을 처리하고 있다고 보고하며, 프로덕션 환경에서 오픈소스 모델에 대한 수요가 증가하고 있음을 강조한다. Together AI는 제품 로드맵과 급증하는 AI 워크로드를 지원하기 위해 필요한 GPU 자원을 공급할 능력을 바탕으로 IBM과 NVIDIA를 인프라 파트너로 선정했다.

이번 협력은 개발자와 기업이 IBM의 엔터프라이즈 클라우드 인프라를 통해 대규모 오픈소스 추론에 접근할 수 있도록 하는 것을 목표로 한다. IBM은 에이전틱 AI에 대한 수요 급증과 점점 더 컴퓨팅 집약적인 기업 애플리케이션을 중심으로 이번 파트너십을 구성하고 있다. 기반 아키텍처는 IBM Cloud, NVIDIA GPU 시스템, Spectrum-X 네트워킹, 그리고 Together AI의 추론 소프트웨어를 통합한다. IBM에게 이 계약은 기존 GPU 네이티브 데이터 분석, 비정형 데이터 추출, 하이브리드 클라우드 및 온프레미스 인프라, 그리고 엔터프라이즈 AI 배포 컨설팅에서의 협력을 바탕으로 AI 인프라 및 소프트웨어 전반에 걸쳐 NVIDIA와의 관계를 심화시킨다. 궁극적으로 이번 구축은 Together AI가 실시간 AI 서비스를 지원할 수 있는 인프라를 갖추도록 하고 대형 기업 시장에서의 입지를 확대하는 것을 목적으로 한다.

“기업들은 폐쇄형 모델의 가격 태그 없이 최첨단 모델의 성능을 원합니다. 이는 인프라가 규모에 맞게 빠르고 신뢰할 수 있을 때만 가능합니다. IBM과 함께 NVIDIA와 협력함으로써 우리는 그 기반을 마련했습니다. 이 클러스터를 통해 우리는 더 많은 기업에 프로덕션 등급의 추론 서비스를 더 빠르게 제공할 수 있으며, 이는 오픈소스 AI를 기업의 명확한 선택지로 만들기 위한 우리의 노력에서 중요한 한 걸음입니다.”

“기업들은 실제 비즈니스 성과를 도출하기 위해 대규모 에이전틱 AI 도입 경쟁에 돌입해 있습니다. IBM과 NVIDIA는 Together AI가 차세대 AI 인프라를 위한 혁신을 가속화할 수 있도록 확장 가능하고 경제적이며 엔터프라이즈 등급의 AI 인프라를 제공하고 있습니다.”

— Alan Peacock, IBM Cloud 일반 관리자

“AI 팩토리는 전기와 통신처럼 필수적인 기업 인프라가 되어 컴퓨팅과 데이터를 지능으로 전환하고 있습니다. IBM Cloud 위에서 NVIDIA HGX B300 시스템과 NVIDIA Spectrum-X 이더넷 네트워킹을 활용하여, IBM과 Together AI는 실시간 AI 서비스에 필요한 성능, 효율성 및 규모를 갖춘 오픈소스 AI 배포를 지원할 가속화 컴퓨팅 플랫폼을 제공할 것입니다.”

— Dion Harris, NVIDIA HPC 및 AI 인프라 솔루션 수석 이사