Together AI, Aramco Ventures 등의 지원으로 $8.3 billion 밸류에이션에서 $800 million Series C 완료.

투게더 AI 인크(Together AI Inc.)는 오픈소스 인공지능 모델 실행에 최적화된 클라우드 플랫폼 운영 회사로서 아람코 벤처스(Aramco Ventures)가 주도한 시리즈 C 펀딩에서 8억 달러를 모금했습니다. Nvidia Corp., Vista Equity Partners, General Catalyst 및 기타 여러 기관 투자자도 이 라운드에 참여했습니다. 이번 펀딩으로 투게더 AI는 83억 달러로 평가받습니다.

회사의 플랫폼은 개발자가 그래픽 카드나 네트워크 장비를 구성할 필요 없이 오픈소스 AI 모델을 실행할 수 있도록 하는 서버리스 추론 서비스를 포함합니다. 투게더 AI는 자사의 서버리스 환경이 가장 빠른 경쟁 솔루션 대비 약 2배의 성능을 제공한다고 주장합니다.

서버리스 추론 외에도 투게더 AI는 3가지 추가 서비스를 제공합니다. 두 가지는 더 높은 신뢰성 보장과 커스터마이제이션 옵션이 필요한 고객을 위해 전용 인프라를 제공합니다. 세 번째 서비스인 Batch Inference는 속도보다는 비용 효율성을 우선시하며, 사용자의 프롬프트에 대한 실시간 응답이 필요하지 않은 모델의 경우 최대 50% 가격 인하를 제공합니다.

플랫폼은 Nvidia 칩과 ATLAS라는 독점 소프트웨어 엔진에서 실행됩니다. 핵심은 추측적 디코딩(speculative decoding)이라는 머신러닝 기술로, AI 모델을 경량 신경망과 통합하여 고객의 워크로드를 가속화합니다. 사용자가 프롬프트를 입력하면 경량 알고리즘이 초안 응답을 빠르게 생성하고 메인 모델이 이를 검증하고 필요에 따라 수정한 후 사용자에게 전달합니다. 이 과정은 메인 모델만으로 출력을 생성하는 것보다 훨씬 더 빠릅니다.

일반적으로 고정 구성의 경량 알고리즘은 시간이 지남에 따라 정확도를 잃습니다. 투게더 AI에 따르면, 자사의 ATLAS 기술은 경량 모델을 진화하는 사용자 요구사항에 자동으로 적응시켜 이 제약을 해결합니다. 회사는 자사의 소프트웨어가 특정 추론 워크로드를 최대 400%까지 가속화할 수 있다고 주장합니다.

플랫폼은 또한 고객이 수천 개의 그래픽 카드가 포함된 훈련 클러스터를 사용하여 오픈소스 모델을 미세 조정할 수 있게 해줍니다. 개발자는 상대적으로 간단한 Kubernetes를 통해 이 클러스터를 관리하거나, 더 많은 커스터마이제이션을 제공하는 Slurm을 사용하여 관리할 수 있습니다. 투게더 AI의 훈련 클러스터는 훈련 워크플로우에 오류를 도입할 수 있는 그래픽 카드 오류를 자동으로 감지하고 복구하는 소프트웨어를 포함합니다.

회사는 2분기에 연간 예약액이 11억 5천만 달러를 초과했다고 공개했습니다. 플랫폼은 LG Inc.의 AI 연구소, Cohere Inc., 그리고 Mozilla Foundation을 포함한 수천 개의 조직에서 사용됩니다.

투게더 AI는 새로 모금된 자본을 인프라 용량 확장에 배치할 계획입니다. 회사는 향후 5년에 걸쳐 공용 클라우드 용량을 50배 확대하고, 훈련 및 추론 기능을 모두 개선할 의도를 가지고 있습니다.