Together AI, Polymorphic Inference와 Together Compiler를 공개하며 AI 추론의 지속적 최적화를 목표로 한다고 밝혔다.
Together AI는 빠르게 진화하는 오픈소스 모델, 다양한 아키텍처, 동적인 작업 부하 환경에 맞춰 적응하도록 설계된 AI 추론의 새로운 접근법인 Polymorphic Inference를 발표했습니다. 회사는 또한 추론 성능의 지속적인 최적화를 가능하게 함으로써 이러한 비전을 실현하는 핵심 도구인 Together Compiler를 함께 선보였습니다.
**Polymorphic Inference란 무엇인가?**
그리스어로 "많은 형태"를 뜻하는 말에서 유래한 Polymorphic Inference는 전통적인 Static Inference 패러다임에서 벗어나는 전환을 의미합니다. 특정 조건에 맞춰 최적화된 고정 구성에 의존하는 Static Inference와 달리, Polymorphic Inference는 모델 아키텍처, 트래픽 패턴, 하드웨어 플랫폼의 변화에 동적으로 적응합니다. Together AI는 이러한 전환을 이끄는 몇 가지 업계 동향을 제시했습니다.
- 오픈소스 모델 출시 속도의 증가. OpenRouter 트래픽의 80%가 최근 3개월 내에 출시된 모델로 향하고 있습니다.
- 모델 아키텍처의 다양성 증가. 상위 10개 오픈소스 모델이 모두 서로 다른 설계를 採用하고 있습니다.
- 사용자 행동, 제품 변경, 학습 후 최적화에 따라 빠르게 변화하는 트래픽 형태.
- NVIDIA B200에서 GB300 GPU로의 전환과 Vera Rubin 배포의 등장을 포함한 잦은 하드웨어 발전.
회사는 Polymorphic Inference를 레거시 Static Inference와 대비합니다. Static Inference는 폐쇄형 모델, 전통적인 Transformer 아키텍처, 그리고 현대 프로덕션 환경의 요구를 충족하지 못하는 경우가 많았던 정적 구성에 의존했습니다.
**Together Compiler 소개**
Together AI는 Polymorphic Inference 이니셔티브의 일환으로, 지속적인 컴파일을 통해 추론 작업 부하를 최적화하도록 설계된 AI 기반 도구인 Together Compiler를 공개했습니다. 이 컴파일러는 전통적인 GPU 최적화 과제를 에이전트 기반 탐색 문제로 재정의하여, AI 에이전트가 다양한 작업 부하를 위해 GPU 코드를 반복적으로 다시 작성하고 개선할 수 있도록 합니다.
Together AI에 따르면 이 컴파일러는 상당한 성능 향상을 제공합니다. 회사가 보고한 테스트에서, 손으로 작성한 메가커널 대비 최대 1.7배 빠른 속도를 달성했으며, NVIDIA H100 및 B200 GPU에서 Llama 1B 모델에 대해 초당 2,100개 이상의 토큰을 처리했습니다. 또한 컴파일러는 기존 에이전트 기반 시스템보다 252배 더 많은 최적화 실험을 가능하게 하며, 24시간 이내에 배포 가능한 최적화 결과를 생성합니다.
실제 적용 사례로는 배포 시간 단축과 지연 시간 감소가 있습니다. 예를 들어, 컴파일러를 사용한 음성 에이전트 배포에서는 첫 64개 토큰을 생성하는 데 걸리는 시간이 NVIDIA B200 GPU에서 281밀리초였던 것이 H100 GPU에서 77밀리초로 줄어, 3.6배의 개선을 보였습니다. 또한 대화형 AI 기업 Phonic은 자사 Phonic-1 모델의 첫 음성 출력까지 걸리는 중앙값 시간이 거의 50% 감소했다고 보고했습니다.
**AI 추론에 대한 시사점**
Polymorphic Inference와 Together Compiler는 수동 튜닝 없이 다양하고 빠르게 변화하는 조건에 적응하는 것을 포함하여 AI 추론 생태계의 중요한 과제를 해결합니다. AI 에이전트를 활용해 추론 성능을 최적화함으로써, 회사는 프로덕션 환경에 배포되는 오픈소스 AI 모델을 위한 확장 가능하고 효율적인 솔루션을 제공하는 것을 목표로 합니다.
컴파일러 최적화 추론을 통해 매일 수조 개의 토큰을 제공하면서, Together AI는 오픈소스 AI 커뮤니티를 위한 추론 인프라 발전을 선도하는 기업으로 자리매김하고 있습니다.