Together AI는 자사 플랫폼의 프로덕션 추론 워크로드에 지속적 컴파일 기술을 도입했다.

Together AI는 2026년 11월 4일 Polymorphic Inference를 발표하며, 그 첫 번째 구현체로 Together Compiler를 공개했습니다. 이 에이전트 기반 시스템은 변화하는 모델, 트래픽, 하드웨어에 맞춰 추론 최적화를 지속적으로 재조정하며, 이미 회사의 주요 프로덕션 추론 워크로드 다수와 일부 인기 서버리스 엔드포인트에서 작동하고 있습니다.

Together AI에 따르면, Kimi K3, GLM 5.3, MiniMax M3.1-Flash, DeepSeek v4.1-Flash를 대상으로 한 테스트에서 Together Compiler는 24시간 이내에 고도로 최적화된 오픈소스 기준선 대비 1.3배에서 3배 높은 초당 토큰 처리량을 달성했습니다. 이러한 결과는 이번 발표의 핵심 명제를 보여줍니다. 즉, 최적화는 출시 시점에 고정된 일회성 수동 튜닝이 아니라 배포 환경에 묶인 지속적인 탐색 과정이 될 수 있다는 것입니다.

**변화하는 모델, 트래픽, 하드웨어에 대응하기**

Polymorphic Inference는 더 빠른 모델 출시, 다양한 아키텍처, 변화하는 트래픽 형태와 서비스 수준 요구사항, 그리고 더 잦은 하드웨어 변경에 적응하는 서빙 인프라를 가리키는 Together AI의 용어입니다. 이와 대비되는 정적 접근법은 고정된 엔진 구성에서 출발합니다. 특정 환경에 맞춰 튜닝된 구성이 다른 환경에서도 적합하다는 보장은 없으며, 특히 모델 동작과 요청 분포가 변할 때 그러합니다.

회사의 프로덕션 관찰 결과는 구체적인 사례를 제공합니다. Together AI는 한 국가의 업무 시간대 프롬프트가 약 97,000 토큰에 달한 반면 다른 지역에서는 70,000 토큰이었다고 보고했으며, 한 모델 출시 후 2주 동안 사용량이 에이전트형 워크로드로 옮겨가면서 프롬프트 길이가 80% 증가했다고 밝혔습니다. 고객 트래픽 급증은 프롬프트 길이를 두 배로 늘리고 캐시 적중률을 낮출 수 있으며, 이는 기존 구성이 튜닝되었던 조건 자체를 바꿔 놓습니다.

이번 발표는 또한 연산을 단일 커널로 융합하는 메가커널에 대해 Together AI가 이전에 강조했던 입장을 수정합니다. 초기 버전을 프로덕션에 적용한 뒤 회사는 융합만으로는 보편적인 설계 목표가 될 수 없다고 결론지었습니다. 전문가 혼합(mixture-of-experts) 아키텍처와 동적 워크로드에는 다른 기법이 필요할 수 있기 때문입니다. 고정되었거나 무작위인 트래픽을 기준으로 개발된 커널 역시, 데이터에 따라 달라지는 라우팅이 어떤 최적화가 유리한지를 바꾸는 실제 프로덕션 트래픽에서는 잘못 보정될 수 있습니다.

**지속적 컴파일의 작동 방식**

Together Compiler는 트래픽 형태, 모델, 하드웨어를 입력으로 받은 뒤, 에이전트를 사용해 추론 엔진을 위한 최적화 후보를 생성하고 측정합니다. 지속적으로 실행되는 엔진은 모델을 한 번만 로드하고, 전체 엔진을 재시작하지 않고도 후보 순방향 연산(forward pass)을 핫 리로드합니다. 병렬로 작동하는 에이전트들은 후보를 생성하며 메시지 보드를 통해 소통하고, 다른 에이전트가 추론하거나 도구를 사용하는 동안에도 실험이 대기열에서 이어지도록 합니다.

실험 규모와 현실성의 균형을 맞추기 위해 두 단계의 측정 체계가 사용됩니다. 빠른 엔진은 빠른 반복과 분산이 낮은 시간 측정을 위해 일부 레이어만 로드하고, 느린 엔진은 더 많은 레이어를 로드해 후보가 현실적인 데이터 분포에서도 유지되는지 검증합니다. 별도의 비용 모델은 하드웨어 사양, 마이크로벤치마크, 측정된 순방향 연산을 결합하여, 에이전트가 후보를 최적화하는 데 시간을 쓰기 전에 병렬화 구성 탐색 범위를 줄입니다.

기술 논문에 따르면, 우수한 후보는 서빙에 투입되기 전에 KV 캐시 오염과 출력 품질에 대한 검증 테스트를 거칩니다. 이 검사는 최적화 예산이 소진된 뒤, 서빙 엔진에 통합할 최종 소스 코드를 준비하는 단계에서 실행됩니다.

출시 게시물의 시작 시간 비교에 따르면, 기존 방식의 순서는 서빙 준비까지 467초가 걸리는 반면 Together Compiler의 설정에서는 9.0초가 걸립니다. 이 수치는 개별 요청 지연 시간이 아니라 최적화 과정 중의 엔진 시작 시간을 나타내며, 핫 리로드가 이 시스템의 실험 처리량에 핵심적인 이유를 보여 줍니다.

**평가 범위와 고객 접근**

엔진 비교를 위해 논문은 2026년 10월 30일 기준의 주요 공개 구성을 사용했으며, 에이전트형 최적화의 효과를 분리해 측정할 때 기준 병렬화 전략은 고정했습니다. Trainium2는 표준 평가 워크로드에서 공개된 예외였는데, 이는 사용 가능한 HBM 용량 내에서 더 높은 동시성을 아직 지원하지 못했기 때문에 합성 다중 턴 데이터셋을 사용했습니다.

Together AI는 최적화 결과의 일부를, 기준 에이전트형 재귀적 자기 개선(recursive self-improvement) 최적화 시스템보다 252배 높은 실험 처리량에 기인한다고 설명합니다.

논문은 언어 모델 추론을 넘어, 테스트된 기상, 생물학, 시계열, 편미분방정식 모델에서 1.5배에서 6.4배의 속도 향상을 보고하며, 명시된 평가에서 비트 단위로 동일한 출력을 유지했다고 밝혔습니다.

최종 고객은 제한된 베타를 통해 조기 접근을 요청할 수 있습니다. Together AI는 전용 엔드포인트의 원클릭 최적화를 계획하고 있으며, 연구 로드맵에는 도메인, 요청, 토큰, 트래픽 부하에 따라 적응하는 추측 디코딩(speculative decoding)과, 이기종 서버리스 트래픽을 위한 워커 및 배포 구성 간 동적 라우팅이 포함되어 있습니다.

이번 출시는 보편적으로 최적인 커널이 아니라 배포별 측정을 Together AI 추론 스택의 핵심 원리로 삼습니다. 고객에게 당장 중요한 질문은, 제한된 베타가 자사의 모델, 트래픽, 하드웨어에서 보고된 성능 향상을 같은 품질 검사를 통과하면서 재현할 수 있는지 여부입니다. 바로 이러한 변동성을 해결하는 것이 지속적 컴파일이 설계된 목적입니다.