컴퓨트·클라우드 · 리포트

Together AI가 오픈소스 AI 모델의 지속적 최적화를 위한 Together Compiler를 출시했다.

지속적인 모델 최적화는 Together AI의 추론 플랫폼에 소프트웨어 차별화 요소를 더하며, 이를 통해 오픈 모델 워크로드를 두고 다른 컴퓨팅 제공업체들과 경쟁하고 있다.

업계 전문지Slicast · 2026년 11월 4일 13:01 UTC · 미국 · 출처: Post Register

중요도 35

샌프란시스코--(BUSINESS WIRE)--2026년 11월 4일--AI 네이티브 클라우드인 Together AI가 오늘 Together Compiler를 발표했습니다. Together Compiler는 AI 에이전트 팀을 활용해 자사가 서비스하는 모델의 기반이 되는 GPU 코드를 다시 작성합니다. 이제 새로운 오픈소스 모델이 몇 주가 아니라 하룻밤 사이에 더 빨라지며, 고객이 추가로 작업할 필요도 없습니다. Together Compiler는 재귀적 자기 개선 추론을 향한 첫걸음이며, 하루에 수조 개의 토큰을 처리합니다.

오늘날 AI 워크로드는 빠르게 변화하고 있습니다. 새로운 모델이 자주 출시되고, 모델 아키텍처는 점점 더 다양해지며, 트래픽 분포도 빈번하게 바뀝니다. OpenRouter 트래픽의 80%는 최근 3개월 내에 출시된 모델로 향하며, OpenRouter에서 가장 인기 있는 오픈 모델 10개는 각각 다른 아키텍처를 사용합니다. 이처럼 역동적인 AI 추론 환경에 대응하기 위해 Together Compiler는 에이전트를 사용해 새로 배포되는 모델을 지속적으로 최적화합니다.

에이전트가 실제 운영 코드를 최적화할 수 있다는 것은 이미 입증되었지만, 그 변경 사항을 검증하는 데에는 비용이 많이 듭니다. 기존 시스템에서는 에이전트 한 번의 수정 사항을 추론 엔진에서 검증하는 데 최대 15분이 걸릴 수 있습니다. Together Compiler의 새로운 설계는 에이전트의 반복 속도를 극대화하여, 추론 최적화에 에이전트를 사용하는 기존 시스템보다 252배 많은 실험을 수행하면서도 고가의 GPU를 충분히 활용하도록 합니다. 에이전트 처리량이 높아지면 24시간 안에 최첨단 수준의 최적화 결과를 얻을 수 있으며, 이를 즉시 프로덕션에 배포할 수 있습니다. Together Compiler는 현재 수조 개의 토큰을 처리하고 있습니다.

Phonic의 공동창업자 Moin Nadeem은 "Together Compiler를 실행한 후 첫 음성 응답까지 걸리는 중앙값 시간이 거의 50% 줄었고, 그 변화가 하룻밤 사이에 일어났습니다."라고 말했습니다. "Phonic-1을 그렇게 빠르게 최적화할 수 있었기 때문에 더 빨리 제품을 출시할 수 있었습니다. 우리는 2년 넘게 Together AI의 고객이었으며, 그들이 성능을 끌어올릴 새로운 방법을 계속 찾아가는 만큼 앞으로도 함께 개발해 나가기를 기대합니다."

인기 오픈 모델을 대상으로 한 테스트에서 Together Compiler는 다음과 같은 결과를 보였습니다.

- 모델과 칩에 관계없이 하루 이내에 튜닝 완료: Kimi K3와 GLM 5.3에서 Together Compiler는 오픈 추론 벤치마크인 SemiAnalysis의 InferenceX에서 기록된 최고 결과보다 각각 1.5배, 1.4배 높은 최고 처리량을 달성했습니다.

- 테스트한 모든 길이에서 전문가가 직접 튜닝한 코드를 능가하는 AI 작성 최적화 달성: Llama 1B에서 Together Compiler는 초당 2,100개 이상의 토큰을 처리했으며, Together AI 자체 제작 코드를 포함한 수작업 메가커널보다 최대 1.8배 빨랐습니다. NVIDIA H100과 B200 GPU 모두에서 테스트한 모든 출력 길이에서 가장 빨랐습니다.

- 단일 사용자 속도 기록 경신: MiniMax M3.1 Flash는 NVIDIA B200 GPU에서 초당 1,066개의 토큰을 처리하여 기준선보다 1.5배 빨랐습니다. DeepSeek v4.1 Flash는 NVIDIA GB300에서 초당 1,163개의 토큰을 처리하여 기준선보다 1.2배 빨랐습니다.

Together AI의 리서치 수석 부사장(Founding SVP of Research) Dan Fu는 "오늘날 대부분의 추론은 GPU가 실제로 낼 수 있는 성능의 일부만 사용하고 있으며, 새로운 모델이나 칩이 나올 때마다 이 격차는 다시 벌어집니다."라고 말했습니다. "모델은 몇 주마다 바뀌고, 종종 새로운 아키텍처를 도입합니다. 이 격차를 영구적으로 해소하려면 같은 속도로 적응하고 시간이 지나도 변화를 따라가는 추론이 필요합니다. Together Compiler는 자기 개선형 추론 스택을 향한 첫걸음입니다."

Together Compiler는 Together AI가 Polymorphic Inference(다형성 추론)라고 부르는 더 큰 이니셔티브의 첫 번째 프로젝트이며, 추론 워크플로를 위한 재귀적 자기 개선의 한 형태입니다. 모델, 워크로드, 칩이 그 어느 때보다 빠르게 변화함에 따라 이러한 워크로드를 위한 추론은 자주 튜닝되어야 합니다. Polymorphic Inference는 AI 에이전트가 실행 시스템을 지속적으로 개선하여 스스로 적응하는 추론을 위한 Together AI의 연구 의제입니다.

Together AI의 AI 시스템 리서치 SVP인 Simran Arora는 "목표가 명확하게 정의되어 있을 때 AI 에이전트는 수학, 공학, 과학 분야의 목표를 점진적으로 개선하는 데 효과적입니다."라고 말했습니다. "Together AI가 직면한 핵심 과제는 우리의 트래픽 형태, 즉 최적화 대상이 끊임없이 변한다는 점입니다. 이를 위해서는 지속적인 추론 컴파일과 최적화가 필요합니다. 우리는 Together의 추론 서비스 안에서 트래픽 변화, 즉 ~다형성~의 속도를 따라잡는 에이전트형 추론 컴파일러를 구축하며 많은 교훈을 얻었습니다."

Together Compiler는 오늘 Together AI의 가장 인기 있는 서버리스 엔드포인트 다수에서 실행되고 있습니다. 고객은 제한된 베타에 참여하여 자체 전용 배포 환경에서 사용할 수 있으며, 셀프 서비스 접근은 곧 제공될 예정입니다.

자세한 내용은 www.together.ai/polymorphic-inference에서 확인하실 수 있습니다. Together Compiler 연구 논문은 www.together.ai/together-compiler-paper에서 볼 수 있습니다.

원문 보기