Baseten announced a partnership with OpenAI to offer open-model inference through the OpenAI B2B Marketplace.

Baseten은 OpenAI의 B2B 마켓플레이스에서 최초의 오픈 모델 추론 제공자 중 하나가 되었습니다. 이 파트너십을 통해 OpenAI 엔터프라이즈 고객들은 기존 OpenAI 약정을 사용하여 Baseten이 제공하는 오픈 모델에 접근할 수 있으며, Codex 내에서 또는 Responses API를 통해 이용할 수 있습니다.

이 통합은 멀티 모델 에이전트 코딩 워크플로우를 운영하는 엔터프라이즈를 대상으로 합니다. 여기서 엔지니어링 팀은 비용, 품질, 성능 트레이드오프를 기반으로 다양한 모델로 작업을 라우팅합니다. 에이전트 코딩은 글로벌 규모의 첫 번째 멀티 모델 워크플로우로 부상했으며, 팀들은 정적 또는 적응형 라우터를 사용하여 각 작업을 최적의 모델과 매칭합니다.

상위 엔지니어링 팀들은 현재 지능, 비용, 레이턴시 및 용량에 걸친 파레토 프론티어에서 운영됩니다. 어떤 단일 모델도 장시간 모든 작업에 최적의 도구로 남아있지 않습니다. 오픈 및 클로즈드 모델은 주 단위로 측정되는 주기로 출시되므로, 기업들은 빠르고 안정적인 추론으로 최신 옵션에 대한 즉각적인 접근을 유지해야 합니다.

Baseten의 인프라는 이러한 환경을 위해 구축되었습니다. 이 회사는 20개 이상의 클라우드에 걸쳐 90개 이상의 클러스터를 운영하며, 활성-활성 배포를 통해 작업을 중지하지 않고 제공자 또는 지역의 장애 시 트래픽을 재라우팅합니다. 200개 이상의 컴퓨팅 제공자와의 관계는 Baseten이 수요를 앞서 용량을 확보할 수 있는 위치에 있습니다.

코드 생성 워크로드는 추론 스택의 모든 구성 요소에 부담을 줍니다. 여러 턴, 대규모 저장소에 걸친 긴 프롬프트, 거대한 컨텍스트 윈도우는 도구에서 엔진 수준까지 성능 병목을 만듭니다. Baseten의 풀스택 최적화는 파이프라인 전체에서 이러한 제약을 다룹니다.

이 제공 서비스는 출시 첫날 모델 접근을 포함합니다. 새로운 오픈 모델이 코딩 벤치마크에서 선도할 때, Baseten은 이 모델이 출시되는 당일 Model APIs에 출시하므로, 최신 프론티어 모델을 평가하기 위해 단순히 한 줄의 코드를 업데이트하는 것만큼 간단합니다.

에이전트 코딩의 경우, 현재 Baseten의 일부인 Blaxel은 모든 에이전트에 자신이 작성한 코드를 실행할 수 있는 자체 샌드박스를 제공합니다. 엔터프라이즈 거버넌스 기능에는 미국 기반 인프라, 모든 프롬프트에 대한 제로 데이터 보관, 지역 고정 배포, 세분화된 인증 및 권한 부여 제어가 포함됩니다.

이 파트너십은 AI 인프라 시장의 광범위한 변화를 반영합니다. 엔터프라이즈가 단일 모델 실험에서 프로덕션 멀티 모델 시스템으로 이동함에 따라, 라우팅 계층을 제어하는 회사들이 가치를 포착합니다. Baseten은 조직이 자신의 도구를 재구축하지 않고도 오픈 및 클로즈드 모델 전반에서 최적화할 수 있게 하는 인프라 계층으로 자신을 포지셔닝합니다.

OpenAI 엔터프라이즈 고객의 경우, 이 파트너십은 별도의 조달이나 통합 작업 없이 GPT 모델과 함께 오픈 모델을 평가할 수 있는 경로를 제공합니다. 엔터프라이즈는 Baseten의 대기 목록에 참여하여 OpenAI 약정을 통해 Codex에서 오픈 모델에 네이티브로 접근할 수 있으며, 또는 기타 사용 사례에 대한 직접 엔지니어링 컨설팅을 위해 회사에 문의할 수 있습니다.