OpenAI의 맞춤형 Jalapeño 추론 가속기는 표준 GPU 대비 토큰당 추론 비용을 대폭 절감함으로써 단위 경제 구조를 재편하고 있다.

OpenAI는 자체 개발 추론 칩인 Jalapeño의 첫 번째 측정 결과를 공개했다. 세 가지 오픈 가중치 모델에 걸쳐 OpenAI는 Jalapeño가 최대 처리량에서 와트당 AI 작업량을 1.5배에서 1.9배 더 많이 처리하며, 참조 시스템 대비 종단 간 지연 시간을 1.7배에서 3.6배 낮췄다고 보고했다. 독립적인 보도는 이러한 주요 수치를 뒷받침하면서도 두 가지 중요한 주의사항을 강조한다. 첫째, 벤치마크는 현재 사용 가능한 하드웨어를 대상으로 실행되었으며, 둘째, Jalapeño는 학습이 아닌 추론 전용으로 설계되었다는 점이다.

이 벤치마크는 워크플로우 중 사용자-facing 부분인 추론에 초점을 맞춘다. 여기에는 프롬프트 처리 및 응답 생성이 포함된다. OpenAI는 SemiAnalysis의 공개 InferenceX 프레임워크를 사용하여 Jalapeño를 평가했는데, 이 도구는 고립된 연산 성능 극대화가 아닌 전체 모델 서빙 파이프라인을 측정하도록 설계되었다. 지연 시간, 처리량, 전력 소비를 동시에 포착함으로써 이 방법론은 실제 세계 성능, 특히 다수의 순차적 모델 호출에 의존하는 AI 에이전트의 성능에 대해 더 현실적인 그림을 제공한다.

OpenAI에 따르면 Jalapeño는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 전반에 걸쳐 처리량과 지연 시간의 우월한 균형을 달성했다. 구체적으로 비교 시스템 대비 Kimi K2.5 1T에서 와트당 약 1.5배 높은 최대 성능과 3.4배 낮은 종단 간 지연 시간을 보였다. 진정한 가치는 벤치마크 순위 그 이상에 있다. 동일한 전력 제약 내에서 더 많은 양의 요청을 서빙할 수 있는 능력에 있다.

TechCrunch은 비교 기준선에 Nvidia Blackwell 시스템이 포함되었음을 지적하면서, Jalapeño가 광범위하게 도입되기 전에 경쟁 하드웨어가 크게 진화할 수 있음을 경고했다. OpenAI는 아직 고객 가격, 플릿 할당, 또는 사용자가 측정 가능한 제품 수준의 개선을 볼 수 있는 시기에 대한 타임라인을 공개하지 않았다. 따라서 구매자는 이러한 수치를 즉각적인 비용 절감의 신호가 아니라 신뢰할 만한 기술적 검증으로 간주해야 한다.

수직 통합은 뚜렷한 장점을 제공한다. 모델 제공자가 전체 서빙 스택을 통제할 경우 실제 워크로드에 맞게 메모리 배치, 네트워킹, 소프트웨어를 최적화할 수 있다. OpenAI는 Jalapeño가 모델 상태를 로컬로 유지하고 계산 집약적인 prefill 단계와 메모리 바운드 decode 단계를 전략적으로 균형 잡는다고 밝혔다. 이러한 아키텍처상의 이점이 프로덕션 배포 동안에도 유지된다면 OpenAI는 지연 시간, 용량 계획, 이익 마진에 대해 훨씬 더 큰 통제를 얻게 되며 광범위한 범용 가속기 시장에 대한 의존도를 줄일 수 있다.

Axios와 TechCrunch이 강조했듯이 Jalapeño는 최첨단 모델을 학습시키기 위한 것이 아니라 엄격히 추론용으로 설계되었다. 두 매체 모두 이 칩을 Nvidia에 대한 OpenAI의 의존도를 완전히 제거하기보다는 부분적으로 상쇄하기 위한 전략적 조치로 특징짓는다. 공급망 집중도를 평가하는 조직에게는 모델을 학습시키는 데 사용되는 실리콘과 이를 서빙하는 데 필요한 인프라를 명확히 구분하는 것이 여전히 중요하다.