OpenAI의 독점 Jalapeño 추론 칩이 경쟁 가속화 설계 대비 성능 벤치마크를 상회하는 성과를 입증했다.

OpenAI는 자체 개발 첫 맞춤형 AI 추론 칩인 Jalapeño의 벤치마크 결과를 공개하며, 효율성과 속도 측면에서 업계 최고 수준의 성능 향상을 입증했습니다. 회사 데이터에 따르면, Jalapeño는 NVIDIA의 GB300급 시스템 대비 킬로와트당 처리량이 1.5배에서 1.9배 더 높고, 지연 시간은 최대 3.6배 낮습니다. 이러한 개선 사항은 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T와 같은 대규모 언어 모델을 비롯한 AI 추론 능력의 중요한 진전을 의미합니다.

Broadcom와의 협업을 통해 2026년 6월 24일 처음 발표된 Jalapeño는 OpenAI가 맞춤형 실리콘 개발 분야에 전략적으로 진출했음을 보여줍니다. 범용 GPU와 달리 이 칩은 ChatGPT를 구동하는 모델을 포함하여 사전 훈련된 AI 모델 실행 전용으로 설계되었습니다. 추론 워크로드에 최적화된 Jalapeño는 전력 소비를 최소화하고 응답 시간을 단축합니다. NVIDIA의 프로그래밍 가능한 GPU와 광범위한 생태계가 더 넓은 AI 하드웨어 시장을 지배하고 있지만, Jalapeño의 전문화된 아키텍처는 OpenAI에게 내부 운영을 위한 뚜렷한 경쟁 우위를 제공합니다.

8월 25일 출시된 벤치마크 결과는 Jalapeño가 이전에는 불가능했던 효율성으로 상호작용형 AI 작업을 처리할 수 있는 능력을 강조합니다. 가장 크게 테스트된 모델인 Kimi K2.5에서 이 칩은 와트당 피크 성능이 1.5배 높았고, 경쟁 시스템 대비 엔드투엔드 지연 시간이 3.4배 감소했습니다. 이러한 지표는 실시간 채팅봇 상호작용과 같은 고부하 애플리케이션을 관리하면서도 에너지 비용을 크게 절감할 수 있는 능력을 보여주며, 이는 전 세계 AI 채택이 가속화됨에 따라 매우 중요한 고려 사항입니다.

OpenAI의 엔지니어링 팀은 Jalapeño의 개발 주기를 가속화하는 데 인공지능 자체가 기여했다고 평가했습니다. 내부 AI 도구를 활용하여 팀은 초기 설계부터 테이프아웃까지 단 9개월 만에 진행했습니다. AI는 칩의 회로 최적화 및 프로그래밍에도 직접적인 역할을 하여 더 빠른 배포와 향상된 성능을 가능하게 했습니다. 특히 특정 모델 블록을 위한 AI 생성 구현체는 인간이 작성한 코드보다 1.5배에서 1.8배 더 우수한 성능을 발휘하여 개발 프로세스를 더욱 간소화했습니다.

Jalapeño는 외부 판매용으로 제공되지 않지만, OpenAI 인프라에 통합됨으로써 상당한 운영상의 이점을 가져올 것으로 예상됩니다. 빠르고 전력 효율적인 추론은 컴퓨팅 비용을 절감하고 서비스 용량을 확장하여 회사의 운영 레버리지 향상에 직접적으로 기여합니다. 두 번째 세대(Gen 2) 및 세 번째 세대(Gen 3) 칩이 이미 개발 중이며, OpenAI는 맞춤형 실리콘을 장기적인 전략적 해자로 강화하고 있습니다.

더 넓은 반도체 환경에서 Jalapeño의 성능은 Google의 Tensor Processing Units(TPU)에 대한 OpenAI의 강력한 경쟁력을 시사하지만, 사용 사례는 다릅니다. Google TPU는 학습과 추론 모두를 지원하며 Google Cloud를 통해 상업적으로 제공되는 반면, Jalapeño는 엄격히 내부용 추론 가속기로 남아 있습니다. 마찬가지로 NVIDIA GPU는 다양성과 생태계 호환성 측면에서 업계 표준 지위를 유지하고 있지만, Jalapeño의 좁은 특화는 표적화된 워크로드에 대해 더 우수한 효율성을 제공합니다.

OpenAI는 올해 말까지 계산 인프라 전반에 걸쳐 Jalapeño를 대량으로 배포할 계획입니다. 회사가 플랫폼을 계속 정제하고 기능을 확장함에 따라, Jalapeño는 비용과 환경 영향에 대한 엄격한 통제를 유지하면서 급증하는 글로벌 AI 기반 애플리케이션 수요를 충족하기 위한 중요한 단계로 자리매김하고 있습니다.