OpenAI의 독점 Jalapeño 가속기는 강력한 추론 벤치마크를 달성하며 업계 표준 대비 맞춤형 실리콘 설계의 타당성을 입증했다.
OpenAI의 첫 번째 맞춤형 AI 가속기인 Jalapeño가 공개 벤치마크에 진입하며, 대규모 모델 추론에서 비용과 지연 시간을 절감하려는 회사의 의도를 업계가 가장 명확하게 파악할 수 있는 기회를 제공했다. 대형 언어 모델 추론을 위해 특별히 설계된 이 1세대 칩의 주요 성능 비교 결과는 SemiAnalysis가 테스트한 워크로드와 시스템 구성에 기반하고 있다.
Broadcom와의 파트너십으로 개발되고 Celestica가 보드, 랙 및 시스템 통합 전문성을 제공한 Jalapeño는 2026년 말까지 도입될 다세대 컴퓨팅 플랫폼의 첫 번째 제품으로 6월에 공개되었다. SemiAnalysis의 InferenceX 벤치마크에서 새로 나온 결과는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 실행하는 상용 가속기 시스템 대비 Jalapeño의 성능을 평가한다. OpenAI에 따르면 해당 칩은 기준 시스템 대비 킬로와트당 최대 혼합 토큰 처리량이 더 높고 토큰 지연 시간이 감소했다.
ifanr의 보고서에는 상세 수치와 차트가 재현되어 있다. 8K 토큰 입력과 1K 토큰 출력을 특징으로 하는 DeepSeek R1 테스트에서 전체 지연 시간은 비교 시스템의 5.99초에서 Jalapeño의 1.65초로 떨어졌다. 마찬가지로 생성된 토큰 간의 최소 간격은 5.90ms에서 1.43ms로 줄었다.
이러한 발견 사항을 모든 워크로드에서 Jalapeño가 모든 GPU보다 우수하다는 것을 시사하기 위해 외삽해서는 안 된다. 추론 성능은 모델 아키텍처, 배치 크기, 양자화, 지연 시간 목표, 소프트웨어 스택, 랙 설계 및 전력 계측 방법론에 따라 변동된다. SemiAnalysis는 OpenAI 엔지니어들과 함께 테스트를 수행했으며, 이는 비교 결과가 벤치마크에서 공개된 특정 하드웨어와 구성을 엄격하게 반영함을 의미한다. OpenAI의 측정 결과 자체 분석도 이러한 신중한 입장을 반영하여, 제한 없는 성능 주장을 하지 않고 테스트된 모델에서의 처리량과 지연 시간 개선을 강조한다.
훈련 중심 칩과는 달리 Jalapeño는 추론 전용으로 구축되었다. LLM 추론은 일반적으로 초기 프롬프트를 처리하는 계산 집약적인 prefill 단계와 토큰을 생성하면서 모델 가중치와 키-값 캐시 데이터를 지속적으로 이동시키는 decode 단계를 반복한다. 이를 해결하기 위해 OpenAI는 데이터 이동을 최소화하고 계산, 메모리, 네트워킹 자원 간의 균형을 최적화하는 아키텍처를 설계하여 실제 배포에서 칩의 이론적 성능을 더 많이 확보하고자 했다. SemiAnalysis에 따르면 칩은 216GiB의 HBM4 메모리와 15.4TB/s의 메모리 대역폭을 갖추고 있으나, 이러한 상세 사양은 OpenAI의 초기 발표 자료보다는 연구 기관에서 비롯된 것이다.
아키텍처는 계산과 메모리 자원을 분할하여 모델 데이터를 처리 중인 코어 근처에 유지하며, 데이터가 다른 영역을 가로질러야 할 때만 고속 인터커넥트에 의존한다. 이러한 설계 철학은 전통적으로 계산 유닛, 메모리 및 인접 가속기 간에 데이터를 셔틀링하는 데 소요되는 에너지와 시간을 줄이는 데 중점을 둔다. SemiAnalysis가 보고한 전력 지표는 정격 용량이 700W이며 테스트 중 지속 소비량은 550W 미만임을 나타낸다. 독자들은 전력 측정 수준(칩, 보드, 서버 또는 시설 수준)에 따라 와트당 성능 비교가 달라질 수 있음을 유의해야 하며, 벤치마크 차트를 평가하려면 해당 벤치마크가 명시한 'all-in utility' 방법론을 준수해야 한다.
OpenAI는 Jalapeño가 초기 설계부터 제조 테이프아웃까지 단 9개월 만에 진행되었음을 밝혔다. 회사는 이러한 가속화된 일정에 대해tight한 소프트웨어-하드웨어 공동 개발, Broadcom의 구현 전문성, 그리고 설계 탐색, 검증 및 최적화의 일부 단계에서 내부적으로 OpenAI 모델을 사용했음을 그 이유로 꼽는다. 중요한 점은 이 9개월 기간이 설계부터 테이프아웃까지의 단계만을 포함하며, 후속 단계인 제작, 패키징, 기동, 검증, 소프트웨어 활성화 및 생산 자격 증명은 제외됨을 명확히 해야 한다는 것이다.
ifanr의 타임라인 복원에 따르면, OpenAI는 2026년에 첫 실리콘을 수령하고 하드웨어 기동 및 모델 적응에 몇 달을 할애했다. 해당 출판물은 가속기의 원래 활성화 범위를 벗어난 워크로드 포팅을 위해 Codex와 미공개 내부 모델을 활용했다고 언급한다. 이러한 구체적인 시기와 도구 관련 세부 사항은 OpenAI의 공식 커뮤니케이션을 넘어선 제3자 보도로 이해되어야 한다.
협력 체계는 책임을 명확히 구분한다. OpenAI는 가속기 아키텍처와 모델 서빙 워크로드에 대한 심층 전문성을 제공하고, Broadcom는 Tomahawk 네트워킹 컴포넌트를 포함한 실리콘 구현, 네트워킹 및 연결 기술을 담당하며, Celestica는 보드, 랙 및 전체 시스템의 산업화를 주도한다. 이 파트너십은 10기가와트의 OpenAI 설계 가속기 및 네트워킹 인프라로 확장되는 광범위한 이니셔티브를 지원한다. Broadcom의 2025년 발표에 따르면 초기 랙 도입은 2026년 하반기에 시작되어 2029년까지 이어질 예정이다.
전략적으로 Jalapeño는 OpenAI가 추론 스택에 대해 더 많은 수직적 통제를 갖도록 한다. 특정 서빙 패턴에 맞춰진 프로세서는 ChatGPT, Codex 및 개발자 API와 같은 서비스에 대한 운영 비용 절감, 용량 확대 및 응답 시간 단축을 약속한다. 그러나 이러한 이점을 실현하는 것은 생산 수율, 시스템 신뢰성, 소프트웨어 성숙도, 그리고 통제된 벤치마크 결과가 라이브 확장 배포로 얼마나 잘 전환되느냐에 달려 있다.
따라서 Jalapeño의 초기 벤치마크 결과는 매우 중요하지만 결정적인 것은 아니다. 이들은 1세대 맞춤형 가속기가 엄격한 추론 시나리오에서 경쟁할 수 있음을 입증한다. 더 넓은 업계 결론은 궁극적으로 더 다양한 모델, 지연 시간 목표 및 완전히 통합된 데이터 센터 환경 전반에 걸쳐 재현 가능한 테스트에 달려 있을 것이다.
출처: OpenAI의 Jalapeño 발표; OpenAI 벤치마크 논평; SemiAnalysis InferenceX; Broadcom; and ifanr.