OpenAI의 맞춤형 자라페뇨 가속기가 비용 대비 토큰 수와 속도 측면에서 엔비디아 GPU를 능가한 것으로 알려졌으며, 이는 서드파티 칩 제조사에게는 전례 없는 성과다.

OpenAI의 첫 번째 맞춤형 추론 칩인 Jalapeño는 비Nvidia 가속기 중에서는 최초로 달성하지 못한 성과를 거두었습니다. 성능 곡선의 모든 지점에서 처리량과 지연 시간 측면에서 Nvidia 시스템을 압도한 것입니다. SemiAnalysis에 게재된 상세 분석에서 애널리스트 Myron Xie와 호스트 Jordan Nanos는 객관적인 사양상 열세임에도 불구하고(전력 소모량은 3분의 1, 순수 연산 능력은 적고 시스템 차원의 HBM 용량은 절반) Nvidia의 GB300 대비 메가와트당 토큰 생성량이 약 두 배에 달하며, 최신 Vera Rubin을 DeepSeek, Kimi K2.5, GPT-OSS 벤치마크에서 제치는 방법을 해부했습니다. 그 비결은 단순히 실리콘에만 있는 것이 아닙니다. TPU 영감을 받은 아키텍처로 의도적으로 작은 systolic 배열을 채택했고, 삼성의 예상보다 우수한 HBM4 공급이 뒷받침되었으며, 가장 중요한 것은 AI 기반 설계 및 커널 프로그래밍 파이프라인으로 개발 기간을 9개월로 압축하고 OpenAI 자체 엔지니어들도 완전히 설명할 수 없는 3만 줄 분량의 어셈블리 커널을 산출해냈다는 점입니다. 총 소유 비용(TCO) 계산 결과는 극명합니다. Jalapeño 시스템의 내부 비용을 시간당 $1.56, GB300은 $279, Vera Rubin은 $361로 가정할 때, OpenAI는 Broadcom의 ASIC 수수료를 선호하며 Nvidia의 마진을 거의 모두 제거할 수 있습니다. 여전히 열린 질문은 OpenAI가 벤치마크 승리를 실제 생산용 메가와트 규모로 확장할 수 있느냐는 것인데, 이는 Cerebras조차 아직 해결 중인 과제이지만 이동 방향은 명확합니다. CUDA의 해자(moat)가 사라진 것은 아니지만, 처음으로 Nvidia를 이길 것이라고 약속하는 것을 넘어 실제 데이터를 공개한 신뢰할 만한 경쟁자가 등장했습니다.

Hot Chips 2026 컨퍼런스 마지막 날, OpenAI는 18개월 전이라면 상상할 수 없었던 일련의 수치를 발표했습니다. 자체 설계한 첫 번째 추론 칩인 Jalapeño는 메가와트당 토큰 처리량을 사용자별 지연 시간과 비교한 성능 곡선에서 Nvidia 시스템을 이겼습니다. 이는 하나의 선택된 작동 지점이 아닌 전체 곡선에 걸쳐 이루어진 성과였습니다. 한때 AI 가속기 스타트업들이 유리한 벤치마크 하나를 선정하고 승리를 선언하던 모습을 지켜본 사람이라면, 이러한 결과의 형태 자체가 바로 이야기입니다.

"우리는 다른 어느 곳에서도 곡선을 보여주는 차트를 본 적이 없습니다. 그 곡선 상의 모든 지점에서 Nvidia를 이기고, 진짜 테스트를 수행하는 사례요."라고 SemiAnalysis 팟캐스트에서 호스트 Jordan Nanos와 애널리스트 Bryan Shan과 함께 발언한 Myron Xie의 말이다. Xie가 데이터가 보여주는 바를 요약한 내용은 직설적입니다. "그들은 기본적으로 곡선의 양쪽 끝에서 승리하고 있습니다. 빠른 토큰 생성과 저렴한 토큰 생성 모두에서요."

이러한 이중 승리는 AI 하드웨어 분야에서 드문 조합입니다. 일반적으로 칩은 높은 처리량(와트당 가능한 많은 사용자를 서비스하되 더 높은 지연 시간을 수용) 또는 낮은 지연 시간(계산 자원이 낭비되는 대신 단일 사용자에게 즉각 응답) 중 하나로 최적화됩니다. Nvidia의 자체 제품 라인업도 이러한 긴장 관계를 구현하고 있습니다. 반면 Jalapeño는 이를 깨뜨리는 것으로 보입니다.

사용자당 초당 100개의 토큰이라는 고정 상호작용 속도에서, OpenAI 칩은 GB300 시스템 대비 메가와트당 토큰 생성량이 약 두 배에 달합니다. 곡선의 오른쪽 끝으로 나아가 배치 크기를 최소화하고 최대 반응성을 추구할 때, Jalapeño는 사용자당 초당 700개의 토큰을 달성하는 반면 경쟁사의 한계는 약 350개 수준입니다. 칩 공급보다는 전력 공급이 제약 조건인 데이터 센터 환경에서는(Computex 2026에서 Jensen Huang 자신이 강조한 지점임), 이는 직접적인 수익 창출 능력으로 이어집니다.

여기에 더 큰 데이터시트 숫자가 자동으로 더 나은 성능을 의미한다는 믿음을 가진 사람들에게는 불편한 현실이 존재합니다. 종이 위에서는 Jalapeño가 Nvidia의 Vera Rubin보다 현저히 뒤떨어져 보입니다. 순수 연산 능력이 적고, 시스템 차원의 HBM 용량이 부족하며, 열 설계 한계도 작습니다. 그럼에도 실제 추론 성능에서는 승리합니다. 분석에 따르면 그 이유는 설계 철학에 기인합니다. 대규모 토큰 생성에 중요한 것은 피크 FLOPS가 아니라 와트당 메모리 대역폭입니다. 이 지표에서 Jalapeño의 700W 패키지에 압축된 15.4 TB/s는 Rubin의 저전력 설정에서도 Vera Rubin보다 약 두 배 효율적입니다.

아키텍처는 이러한 선택을 강화합니다. Jalapeño는 TPU 영감을 받은 마이크로아키텍처를 사용하지만, Google TPU나 Amazon Trainium에서 발견되는 단단히 뭉친 블록(monolithic blocks) 대신 의도적으로 작은 systolic 배열을 사용합니다. 작은 배열은 혼합 전문가(Mixture-of-Experts) 모델과 낮은 동시성 추론 상황에서 흔히 발생하는 시나리오인 행렬 차원이 작을 때 대형 배열이 겪는 효율성 급감 문제를 피합니다. 또한 이 칩에는 일반적으로 단순한 스크래치패드 메모리에 의존하는 AI 가속기들 사이에서는 드문 기능인 L1 캐시가 포함되어 있습니다. 이로 인해 칩의 동작을 추론하기는 더 어려워지지만 실제 적용에서는 더 유연해집니다.

이러한 유연성의 증거는 다소 터무니없습니다. 이 칩은 도姆(Doom) 게임을 초당 36프레임으로 실행합니다. 이는 대규모 언어 모델(LLM) 추론에 중요한 벤치마크가 아닙니다. 중요성은 Jalapeño가 하드웨어화된 단일 모델 솔루션이 아닌 진정한 범용 추론 플랫폼임을 보여준다는 점에 있습니다. "그들은 칩을 꺼내 사용할 수 있지만 경쟁사는 그렇지 못합니다."라고 Xie는 지적했습니다. "이는 앞으로 다가올 미래를 시사하는 신호입니다."

Jalapeño 개발 과정에서 가장 주목할 만한 점은 실리콘 자체가 아닙니다. 소프트웨어를 작성한 주체—혹은 무엇—입니다.

OpenAI는 Triton 위에 레이어된 저수준 커널 프로그래밍 언어인 Gluon을 구축했습니다. Jalapeño의 성능을 주도하는 커널들은 애널리스트들의 표현대로 본질적으로 AI 생성 어셈블리입니다. SemiAnalysis 팀이 현장에 있던 OpenAI 엔지니어들과 함께 DeepSeek용 3만 줄 분량의 멀티 헤드 어텐션(MLA) 커널을 검토했을 때, 엔지니어들은 코드가 각 줄마다 무엇을 하는지 설명하지 못했습니다. 그러나 그 코드를 생성한 모델은 설명할 수 있었습니다.

"말 그대로 AI가 생성한 어셈블리가 Gluon으로 뱉어낸 것에 불과합니다."라고 Xie는 말했습니다. "저희와 함께 이 코드를 스크롤링하던 사람들은 하드웨어에 대해 상당한 지식을 가지고 있다는 점은 분명했지만, 저희에게 보여준 DeepSeek용 MLA 커널이 실제로 무엇을 하는지는 전혀 알지 못하는 듯했습니다."

이는 Jalapeño 이야기 속 덜 눈에 띄는 두 번째 혁명을 나타냅니다. 첫 번째 혁명은 칩 설계 자체에 AI를 사용하는 것이었습니다. OpenAI는 GPT-5 이전의 모델을 활용하여 설계 단계에서 SIMD 영역을 8%, 매트릭스 엔진 영역을 10% 축소했다고 주장합니다. 하지만 커널 프로그래밍 단계에서 이 접근 방식은 더욱 과감해집니다.

커널 최적화는 근본적으로 강화 학습 문제입니다. 모델에게 코드 조각, 검증 스크립트, 테스트 케이스 세트를 제공하고 반복하도록 합니다. 목적 함수는 명확합니다. 커널을 더 빠르게 실행하거나 참조 출력과 일치시키면 됩니다. 성공은 측정 가능하며, 실패는 시뮬레이션 비용이 저렴합니다. 호스트 Jordan Nanos는 이렇게 말했습니다. "모델에게 커널 성능을 개선하거나 일부 검증 스크립트 및 테스트 케이스에 대해 커널을 기능적으로 올바르게 만드는 작업을 부여한 다음, 모델이 자유롭게 시도하도록 내버려두면 됩니다."

이 능력—칩 자체가 아니라—가 OpenAI의 가장 견고한 해자가 될 수 있습니다. 최첨단 연구소들은 하드웨어 경쟁사들이 이용할 수 있는 어떤 것보다 똑똑한 모델에 접근할 수 있습니다. Anthropic, Google, Meta는 모두 맞춤형 실리콘 프로그램을 구축 중입니다. 오직 OpenAI만이 Nvidia의 최고 성능을 능가하는 칩을 설계하고 프로그래밍할 수 있는 자신의 모델을 이미 입증했습니다. "조금 아이러니하게도, Nvidia의 하드웨어가 Nvidia의 하드웨어로부터 벗어나는 것을 가능하게 했습니다."라고 호스트들은 관찰했습니다.

Jalapeño의 승리 속에 숨겨진 두 번째 이야기가 있습니다. Samsung이 조용히 HBM 경쟁을 앞서 나갔다는 사실입니다.

HBM4 세대에서 Samsung은 경쟁사가 사용하는 1B 공정에 비해 더 진보된 1C DRAM 공정을 사용하고 있으며, 베이스 다이에는 SK Hynix와 Micron의 12nm TSMC 공정 대비 4nm 로직 공정을 적용했습니다. 그 결과 10 Gb/s의 핀 속도를 달성했으며, 이는 Nvidia의 Rubin에서 예상되는 약 9.6 Gb/s보다 앞선 수치입니다.

역사적 맥락은 이를 특히 주목할 만하게 만듭니다. SK Hynix는 AMD와 함께 게임용 GPU를 위해 HBM을 발명했습니다. Samsung의 HBM3E는 광범위하게 열등하다고 간주되었고, Broadcom의 전통적인 Samsung 메모리 선호도는 해당 세대 동안 결함으로 여겨졌습니다. HBM4에서는 그 선호도가 자산이 되었습니다. 호스트들이 지적하듯, 이는 부분적으로 기술이고 부분적으로 운입니다.

대역폭과 용량의 균형도 변화하고 있습니다. HBM 웨이퍼 공급이 제한적이고 점점 더 비싸지면서, 낮은 스택 높이가 더 매력적이 되고 있습니다. 대역폭은 스택 높이에 따라 변하지 않습니다. 4층 스택은 12층 스택과 동일한 속도를 제공합니다. 필요하지 않은 용량에 지불하면 대역폭 단위당 비용이 악화됩니다. 이는 총 메모리 용량이 과거보다 덜 제약 조건인 랙 스케일 아키텍처로의 전반적인 산업 움직임과 일치합니다.

총 소유 비용(TCO) 비교는 Nvidia에 대한 전략적 압박이 부인할 수 없을 정도로 명확해지는 지점입니다.