TechInsights는 효율성 향상을 이끄는 OpenAI의 Jalapeño 추론 시스템 뒤의 아키텍처 결정 사항을 분석합니다.

할라페뇨(Jalapeño)는 브로드컴(Broadcom)과 공동 개발하고 TSMC의 3nm 공정을 사용하여 제조한 오픈에이아이(OpenAI) 최초의 맞춤형 실리콘 추론 칩입니다. 2026년 핫칩스(Hot Chips) 컨퍼런스에서 공개되기 두 달 전에 공식적으로 소개된 이 칩은 초기에 아키텍처와 와트당 추론 성능에서의claimed 돌파구에 대한 제한적인 공개 세부 사항만 제공했습니다.

벤치마크 결과는 큰 주목을 받았으며, 그 배경이 되는 설계 선택 사항을 검토하는 것은 이러한 성능을 해석하는 데 중요한 맥락을 제공합니다. 본 분석은 핫칩스에서 공개된 아키텍처 결정에 대한 테크인사이트(TechInsights)의 의견을 제시합니다.

그림 1 – 오픈에이아이 할라페뇨 헤드라인 (출처: OpenAI HotChips 2026)

오픈에이아이의 특허를 바탕으로 할라페뇨는 가중치 정적(systolic) 배열을 채택하여 구글의 TPU와 더 넓은 아키텍처 계열과 일치합니다. 이 구성에서 모델의 학습된 매개변수인 가중치는 한 번 로드되어 고정된 상태로 유지되며 입력 데이터가 배열을 통해 스트리밍됩니다. 이 접근 방식은 에너지 집약적인 데이터 이동을 최소화하며, 동일한 매개변수가 수십억 번 쿼리되는 추론 워크로드에 있어 중요한 장점입니다.

로컬 데이터 액세스를 추가로 최적화하기 위해 할라페뇨는 슬라이스 기반 메모리 아키텍처를 활용합니다. 각 코어 슬라이스는 전용 HBM 슬라이스에 대한 저지연 직접 뷰를 유지하여 KV 캐시와 가중치가 모두 높은 국소성을 갖도록 보장합니다. 이는 더 단순하고 예측 가능한 메모리 계층 구조를 생성합니다. 전용 메모리 슬라이스는 로컬 데이터 액세스를 관리하고 범용 온칩 네트워크(network-on-chip)는 광범위한 통신을 처리하며 컴퓨팅 작업과 동시에 작동할 수 있습니다.

이 아키텍처는 매우 효과적인 하드웨어 프리페칭(hardware prefetching)이라는 새로운 요구사항을 도입합니다. 소프트웨어 관리형 직접 메모리 액세스(DMA)는 더 큰 결정론을 제공하지만, 하드웨어 프리페칭은 데이터 수요를 정확하게 예측해야 합니다. 오픈에이아이는 코덱스(Codex)를 활용하여 커널 구현을 분석하고 다양한 텐서 형태에 걸쳐 프리페칭 패턴을 매핑함으로써 AI를 활용하여 커널 튜닝 과정을 자동화하고 정교하게 만듭니다.

하드웨어를 보완하는 것은 오픈에이아이의 트라이튼(Triton) 프레임워크 위에 구축된 맞춤형 프로그래밍 모델인 글루온(Gluon)입니다. 글루온은 물리적 코어 각각이 스레드 블록으로 프로그래밍되고 고속 로컬 메모리를 둘러싼 전용 텐서, SIMD 및 스칼라 엔진을 갖춘 공간 아키텍처를 구현합니다. 가장 혁신적인 기능은 레지스터와 워프(warps)와 같은 하드웨어 리소스를 텐서 요소에 직접 매핑하는 수학적 추상화입니다. 오픈에이아이에서 개발하고 출판한 레이아웃 대수(layout algebra)인 Linear Layouts를 통해 공식화된 글루온은 컴퓨팅 연산이 순수하게 논리적 스케줄링을 통해 관리되는 것이 아니라 물리적으로 코어에 바인딩되도록 보장합니다.

글루온 내에서 각 프로그램은 지속적 스레드(persistent thread)에 매핑되므로 개발자는 하드웨어 스케줄러에만 의존하지 않고 계산 타일(computational tiles)에 작업을 명시적으로 할당할 수 있습니다. 커널은 NVIDIA의 PTX와 비교할 수 있는 수동 튜닝된 어셈블리 스타일 코드를 지원합니다. 특수화된 집단 연산(collective operations)이 빈번한 코어 간 통신을 관리하는 동안 일반 온칩 네트워크는 덜 일반적인 트래픽을 위해 여전히 사용 가능합니다. 전체 추론 루프를 커널 내에 직접 임베드함으로써 이 아키텍처는 CPU 오버헤드를 극적으로 줄이고 불필요한 오케스트레이션 단계를 제거합니다.

할라페뇨는 추론 전용으로 설계되었으며 캡티브 실리콘(captive silicon)으로 작동하므로 NVIDIA와 직접 경쟁자로 포지셔닝되지 않습니다. 현재 소프트웨어 스택은 개발상의 병목 현상이지만, 오픈에이아이는 자체 소유 코딩 도구와 AI 모델을 적극적으로 사용하여 커널을 반복적으로 정교화하고 서드파티 모델을 포트함으로써 칩의 실용적 유용성을 확장하고 있습니다. 오픈에이아이는 훈련 워크로드에 대해引き続き NVIDIA 인프라에 의존할 것으로 예상됩니다. 이러한 분업은 양사 간의 최근 발표된 전략적 파트너십과 일치하며, 여기에는 NVIDIA의 오픈에이아이 투자 보증을 기반으로 2030년까지 최대 6,000억 달러의 컴퓨팅コミ트먼트가 포함될 수 있습니다.

할라페뇨가 NVIDIA를 대체하는 것을 목표로 하지는 않지만, 오픈에이아이에게 추론 비용을 절감하고 NVIDIA 및 기타 벤더와의 협상 입장을 강화하는 중요한 경로를 제공합니다. 오픈에이아이의 모델 포트폴리오는 다양한 가격대, 기능, 지연 시간 프로필 및 사용 사례를 아우릅니다. API를 통해 통합하는 기업 고객은 일반적으로 특정 모델에 잠금 상태를 유지하고 운영 워크플로우를 해당 모델에 맞춰 구축하므로 안정적인 의존성이 형성됩니다. 성숙한 모델은 지속적인 인프라를 필요로 하기 때문입니다. 따라서 오픈에이아이의 전략은 할라페뇨로 NVIDIA를 대체하는 것이 아닙니다. 대신 회사는 경제적 이점이 명확한 경우 새로운 모델이나 높은 처리량 모델을 할라페뇨로 라우팅하고, 다른 곳에서는 기존 배포를 유지하며, 다중 벤더 생태계를 활용하여 다양한 고객 세그먼트에 맞춤화된 성능 계층과 가격을 제공하는 계획을 가지고 있습니다.