OpenAI와 Broadcom, Jalapeño 발표, 9개월 개발 사이클로 구축된 맞춤형 추론 ASIC, 최적화된 성능-전력 효율로 대규모 LLM 추론 워크로드용 설계

OpenAI와 Broadcom는 현대적인 대규모 언어 모델(LLM)과 미래의 에이전트 AI 워크로드를 위해 특별히 설계된 커스텀 추론 프로세서인 'Jalapeño'를 출시했다. 두 회사는 이 프로세서가 현재 최첨단 하드웨어 대비 와트당 성능이 더 높다고 주장한다. OpenAI는 자체 하드웨어 프로젝트를 전략적 과제로 간주하며, Jalapeño를 추론 하드웨어의 첫 번째 세대로 보고 있다.

OpenAI는 Jalapeño가 목적에 맞춘 전용 추론 ASIC이며, 재사용된 학습 가속기나 범용 AI 프로세서가 아님을 강조한다. 이 아키텍처는 LLM 동작에 대한 OpenAI의 이해를 바탕으로 설계되었으며, 비용이 많이 드는 데이터 이동, 컴퓨팅과 메모리 자원 간의 균형, 네트워킹 효율성, 전반적인 동작 등 대규모 추론 시 발생하는 실제 병목 현상을 해결하기 위한 것이다. 이 프로세서 설계는 높은 처리량과 낮은 지연 시간을 결합하는 것을 목표로 하는데, 이는 많은 다른 추론 가속기가 저렴한 유형의 DRAM을 사용하는 반면 Jalapeño는 거대한 컴퓨팅 칩렛과 HBM 메모리를 사용하기 때문이다. 이러한 특징은 추론 및 에이전트 워크로드에서 특히 가치 있게 평가된다.

OpenAI와 Broadcom는 이 프로세서가 기존 AI 가속기보다 높은 유효 활용률을 제공하고 이론적 최대치에 가까운 성능을 발휘한다고 주장하며, 이는 비용과 전력 소비 측면에서 매우 높은 효율성을 시사한다고 밝혔다. 그러나 두 회사는 Jalapeño ASIC의 구체적인 성능 목표를 공개하지 않았으므로, 이러한 주장은 적절한 주의 깊게 받아들여야 한다.

엔지니어링 샘플은 이미 목표 클럭 속도와 전력에서 실험실 환경에서 작동 중이며, OpenAI는 GPT-5.3-Codex-Spark와 같은 머신러닝 워크로드를 수행하고 있다. 초기 내부 테스트 결과, Jalapeño의 와트당 성능이 "현재 최첨단 하드웨어"보다 훨씬 우수함이 나타났으나, 구체적인 수치, 벤치마크, 메모리 구성 또는 기타 세부 사항은 공개되지 않았다. AMD의 Instinct MI400 시리즈와 Nvidia의 Rubin 기반 제품들과 비교했을 때 경쟁력이 얼마나 될지는 아직 지켜봐야 할 상황이다.

Richard Ho(OpenAI 하드웨어 프로그램 책임자)는 "Jalapeño는 OpenAI 연구진과의 긴밀한 협력을 통해 얻은 상세한 통찰력을 바탕으로 LLM 추론을 위해 처음부터 설계되었습니다. 우리는 프론티어 AI 모델에 가장 중요한 커널, 메모리 이동, 네트워킹, 서빙 패턴을 중심으로 아키텍처를 최적화했습니다. 초기 테스트 결과를 바탕으로 Jalapeño는 하드웨어의 이론적 한계에 근접하여 가장 중요한 워크로드를 효율적으로 실행할 것입니다."라고 말했다.

Broadcom과 OpenAI는 전체 사양을 공개하지 않았지만 웨이퍼와 패키징을 공개함으로써 간략한 분석을 가능하게 했다. 패키지는 하나의 대형 컴퓨팅 칩렛과 이를 둘러싼 여섯 개의 HBM 모듈, 입출력 인터페이스를 포함할 것으로 보이는 다른 칩렛, 그리고 두 개의 구조적 더미 다이(dummy die)로 구성되어 있는 것으로 보인다. 웨이퍼 이미지는 Broadcom 스타일의 systolic-array 중심 가속기와 유사해 보이며, 복제된 컴퓨팅 영역과 고정된 인프라 매크로를 보여주는 매우 규칙적이고 반복되는 열형 플로어플랜을 제시하지만, 이는 이미지 품질에 기반한 추측일 뿐이다.

주변 HBM3/4 패키지 크기(10.975 mm × 10.975 mm)를 기준으로 Jalapeño 컴퓨팅 칩렛의 대략적인 다이 크기를 분석하면, 칩렛의 너비는 약 25.46 mm, 높이는 33 mm로 측정되어 다이 크기는 약 840 제곱밀리미터가 된다. 이는 EUV 리소그래피 시스템의 레티클 크기인 858 제곱밀리미터와 매우 근접하다. 이미지 품질이 정밀도를 제한하지만, 이 추정치는 상당히 정확할 가능성이 높다. 이 다이 크기는 상당한 컴퓨팅 밀도를 나타내며, Jalapeño의 컴퓨팅 다이 시장은 다른 추론 가속기의 컴퓨팅 다이보다 considerably 크고 AI 학습용 프로세서와 더 유사하게 보인다.

두 회사는 이 칩이 단 9개월 만에 테이프아웃(tape-out)에 성공했으며, 2026년 말부터 배포될 예정이라고 밝혔다. 이는 ASIC 설계 분야에서 극도로 빠른 전환 시간을 의미한다. Broadcom과 OpenAI가 Jalapeño의 정의 및 개발 과정에서 인공지능을 광범위하게 사용했는지 여부는 여전히 불분명하나, 두 회사는 칩 설계 및 최적화 작업의 일부를 가속화하기 위해 OpenAI의 모델을 사용한 사실을 인정했다. 일반적으로 ASIC 설계는 처음부터 시작할 경우 1.5~2년이 소요되므로, AI가 개발 주기를 의미 있게 단축할 수 있음을 시사한다. 또한 Broadcom은 다양한 커스텀 설계 간 논리의 광범위한 재사용을 통해 납기 기간을 단축하고 있다.

Jalapeño는 OpenAI 자체 워크로드뿐만 아니라 업계 전반의 현재 및 미래 LLM도 지원하도록 설계되었으며, Broadcom과 TSMC로부터 충분한 공급을 확보할 수 있다면 OpenAI가 타사에도 하드웨어를 판매할 가능성을 열어둔다. Broadcom의 최고경영자는 Jalapeño가 올해부터 Microsoft 및 기타 파트너와 함께 기가와트 규모 데이터 센터에 배포될 것이라고 밝혔으나, 해당 프로세서가 OpenAI 워크로드 전용으로 사용될지 아니면 다른 테넌트에게도 제공될지는 명확하지 않다.

Hock Tan(Broadcom 회장 겸 CEO)은 "우리의 OpenAI와의 협력은 향후 10년간 AI에 필요한 물리적 인프라를 확장하기 위한 근본적인 약속을 나타냅니다. 이것은 다세대 로드맵의 시작에 불과합니다. OpenAI와 직접 공동 개발한 업계 선도적인 실리콘을 통해 2026년부터 Microsoft 및 기타 파트너와 함께 기가와트 규모 데이터 센터의 배포를 가능하게 하고 있습니다."라고 말했다.