OpenAI와 Broadcom이 Jalapeño 공개, 대체품보다 절반 추론 비용의 gigawatt 규모 배포용 맞춤형 AI 추론 칩

OpenAI는 수년간 다른 업체의 실리콘을 구매해왔지만, 이제 자체 칩을 공개했고, 이 코드명은 상당한 임팩트를 자랑합니다. 회사는 Broadcom과 협력하여 추론을 위해 특별히 설계된 커스텀 AI 칩인 Jalapeño를 선보였습니다. 의도의 표현이자 동시에 홍보용 이벤트인 이 자리에서 Broadcom CEO인 Hock Tan이 OpenAI 사무실에 들어와 첫 웨이퍼를 Sam Altman과 Greg Brockman에게 전달했습니다.

지구 규모로 임차 하드웨어에서 ChatGPT를 운영하는 것은 매우 비용이 많이 들고, 그러한 하드웨어 대부분의 공급원은 한 공급업체로 거슬러 올라갑니다. NVIDIA GPU에 의존하는 것은 지금까지는 충분히 작동했지만, OpenAI는 모든 쿼리에 대해 프리미엄을 지불해야 하고 공급을 놓고 업계 전체와 경쟁해야 합니다. 커스텀 설계 칩은 이 두 문제를 모두 해결하는 데 도움이 됩니다.

OpenAI는 비정상적으로 큰 컴퓨팅 요소를 구축하고 고대역폭 메모리와 결합하여 컴퓨팅을 최대화하고 데이터 이동을 최소화하며 코어를 지속적으로 가동시킵니다. TSMC가 칩을 제조하고, Broadcom이 실리콘 구현과 네트워킹을 담당하며, Celestica가 서버 랙을 제조한다고 알려졌습니다.

개발 일정은 놀라울 정도입니다. 첨단 노드에서 제조된 고성능 칩은 일반적으로 개념부터 테이프아웃까지 2~3년이 소요됩니다. Jalapeño는 9개월 만에 이를 달성했다고 합니다. OpenAI는 자체 모델을 활용하여 레이아웃과 최적화 작업을 진행했고, 엔지니어링 샘플은 이미 실험실에서 작동 중이며, 여기에는 GPT-5.3-Codex-Spark 모델을 실행하는 것도 포함됩니다.

유출된 재무 자료에 따르면 OpenAI는 작년에 약 $13.07 billion의 수익을 올린 반면 약 $20.9 billion의 영업 손실을 기록했습니다. 최근 공개된 OpenAI 연구에 따르면 가장 활발한 내부 사용자들이 현재 하루에 60시간 이상의 Codex 에이전트 작업을 실행하고 있습니다. 이는 Jalapeño가 저렴하게 처리하도록 설계된 바로 그 토큰 집약적인 워크로드입니다.

Broadcom CEO인 Tan은 초기 샘플이 일반적인 AI GPU 대비 추론 비용을 약 절반으로 줄인다고 말했고, 한 소식통에 따르면 급증하는 수요가 파트너십이 이전 배포 예측보다 '더 나은 결과'를 달성할 수 있게 할 수 있다고 했습니다. OpenAI 하드웨어 책임자인 Richard Ho는 Jalapeño를 언어 모델에 최적화된 '매우 범용적인 장치'라고 표현했습니다. 지금까지의 모든 성능 수치는 자체 보고되었으며, 올해 말에 완전한 기술 보고서가 공개될 예정입니다.

OpenAI는 여전히 훈련을 위해 NVIDIA GPU에 크게 의존하고 있으며, 모든 칩은 그것을 지원하는 공급망만큼만 우수합니다. Jalapeño는 계획된 다세대 구성의 첫 번째 단계이며, 다음 버전은 2028년에 출시될 예정이고, 그 이후 매년 업데이트될 예정입니다.