반도체·하드웨어 · 리포트

OpenAI의 커스텀 Jalapeno AI 추론 ASIC은 내부 사용을 목적으로 개발되었지만, 회사는 향후 더 광범위한 상용 출시 가능성을 열어두고 있다.

OpenAI의 추론 실리콘으로의 수직통합은 가속기 부족에 대비한 하이퍼스케일러의 위험 감소를 신호한다; 향후 잠재적 제품은 추론칩 시장을 교란할 것이다.

업계 전문지Slicast · 2026년 9월 28일 15:45 UTC · 글로벌 · 출처: Tom's Hardware

중요도 75

OpenAI의 Jalapeño ASIC 공개 이후, 근본적인 질문이 떠올랐습니다: 이것은 누구를 위한 것일까요? OpenAI의 메시지는 일관성이 없었습니다. 회사는 지난해 Broadcom과의 파트너십을 발표할 때 내부 사용을 위한 ASIC을 개발 중이라고 시사했으나, 그 후 Jalapeño를 Nvidia의 Blackwell 가속기와 비교했고 Hot Chips 2026에서 다세대 로드맵을 상세히 제시했습니다.

OpenAI 하드웨어 책임자 Richard Ho에 따르면 Jalapeño는 OpenAI의 컴퓨팅 수요를 위해 설계되었습니다. 그러나 Ho는 Tom's Hardware Premium에 "솔직히 말하면 누구든 이것을 사용할 수 있습니다"라고 말했으며, 더 광범위한 채택에 대한 개방성을 나타냈습니다. "우리는 회사 내에서 매우 강한 컴퓨팅 수요가 있습니다. 항상 증가하고 있는 우리 자신의 수요를 충족시키는 데도 상당히 오랜 시간이 걸릴 것입니다"라고 Ho는 말했습니다. "우리는 꽤 오랫동안 OpenAI를 위한 컴퓨팅을 제공하는 데만 집중하게 될 것 같습니다. 그렇다고 해서 다른 곳에서도 사용할 수 없다는 뜻은 아닙니다. 사용할 수 있다고 생각합니다. 하지만 무엇보다도 OpenAI의 컴퓨팅 필요를 충족시키는 것이 우리의 최우선이라고 생각합니다."

칩의 경쟁력 있는 입지는 OpenAI가 Hot Chips에서 공유한 벤치마크에 기반합니다. SemiAnalysis의 InferenceX 벤치마크를 사용하여 Jalapeño를 Nvidia의 GB200 및 GB300과 비교했습니다. ASIC은 일반적이지만, 그들 간에 경쟁력 있는 성능은 드뭅니다. 특정 워크로드에 최적화되어 있기 때문입니다. Jalapeño는 OpenAI 자신의 오픈 가중치 GPT-OSS 모델뿐만 아니라 DeepSeek R1과 Kimi K2.5도 가속화함으로써 주목할 만했습니다.

원래 OpenAI는 Hot Chips에서 벤치마크를 발표하거나 이벤트에 참석할 계획이 없었습니다. Ho는 A0 샘플과 Hot Chips 발표 사이 단 2개월 만에 엔지니어 팀이 Jalapeño에서 Kimi와 DeepSeek를 실행하게 한 방법에 대해 이야기했습니다. 이는 OpenAI의 경영진까지도 감동시킨 성과였습니다.

Ho는 Jalapeño가 현재 내부적으로만 배포되어 있다고 명확히 했지만, 의도적으로 문을 열어 놓았습니다. "우리가 정말로 보여주고 싶었던 것은 업계의 오해를 종식시키는 것입니다. 우리의 맞춤형 추론 칩이 OpenAI 모델만을 위한 것이라는 오해 말입니다"라고 Ho는 말했습니다. "이것은 프로그래밍 가능하며, 범용적이고, OpenAI 모델을 위해 하드코딩되지 않았습니다."

공급 제약이 OpenAI의 외부 하드웨어 시장 진입 꺼림을 설명할 수 있습니다. Ho는 "공급의 새로운 기준선"이 있다고 언급했으며, 이는 자신과 CEO인 Sam Altman이 추가 용량을 확보하기 위해 제조 시설을 순회한 2년간의 노력을 반영합니다. OpenAI가 내부 공급 측면에서 "좋은 상태"에 있는 동안, 외부 고객을 위한 공급은 다른 도전을 제시합니다.

효율성, 즉 원시 성능이 아닌 것이 주요 설계 동인이었습니다. Ho는 효율성을 컴퓨팅의 근친으로 강조했으며, 더 효율적인 추론이 더 효과적인 컴퓨팅으로 직접 변환되는 전력 제약이 있는 현대 AI 데이터 센터를 지적했습니다. OpenAI의 내부 모델과의 공동 설계도 중요한 역할을 했습니다. "공동 설계는 써드파티 실리콘 벤더와 함께 정말 잘할 수 없는 것입니다. 모델에 많은 연구 IP가 있고, 그래서 광범위하게 공유할 수 없습니다. 유출될 것이기 때문입니다. 아무리 많은 NDA를 체결해도 어떻게든 밖으로 나올 것입니다"라고 Ho는 설명했습니다.

만약 Jalapeño가 외부 출시를 위해 예정되었다면, Nvidia의 Grace Blackwell 플랫폼이 아닌 더 새로운 Vera Rubin과 경쟁하게 됐을 것입니다. Ho는 Blackwell 비교가 "우리가 찾을 수 있는 최고의 발표된 결과였기 때문에" 이루어졌다고 말했으나, OpenAI는 Vera Rubin에 대한 내부 벤치마크를 실행했고 더 큰 컨텍스트 윈도우를 테스트했습니다. 발표된 InferenceX 벤치마크는 8k1k 시나리오에 초점을 맞추었습니다. 즉, 8,000개의 입력 토큰과 1,000개의 출력 토큰입니다.

OpenAI의 내부 테스트에 따르면 ASIC은 "현재 이용 가능한 다른 일부 장치의 기존 벤치마크보다 성능이 더 좋아 보입니다." Vera Rubin 비교는 특히 강력해 보입니다. "분명히, 우리가 배포할 때쯤이면 Vera Rubin이 될 것이고, 배포 일정의 일부 부분에서는 VR Ultra도 될 것입니다. 우리는 우리의 내부 벤치마크를 해봤지만, 분명히 우리는 그것들을 발표하지 않습니다. 그것들은 Nvidia와 그것을 할 수 있는 다른 사람들에게서 나와야 합니다"라고 Ho는 말했습니다. "네, 우리는 그것들에서 정말 잘하고 있습니다."

원문 보기