OpenAI의 하드웨어 최고책임자가 단독 인터뷰 스크립트에서 Jalapeño 추론 칩 설계를 상세히 설명한다.

OpenAI는 2026년 8월 Hot Chips에서 Jalapeño 추론 ASIC을 공개했으며, 이 칩은 AI를 활용하여 놀랍도록 단축된 설계 기간을 달성했습니다. 공개 이후 Tom's Hardware는 OpenAI의 하드웨어 담당 부사장 Richard Ho와 만나 칩의 개발 경위, 미래 계획, 그리고 실리콘 개발에서 AI의 역할에 대해 논의했습니다. 다음은 흐름과 명확성을 위해 편집된 인터뷰 내용입니다.

**핵심 동기에 대하여**

Tom's Hardware의 선임 CPU 분석가 Jake Roach는 자체 ASIC 개발을 결정하게 한 동인이 무엇인지 물었습니다. Richard Ho는 효율성을 주요 요인으로 지목했습니다. "우리가 추구하는 핵심은 효율성입니다"라고 그는 설명했습니다. "명백히 Sam이 계속 언급해온 바와 같이, 우리는 컴퓨팅 제약에 직면하게 되고, 컴퓨팅 제약이란 결국 데이터 센터에 공급할 수 있는 전력의 양을 의미합니다."

Ho는 팀이 제한된 전력 예산 범위 내에서 사용자에게 최대한의 지능을 제공하려고 했다고 강조했습니다. 그는 추론을 핵심 병목 지점으로 지적했습니다. 사전학습 중에는 상당한 컴퓨팅이 소비되지만, 사용자가 체험하는 비용과 인지하는 지능 수준은 추론 성능에 좌우됩니다. "ChatGPT의 응답 속도, Codex의 응답 속도, 또는 에이전트의 응답 속도 같은 사용자 경험 측면에서는 지연시간이 정말 중요합니다"라고 Ho는 말했습니다. 그는 Jalapeño가 지연시간에 민감한 애플리케이션을 위한 강력한 저지연 성능과 추론 비용을 절감하기 위해 높은 처리량으로 쉽게 전환할 수 있는 능력을 모두 제공하도록 설계되었다고 지적했습니다.

**자체 개발을 선택한 이유**

OpenAI가 기존 상용 솔루션을 사용하는 대신 자체 ASIC을 개발하기로 결정한 이유를 물었을 때, Ho는 통합 스택 협력 설계의 가치를 강조했습니다. "우리는 협력 설계의 기회를 활용하고 싶었습니다"라고 그는 말했습니다. "이것은 타사 실리콘 공급업체와는 제대로 할 수 없습니다. 모델에 많은 연구 지적 재산이 포함되어 있기 때문입니다. 유출 위험이 있어서 광범위하게 공유할 수 없습니다."

연구원과 직접 협력하는 내부 팀을 두는 것은 OpenAI에게 스택 전체에 대한 완전한 가시성을 제공했으며, 최적화가 소프트웨어, 모델, 또는 하드웨어 중 어디에 적용되어야 할지에 대해 지능적인 결정을 내릴 수 있게 해주었습니다. "우리는 전체 스택을 완벽하게 볼 수 있기 때문에 이러한 절충을 지능적으로 할 수 있습니다"라고 Ho는 설명했습니다. 그는 이러한 풀 스택 가시성이 Jalapeño의 이점을 가능하게 했으며, 팀이 필요한 하드웨어를 정확히 파악하고 컴파일러와 전체 스택을 최적화할 수 있게 해주었다고 밝혔습니다.

**최적화 범위에 대한 오해 해소**

Roach는 업계에서 흔한 혼동을 명확히 하려고 했습니다. 일부에서는 Jalapeño가 OpenAI의 독점 모델을 위해 특화되어 최적화되었다고 주장했습니다. Ho는 이러한 잘못된 설명을 바로잡았습니다. OpenAI는 의도적으로 SemiAnalysis의 오픈소스 InferenceX 벤치마크를 사용했는데, 이는 다양한 모델 아키텍처와 크기를 포함하고 있어 광범위한 적용성을 입증했습니다. "핵심은 우리의 커스텀 추론 칩이 OpenAI 모델에만 사용되는 것이 아니라는 것입니다. Hot Chips 결과로 오픈소스 모델에서도 탁월하고, 모든 LLM에서도 잘 작동한다는 것을 보여주었습니다. 기본적으로 모든 트랜스포머 기반 LLM은 매우 높은 성능을 발휘할 것입니다"라고 그는 말했습니다.

칩의 범용성을 강조하기 위해 Ho는 팀이 실리콘을 받은 이후에야 오픈소스 모델을 살펴봤다고 언급했습니다. 그럼에도 불구하고 약 2개월의 최적화 작업을 거쳐 강력한 성능 결과를 얻을 수 있었고 이를 공개적으로 발표할 수 있었습니다. "이는 프로그래밍이 가능하고, 범용적이며, OpenAI 모델을 위해 특정 코드를 내장하지 않았음을 보여줍니다"라고 그는 말했습니다.

**현재 및 향후 배포 계획**

Jalapeño가 내부 전용으로 유지될지 아니면 외부 고객에게도 제공될지에 대해 물었을 때, Ho는 이론상 다른 고객을 대상으로 할 수 있지만 OpenAI의 압도적인 내부 수요를 강조했습니다. "우리는 회사 내에서 엄청난 컴퓨팅 수요가 있습니다. 계속 증가하고 있는 우리 자신의 수요를 충족시키는 데만 해도 상당한 시간이 소요될 것입니다"라고 그는 말했습니다. 일일 및 주간 활성 사용자 수의 증가, Codex의 새로운 기능, 추론 기능, 그리고 향후 공개될 예정인 제품들을 고려하면, OpenAI는 앞으로 한동안 자체 수요를 충족시키는 데 완전히 집중할 것으로 예상됩니다.

**9개월의 설계 기간**

Roach는 AI의 지원을 받아 초기 설계부터 테이프 아웃까지 약 9개월이라는 놀라운 기간을 달성했다고 지적했으며, 로드맵이 확대될수록 기간이 더욱 단축될 수 있는지 물었습니다. Ho는 이를 새로운 기준으로 설정하는 것으로 봤습니다. "기존 기준으로는 대략 18개월에서 2년 정도 걸립니다. 기존 IP가 있거나 더 오래된 아키텍처를 활용하더라도 종종 그렇습니다. 우리는 여기서 처음부터 시작했습니다. 참고할 기존 코드가 하나도 없습니다"라고 그는 설명했습니다.

9개월의 결과는 AI의 도움을 받은 재능 있는 팀이 성취할 수 있는 수준을 보여줍니다. 향후 프로젝트의 기간 단축 가능성은 설계의 복잡도에 따라 달라집니다. Jalapeño는 긴급한 컴퓨팅 필요에 의해 주도된 공격적인 일정을 맞추기 위해 실용적인 아키텍처 절충을 포함했습니다. 고급 패키징과 공동 배치 광학을 포함하는 더욱 복잡한 설계는 9개월 이상 걸릴 수 있지만, Ho는 AI의 도움으로도 여전히 상당히 개선될 수 있을 것이라고 언급했습니다. Jalapeño를 기반으로 한 파생 설계는 훨씬 빠르게 진행될 수 있을 것으로 예상됩니다.

Ho는 9개월이라는 성과가 업계에 대한 증명 사례를 확립한다고 강조했습니다. 설계에 사용된 AI 모델은 주로 Codex, 그 전신인 Sol, 그리고 새로운 Astra였으며, 이들은 뛰어난 능력을 보여주었습니다. 모델은 작업이 시작된 2025년 11월부터 테이프 아웃까지 상당히 개선되었으며, 5월에 커널 최적화가 시작된 이후에도 계속 개선되었습니다. "5월에 우리가 커널 최적화를 시작했을 때, 칩들이 처음으로 작동하기 시작했을 때, 우리도 Codex가 얼마나 크게 개선되었는지, 그리고 무엇을 할 수 있게 되었는지에 대해 깜짝 놀랐습니다"라고 Ho는 말했습니다. 팀은 2개월간의 집중 개발 단계에서 달성된 성능 향상에 기뻐했으며, 이는 주로 모델이 커널 최적화를 얼마나 효과적으로 처리했기 때문이었습니다.

Ho는 AI가 엔지니어를 대체한 것이 아니라 보강했다고 강조했습니다. "우리는 엔지니어들을 대체하지 않았습니다. 그들은 단지 엄청나게 생산성이 높아졌습니다. 뛰어난 엔지니어들의 작은 팀이 이런 AI 도구들을 활용하면, 그렇지 않았을 때보다 더 빠르고 더 잘할 수 있습니다"라고 그는 말했습니다.

**도구 및 방법론**

설계 도구에 관해 Roach는 OpenAI가 Cadence와 Synopsys 같은 벤더의 표준 EDA 소프트웨어를 사용했는지 물었습니다. Ho는 팀이 철학적으로 오픈소스를 선호했지만 검증을 위해서는 표준 업계 프로세스에 반드시 의존했다고 확인했습니다. "검증을 위해서는 표준 EDA 프로세스를 사용해야 하며, 우리도 그렇게 했습니다. 결과가 정확하고 신뢰할 수 있는지 확인하려는 것이기 때문입니다. 현재로서는 진정한 대안이 없습니다"라고 그는 설명했습니다. 접근법은 AI와 전문 엔지니어가 최적화한 표준 프로세스를 결합했습니다.

**업계 반응 및 향후 방향**

Ho는 Jalapeño의 공개 발표 이후 업계의 상당한 관심을 보고했으며, 결과가 확인되자마자 발표 전부터 논의가 시작되었다고 말했습니다. 구체적인 발표를 미리 언급하기는 거부했지만, 업계의 반응이 긍정적이었으며 OpenAI는 자신의 경험과 교훈을 광범위하게 공유하려고 한다고 표시했습니다. "이것은 '우리가 이것을 가지고 있으니 우리만 써야겠다'는 식의 것이 아닙니다. 우리는 업계 전체의 생산성을 높이고 싶습니다. 왜냐하면 모든 사람이 더 나은 컴퓨팅을 갖추는 것이 결국 우리에게도 도움이 되기 때문입니다"라고 Ho는 말했습니다.

Roach가 업계의 관심이 칩 배포보다는 설계 방법론에 초점을 맞추고 있는지 명확히 했을 때, Ho는 이를 확인했습니다. "정확히 그렇습니다. 우리가 그런 일정을 달성하기 위해 한 것들, 마지막에 성능 향상을 얻기 위해 한 것들. 어떻게 했는가? 어떤 도구들을 사용했는가? 저는 이러한 교훈들을 업계에도 제공하고 싶다고 생각합니다."

Ho는 AI 지원 칩 설계 분야의 활발한 스타트업 생태계를 언급했으며, OpenAI는 자신의 접근 방식을 구체적으로 공유하려고 한다고 밝혔습니다. "칩 설계를 위한 AI 분야에는 꽤 활발한 스타트업 장면이 있고, 그것은 좋은 일입니다. 이 분야에 대해 생각하고 있는 똑똑한 사람들이 많이 있습니다"라고 그는 말했습니다. 그는 OpenAI의 기여가 이론적이 아니라 구체적인 결과에 기반할 것이라고 강조했습니다. Codex, Astra, 그리고 Jalapeño라는 성과 자체가 구체적인 증명 사례를 제공합니다. "우리는 '여기가 우리가 한 것이고, 여기가 우리가 어떻게 했는지이며, 여기가 우리가 얻은 것입니다'라고 보여줄 수 있습니다. 매우 구체적일 것입니다."