OpenAI硬件负责人在独家采访中详述Jalapeño推理芯片设计。
OpenAI在2026年8月的Hot Chips大会上公布了其Jalapeño推理ASIC芯片,这是一款在AI辅助下实现了设计周期大幅压缩的芯片。公布后,Tom's Hardware与OpenAI硬件副总裁Richard Ho进行了深入座谈,讨论了该芯片的开发初衷、未来雄心和AI在硅芯片开发中的作用。以下是经过编辑以便理解的采访实录。
**关于核心动机**
Tom's Hardware高级CPU分析师Jake Roach开场问道,是什么驱动了OpenAI开发专有ASIC的决定。Richard Ho将效率列为首要因素。他解释说:"我们的主要目标是提高效率,显然正如Sam一直在说的,我们计算能力会成为瓶颈,而计算能力的限制本质上就是我们能向数据中心投入多少功率。"
Ho强调,团队希望在受限的功率预算内最大化向用户交付的智能。他突出了推理作为关键瓶颈的重要性:虽然训练在预训练阶段消耗大量计算资源,但面向用户的成本以及用户对智能程度的感知取决于推理性能。"用户体验——ChatGPT响应有多快、Codex响应有多快、智能体响应有多快——延迟真的很重要,"Ho说。他指出Jalapeño的设计既要为延迟敏感型应用提供强大的低延迟性能,也要能轻松转向更高吞吐量以降低推理成本。
**为什么选择自主开发**
当被问及OpenAI为什么开发自己的ASIC而不是依赖现有商用产品时,Ho强调了全栈协同设计的价值。"我们想要利用协同设计的机会,"他说,"这是你无法通过第三方硅芯片商很好地做到的事情,因为模型中有大量的研究IP。你根本无法广泛分享,因为会泄露。"
通过内部团队与研究人员直接合作,OpenAI获得了对整个技术栈的完全可见性,能够对优化应该在软件、模型本身还是硬件层进行的位置做出明智的权衡。"我们能够做出明智的权衡,因为我们对整个栈有完全的可见性,"Ho解释道。他将这种全栈可见性归功于Jalapeño的优势,使团队能够精确理解所需的硬件,并相应地优化编译器和更广泛的技术栈。
**澄清关于优化范围的误解**
Roach试图澄清业界一个困惑之处:有人建议Jalapeño是针对OpenAI的专有模型进行优化的。Ho纠正了这一误解。OpenAI特意使用了SemiAnalysis的开源InferenceX基准测试(包含不同的模型架构和规模)来展示广泛的适用性。"这样做的全部意义在于我们的定制推理芯片不仅仅为OpenAI模型而设计——我们在Hot Chips的结果已经证明,它在开源模型上表现出色,在任何LLM上基本都表现出色。所有基于Transformer的LLM模型的性能都会非常好,"他说。
为了强调芯片的通用性,Ho指出团队在收到硅芯片前并未测试那些开源模型。但在大约两个月的优化工作内,他们取得了很好的性能成果,并能够公开展示。"这表明它是可编程的、通用型的,并不是为OpenAI模型硬编码的,"他表示。
**当前和未来部署**
当被问及Jalapeño是否会继续保持内部使用或服务外部客户时,Ho承认该芯片理论上可以服务其他客户,但强调OpenAI内部需求极大。"我们公司内部对计算能力的需求非常强劲。要满足我们自身的需求将需要很长时间,而且这种需求一直在增长,"他说。随着日活跃用户和周活跃用户基数不断扩大,Codex中的新功能、推理特性以及管道中未公布的产品,OpenAI预计在可预见的未来将全力满足自身需求。
**九个月的设计周期**
Roach指出从初始设计到流片的显著周期——大约九个月——这是在AI辅助下完成的,他问随着路线图扩展,时间表是否能进一步压缩。Ho将此视为建立一个新的基准。"在过去的基准中,你谈论的是大约18个月到两年。即使有一些现有的IP或更多的遗留架构设计,通常也是这样。我们从零开始。这里没有一行代码可以参考,"他解释说。
九个月的成果代表了在AI支持下一支才华横溢的团队所能实现的目标,但未来项目的时间表改进取决于设计复杂性。Jalapeño涉及实用的架构权衡以满足由紧迫的计算需求驱动的激进时间表。Ho承认,包含高级封装和共封光学的更复杂设计可能需要超过九个月,但在AI辅助下仍应显著改进。基于Jalapeño的衍生设计应该进行得快得多。
Ho强调九个月的成就为整个行业树立了一个证明点。设计中使用的AI模型——主要是Codex、其前身Sol和更新的Astra——证明了非常强大的能力。模型在2025年11月工作开始和流片之间得到了实质性改进,并在5月内核优化开始时继续改进。"即使在我们于5月开始做内核优化时,当芯片刚刚上线时,我们自己也被Codex的进步程度和它的能力所震撼,"Ho说。团队对在两个月的冲刺阶段实现的性能收益感到惊喜,这主要是由于模型在内核优化方面的有效处理。
Ho强调AI是对工程师的增强而非替代。"我们没有替代工程师;他们只是变得超级高效。拥有一个较小的真正优秀工程师团队加上这些AI工具,你可以比其他方式做得更快也更好,"他说。
**工具和方法论**
关于设计工具,Roach问OpenAI是否使用了来自Cadence和Synopsys等供应商的标准EDA软件。Ho确认团队在理念上倾向于开源,但在流片环节必然依赖标准的行业流程。"对于流片,你需要使用标准的EDA流程,我们确实这样做了,因为你想确保那些结果是良好和正确的。目前没有真正的替代方案,"他解释。该方法结合了由AI和专家工程师优化的标准流程。
**业界反应和未来方向**
Ho报告说Jalapeño公开发布后业界反应热烈,甚至在公告前一旦结果得到确认就已经开始对话。他拒绝抢先透露任何具体公告,但表示业界反应是积极的,OpenAI打算广泛分享其经验教训。"这不是'嘿,我们有这个东西,我们要自己保留。'我们想让整个行业更有生产力,因为每个人都有更好的计算能力对我们也有帮助,"Ho表示。
当Roach澄清业界兴趣集中在设计方法而非芯片分发时,Ho确认:"对,完全正确。我们为了实现那些时间表做了什么,我们为了在最后获得性能提升做了什么。我们怎么做的?我们使用了什么?我认为这些是我们也想与行业分享的经验教训。"
Ho指出围绕AI辅助芯片设计存在一个活跃的初创公司生态,并将OpenAI定位为想要具体分享其方法的企业。"围绕芯片设计AI有一个相当活跃的初创场景,这很好。有很多聪明人在思考这个问题,"他说。他强调OpenAI的贡献将不是理论性的,而是基于切实的结果:Codex、Astra和Jalapeño成就本身提供了具体的证明点。"我们可以指向它说,'这是我们所做的,这是我们如何做到的,这是我们取得的成果。'它将非常具体。"