OpenAI的自研Jalapeno AI推理专用芯片主要用于内部使用,但公司为未来更广泛的商业化推广留有余地。
OpenAI发布Jalapeño芯片后,一个根本性问题随之而来:这是为谁而设计的?OpenAI的表述一直含糊其辞。该公司在去年宣布与Broadcom合作时表示正在为内部使用而构建ASIC,但随后它将Jalapeño与英伟达的Blackwell加速器进行了基准测试,并在Hot Chips 2026大会上详细阐述了多代路线图。
据OpenAI硬件负责人Richard Ho表示,Jalapeño是为OpenAI的计算需求而设计的。不过,Ho告诉《Tom's Hardware Premium》杂志说"老实说,你可以将其用于任何人",暗示了对更广泛应用的开放态度。Ho表示:"我们公司内部有这么强劲的计算需求。要满足我们自己不断增长的需求需要很长的时间。我认为在很长一段时间内,我们将全力为OpenAI提供计算能力。这并不是说它不能在其他地方使用。我相信它可以,但我认为我们的首要任务是确保OpenAI的计算需求得到首先满足。"
这款芯片的竞争力基于OpenAI在Hot Chips大会上分享的基准测试,使用SemiAnalysis的InferenceX基准将Jalapeño与英伟达的GB200和GB300进行比较。ASIC很常见,但它们之间具有竞争力的性能很少见——它们是针对特定工作负载进行优化的。Jalapeño之所以引人瞩目,不仅在于它能加速OpenAI自己的开源GPT-OSS模型,还能加速DeepSeek R1和Kimi K2.5。
最初,OpenAI没有计划在Hot Chips大会上进行基准测试,甚至没有计划参加该活动。Ho讲述了一个工程师团队如何在A0芯片样品和Hot Chips演示之间的两个月内让Kimi和DeepSeek在Jalapeño上运行的故事——这项壮举甚至给OpenAI领导层留下了深刻印象。
Ho明确表示Jalapeño目前仍仅在内部部署,但他刻意留下了转机。Ho说:"我们真正想要证明的是,打消业界的误解,即我们的定制推理芯片只适用于OpenAI模型。它是可编程的,是通用的,并没有为OpenAI模型进行硬编码。"
供应限制可能解释了OpenAI不愿进入外部硬件市场的原因。Ho指出存在"供应的新基准",这反映了他和首席执行官Sam Altman花费两年时间访问代工厂以确保额外产能的努力。虽然OpenAI在内部供应方面"状况良好",但为外部客户采购则提出了不同的挑战。
效率而非原始性能是主要的设计驱动因素。Ho强调效率是计算能力的同伴,指向了电力受限的现代AI数据中心,在这些中心中更高效的推理能直接转化为更有效的计算。与OpenAI内部模型的共同设计也发挥了至关重要的作用。Ho解释说:"共同设计是你无法与第三方硅芯片商很好地完成的事情,因为这些模型中存在大量的研究知识产权,所以你无法广泛分享,因为它会泄露。无论你签署多少份保密协议,它都会泄露出去。"
如果Jalapeño注定要向外部发布,它将面临的竞争不是来自英伟达的Grace Blackwell平台,而是来自更新的Vera Rubin。Ho表示之所以进行Blackwell比较是因为"那是我们能找到的最好的已发布结果",尽管OpenAI已经针对Vera Rubin进行了内部基准测试,并测试了更大的上下文窗口。已发布的InferenceX基准测试专注于8k1k场景——8000个输入tokens和1000个输出tokens。
OpenAI的内部测试表明这款ASIC"似乎比现有一些其他可用设备的基准表现得更好"。与Vera Rubin的比较看起来特别强劲。Ho说:"显然,到我们部署时,将是Vera Rubin,在部署时间表的某些部分甚至可能是VR Ultra。我们已经做过内部测试,但显然我们不会公布这些。这些必须由英伟达和其他能够做到这一点的人来完成。是的,我们在这方面做得非常好。"