OpenAI和Broadcom宣布推出Jalapeño,一款在九个月开发周期内完成的自定义推理ASIC,专为大规模LLM推理工作负载设计,具有优化的性能功耗比。
OpenAI和Broadcom推出了Jalapeño,一款为现代大语言模型和未来智能体AI工作负载专门设计的定制推理处理器。两家公司声称该处理器的每瓦性能高于当今最先进的硬件。OpenAI将其硬件项目视为战略性项目,并将Jalapeño视为其推理硬件的第一代产品。
OpenAI强调,Jalapeño是专为推理设计的ASIC,而不是改用的训练加速器或通用AI处理器。该架构是基于OpenAI对大语言模型行为的理解而设计的,旨在解决大规模推理中的实际瓶颈,包括成本高昂的数据移动、计算与内存资源的平衡、网络效率和整体性能。处理器设计旨在结合高吞吐量和低延迟——这就是为什么它采用大型计算芯粒和HBM内存,而不是许多其他推理加速器所使用的更便宜的DRAM类型——这一特性对推理和智能体工作负载特别有价值。
OpenAI和Broadcom声称该处理器的有效利用率高于传统AI加速器,性能接近理论最大值,表明在成本和功耗方面效率极高。但是,两家公司没有披露Jalapeño ASIC的性能目标,因此这些声明应该谨慎对待。
工程样品已在实验室以目标时钟速度和功率运行,OpenAI运行了GPT-5.3-Codex-Spark等机器学习工作负载。早期内部测试表明Jalapeño的每瓦性能大幅优于"当前最先进的硬件",但没有披露具体数字、基准测试、内存配置或其他细节。与AMD的Instinct MI400系列和Nvidia基于Rubin的产品相比竞争力如何还有待观察。
主导OpenAI硬件项目的Richard Ho说:"Jalapeño是基于我们与OpenAI研究人员的密切合作所获得的详细洞见,从零开始为大语言模型推理而设计的。我们围绕对前沿AI模型最重要的核、内存移动、网络和服务模式优化了架构。基于早期测试,Jalapeño将能够有效执行我们最重要的工作负载,接近硬件的理论极限。"
虽然Broadcom和OpenAI没有披露完整规格,但他们展示了晶圆和封装,允许进行简要分析。该封装似乎包含一个大型计算芯粒,周围是六个HBM模块,另一个芯粒可能包含输入/输出接口,以及两个结构性虚拟芯片。晶圆图像类似于Broadcom风格的脉动阵列式加速器,具有非常规则的重复纵列平面设计,显示复制的计算区域和固定的基础设施宏,尽管基于图像质量这是推测的。
根据围绕计算芯粒的HBM3/4封装尺寸(10.975毫米×10.975毫米),分析Jalapeño计算芯粒的近似芯片尺寸,该芯粒的宽度约为25.46毫米,高度为33毫米,产生的芯片尺寸约为840平方毫米——非常接近EUV光刻系统的掩膜尺寸858平方毫米。虽然图像质量限制了精度,但这个估计可能是接近的。芯片尺寸表明计算密度很大;Jalapeño的计算芯片远大于市场上其他推理加速器的计算芯片,更接近AI训练处理器。
两家公司表示该芯片在仅仅九个月内完成了流片,计划于2026年底开始部署,代表了ASIC设计中极快的周期。虽然目前不清楚Broadcom和OpenAI是否广泛使用人工智能来定义和开发Jalapeño,但这两家公司承认使用了OpenAI的模型来加速芯片设计和优化工作的部分。通常,ASIC设计从零开始需要1.5到2年的时间,这表明人工智能可以显著缩短开发周期。Broadcom在不同定制设计中广泛重用逻辑也加快了交付。
Jalapeño的设计不仅支持OpenAI自身的工作负载,还支持整个行业现有和未来的大语言模型,这可能允许OpenAI将其硬件出售给第三方,前提是它能从Broadcom和TSMC获得足够的供应。Broadcom首席执行官表示,从今年开始,Jalapeño将在与Microsoft和其他合作伙伴合作的千兆瓦级数据中心进行部署,尽管仍不清楚该处理器是否将仅用于OpenAI工作负载或将可供其他租户使用。
Broadcom总裁兼首席执行官Hock Tan说:"我们与OpenAI的合作代表了对扩展未来十年AI所需物理基础设施的根本承诺。这仅仅是多代产品路线图的开始。通过与OpenAI直接共同开发我们业界领先的硅芯片,我们正在实现与Microsoft和其他合作伙伴从2026年开始的千兆瓦级数据中心的部署。"