OpenAI与Broadcom合作推出定制LLM推理加速芯片Jalapeño,计划2026年底前投入生产部署,标志着全栈AI计算独立的重大进展,有望降低成本约50%。
OpenAI正在向其技术栈中添加定制硬件。该公司与Broadcom联合推出了"Jalapeño"——OpenAI的首款"智能处理器"——这是一个专为大语言模型推理设计的定制加速器,也是两家公司共同开发的多代平台的首款芯片。Broadcom首席执行官何克·谭(Hock Tan)和总裁查理·卡瓦斯(Charlie Kawwas)将首片晶圆交付给OpenAI首席执行官山姆·奥特曼(Sam Altman)和总裁格雷格·布罗克曼(Greg Brockman),标志着OpenAI在多年专注于模型和产品后迈出的定制硬件第一步。
与改进的通用芯片不同,Jalapeño从零开始针对现代LLM推理而设计。OpenAI负责芯片设计,Broadcom贡献硅制造和网络技术(包括其Tomahawk网络芯片),Celestica负责电路板、机架和系统集成。早期测试显示,其性能功耗比"明显优于"当前最先进的硬件,不过这些是自我报告的数字,仍未最终确定。技术报告即将发布。Jalapeño与哪些具体芯片进行了测试、使用的任务以及测试条件仍不明确。
该架构据悉减少了数据移动,并将利用率推向其理论最大值。工程样品已经在实验室中运行机器学习工作负载,包括GPT-5.3-Codex-Spark模型,该模型目前在Cerebras硬件上运行。Cerebras是另一家专门提供推理服务的供应商。
从设计到流片的开发过程仅耗时九个月——OpenAI称之为其所知最快的高性能半导体ASIC开发周期。OpenAI自有的模型帮助加速了设计过程的部分环节,尽管有关芯片计划的传言自2023年以来就在流传。
此项宣布反映了OpenAI更广泛的论点,即从芯片到产品控制全栈可以实现更快、更可靠的模型运行,成本更低。Broadcom首席执行官谭表示,首次部署计划在2026年底进行,规模达千兆瓦级,与Microsoft和其他合作伙伴合作。据报道,Broadcom要求Microsoft保证购买40%的芯片以确保第一阶段的顺利进行。