OpenAI的首款定制加速器Jalapeño旨在解决内存带宽瓶颈，这与Moonshot AI的Kimi K3采取的策略如出一辙。这种以内存为核心的架构设计表明行业正从单纯追求算力扩展转向优化数据流动，从而对传统GPU供应商在互连和封装技术上的创新构成压力。
OpenAI发布了其首款综合性能数据，对象是与博通（Broadcom）合作开发的定制推理加速器Jalapeño。数据显示，该芯片的设计围绕一个核心挑战展开：以足够快的速度向计算核心输送数据，从而消除空闲时间。在SemiAnalysis的InferenceX基准测试套件下，针对GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T三个模型家族进行了评估，结果显示，在峰值运行状态下，Jalapeño每千瓦的混合令牌吞吐量比OpenAI评估的主要商业系统高出1.5至1.9倍，端到端请求延迟降低了1.7至3.6倍。对于高度敏感于延迟的交互式工作负载，这一性能优势扩大至2.1至4.1倍。
当解码速度与对比硬件的最大能力精确匹配后，再测量每千瓦的吞吐量时，最引人注目的指标便显现出来。在此平衡状态下，Jalapeño在GPT-OSS上每千瓦生成的混合令牌数量是参考系统的53.7倍，在DeepSeek R1上是104.3倍，在Kimi K2.5上是56.1倍。这些倍数突显了在峰值高需求运行点上的优势不断扩大。OpenAI自身的图表显示，在较轻的工作负载下，性能差距显著缩小，这意味着这些数据代表的是极端情况下的上限，而非典型的运营基线。
OpenAI通过实际运营商的体验视角来评估性能：在保持交互式代理严格延迟要求的同时，衡量单位功耗下完成的有用工作量，而不是单纯优先考虑原始吞吐量。这一区别至关重要，因为智能体工作流将大量模型调用串联在一起，导致微小的单步延迟在整个任务中累积。为了标准化结果，OpenAI使用了每个加速器公布的功率评级——Jalapeño为700瓦，而对比芯片分别为1,200瓦和1,400瓦——并确认在所有测试工作负载下，Jalapeño的实测持续功率保持在550瓦或以下。在与基准测试中最大的模型Kimi K2.5（一万亿参数）的对比中，Jalapeño每瓦特的峰值性能比参考系统高出约1.5倍，端到端延迟低3.4倍。虽然这一幅度在其他两个模型上较小，但仍足以使Jalapeño处于OpenAI所称的帕累托前沿（Pareto frontier），即经过测试的运行范围内。
Jalapeño的架构基于对语言模型执行过程的精准观察：提示处理受计算限制，而自回归令牌生成主要受内存带宽限制。芯片间通信延迟进一步加剧了这一问题，导致计算单元在等待数据时空闲。为了缓解这一问题，OpenAI设计Jalapeño以最小化数据移动，确保模型状态（包括生成期间所需的键值缓存）明确本地化。基于博通Tomahawk技术构建的广泛网络结构使得整个工作负载能够保留在一个互联系统内，无需在芯片边界之间传输数据。Tom’s Hardware对公开发布的芯片图像的分析证实了这一以内存为中心的设计：封装包含一个大型计算芯片模块，周围环绕着六个HBM模块，这种配置优化了本地内存访问，而非纯粹的计算密度。
博通的参与远不止于制造。该公司提供了硅片实现和网络结构，而Celestica负责主板、机架和系统集成。OpenAI将此次合作定位为一种可复制的模式：对自身模型和服务模式有深厚专业知识的AI运营商可以与经验丰富的硅片公司合作，而不是投资内部制造能力。博通首席执行官黄陈宏（Hock Tan）表示，该公司AI客户群的计算需求在本世纪末之前实际上是无限制的。同样，OpenAI总裁格雷格·布罗克曼（Greg Brockman）告诉CNBC，该公司“无法获得足够的计算资源”，这一观点与OpenAI不断扩张而非替代单一供应商的战略相一致。
Jalapeño从初步设计到流片仅用了九个月的时间，OpenAI部分将此归功于利用自身模型探索芯片实现并加速验证循环，包括对该芯片算术电路的优化。这种方法不仅限于硬件：OpenAI将Jalapeño设计为一个确定性编程目标，要求工程师将工作负载定义为具有显式通信协议的本地张量。这将复杂性转移到了AI驱动的系统上，由它们处理在整个基础设施上调度和映射操作的困难任务。通过使用Codex配合GPT-Astra，工程团队在两个月内将Jalapeño原始生产范围之外的三个开源权重模型优化到了高性能水平。对于GPT-OSS中的特定注意力机制和混合专家模块，AI生成的实现比人工编写的版本快1.5至1.8倍。这代表了前沿AI开发中更广泛趋势的一个缩影：首先在受限且可验证的环境（如芯片设计和内核优化）中验证的能力，一旦基础方法得到证明，便逐渐扩展到生产系统中。
在OpenAI宣布Jalapeño的五周前，月之暗面（Moonshot AI）推出了Kimi K3，这是一个拥有2.8万亿参数的模型，但在每个令牌的处理中仅在896个专家中激活1040亿个参数。市场反应类似于DeepSeek在2025年初亮相引发的地震性转变。半导体股票下跌，彭博社报道了中国AI竞争对手的大幅抛售；Z.ai当日下跌28%，MiniMax下跌16%。然而，彭博社随后的分析认为，直接将Kimi K3与DeepSeek进行比较具有误导性。虽然DeepSeek的突破侧重于降低训练和推理成本，但Kimi K3在大幅增加内存基础设施需求的规模上提高了计算效率。这种架构选择并没有削弱内存市场，反而加强了SK海力士的高带宽内存解决方案以及英伟达下一代系统的战略价值。
月之暗面的技术文档与此评估一致。Kimi K3建立在Kimi Delta Attention之上，这是一种混合线性注意力机制，旨在随着上下文窗口的扩展减轻标准Transformer架构固有的内存瓶颈。此外，还采用了一种月之暗面称为“注意力残差”的新型层间数据移动技术。对模型托管需求的独立分析指出，解码是主要瓶颈：由于每个新生成的令牌恰好访问一次模型的权重，计算核心在很大程度上因缺乏数据而饥饿，无论路由稀疏度如何，都在等待高带宽内存。月之暗面的官方部署指南建议在生产环境中使用由64个或更多加速器组成的超级节点配置。此外，第三方对发布检查点的评估估计，最低的实际VRAM占用空间超过1.6太字节。
中国的内存供应链仍是该架构的关键瓶颈。虽然华为牵头了一个旨在开发高带宽内存（HBM）芯片的国内联盟，但先进的HBM制造仍高度集中在SK海力士、三星和美光手中。中国最先进的国内内存生产商尚未证明能够制造现代加速器所需密度的HBM，更不用说实现量产了。随Kimi K3发布的美银研究笔记指出，尽管存在持续的算力限制，大规模预训练结合架构效率仍可能为中国实验室带来显著的性能提升。然而，这种观点更多地被视为缓解内存稀缺的策略，而非根本性的解决方案。
并排来看，Jalapeño和Kimi K3展示了来自不同起点却相同的行业压力。OpenAI几乎不受限制地获取尖端硅片，并追求定制芯片开发以最大化能效和成本优化——在这种策略中，每千瓦令牌数提高1.5倍意味着在庞大的数据中心舰队中产生巨大的财务节省。相反，月之暗面应对出口限制带来的下一代加速器及相关内存基础设施访问受限的问题，通过设计一种本质上每个令牌需要较少内存带宽的模型，而不是依赖未来的硬件可用性。这两种方法都得出一个单一的结论：随着模型规模的扩大和推理工作负载向更长、更具智能体的任务演变，内存带宽已成为太平洋两岸的AI实验室现在优先于原始计算吞吐量的关键资源。
OpenAI表示，计划到2026年底开始在自有基础设施中部署Jalapeño，同时继续扩大对英伟达和其他供应商的使用，而不是取代它们。该公司将这种混合采购策略描述为维持增长势头而不过度承诺于单一供应商依赖关系的关键。