2026年10月27日星期二
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

分析:AI硬件未来正在创业公司和超大规模厂商的硅设计选择中被铭刻。

推理时代经济学奖励专有设计推动定制硅周期加速;存储、互连和封装成为竞争向量。
行业媒体Slicast · 2026年6月28日 UTC 11:51 · 美国 · 来源: quasa.io
重要度 71

虽然聚光灯往往照向越来越大的模型和突破性能力,但一场更加宁静但同样具有变革性的革命正在运行这些模型的硬件中悄然展开。来自OpenAI、独立工程师和TAALAS等初创公司的最新进展预示着一个转变:朝向专用、模型优化硅片迈进,这可能会使AI比今天GPU主导的世界快得多、便宜得多、也无处不在得多。这不仅仅是增量改进——这是一个新时代的开始,在这个时代,AI推理从灵活但功耗巨大的通用处理器,转向专为此目的打造的硬件,可以提供令人惊叹的性能。

2026年6月,OpenAI与Broadcom合作开发的首款定制AI芯片亮相,由TSMC制造。这款处理器名为Jalapeño,专门针对大语言模型推理进行了优化——这是ChatGPT及类似服务的核心工作负载。早期报告突出显示了显著的效率提升,声称与等效工作负载的典型AI GPU相比,成本降低约50%。该芯片的设计周期短得惊人,仅用约九个月完成,得益于OpenAI自有模型的帮助。这是更广泛战略推动的一部分:OpenAI已承诺与Broadcom合作进行大规模定制加速器部署,目标是达到10吉瓦的电力容量。

为什么这很重要?来自NVIDIA的通用GPU在训练中表现卓越,并提供跨多种工作负载的灵活性,但大规模推理则面临不同的瓶颈——主要是内存带宽、能源效率和每个token的成本。像Jalapeño这样的定制ASIC可以针对这些特定模式进行硬件级优化,降低资本支出和运营成本,尤其是电力成本。随着OpenAI等企业规模化服务数十亿次查询,即使是微小的效率改善也能转化为巨大的成本节约,并使能够部署更多智能功能。这一举措也加剧了AI硬件领域的竞争,并减少了对任何单一供应商的依赖。

虽然定制ASIC为固定工作负载提供了最高效率,但现场可编程门阵列(FPGA)提供了一个中间方案:硬件级性能,同时能够在秒或分钟内重新配置逻辑。一名独立工程师最近通过令人瞩目的演示证明了这一点:他用RTL在FPGA上直接实现了完整的Transformer和KV缓存,运行Andrej Karpathy的微型microGPT模型,在仅80MHz的频率下达到超过56,000个token/秒的速率。当整个算法——包括矩阵乘法、注意力机制、归一化和采样——都映射到专用数字逻辑中,而不是在CPU或GPU上顺序执行时,芯片几乎可以在每个时钟周期产生结果。FPGA长期以来为视频处理、信号处理、雷达和航空航天系统等需要确定性和低延迟的高速应用提供动力。如今,同样的方法正被应用于神经网络。对于小型模型,这提供了荒谬级别的吞吐量。将这一概念扩展到更大的模型并非易事,但它证明了原理:硬件专用化可以为推理解锁数量级的速度和效率收益。

最极端的例子来自初创公司TAALAS,他们将硬件专用化推向了逻辑的极限。他们的HC1芯片将Meta的Llama 3.1 8B——2024年中期的一个能力强大的开源模型——直接硬连线到硅片中,使用激进的量化和混合3比特与6比特权重。你可以在chatjimmy.ai亲身体验它,其中响应感觉真正是瞬间的。该芯片基于TSMC的6纳米工艺构建,包含数百亿个晶体管,通过将权重和计算直接烧入晶体管本身,有效消除了传统的"内存墙"。无需独立的GPU内存获取;模型*就是*硬件。功耗和成本也显著降低了。虽然当前实现是特定于模型的(Llama 3.1 8B,上下文有限),但影响是深远的。想象一下将这种方法应用于用于软件开发、科学推理或代理工作流的更强大模型。曾经需要GPU机架的推理可以在紧凑、高效的卡上运行——甚至在边缘设备上——以令人惊叹的速度。TAALAS的方法指向"无处不在的AI":不仅易于获得而是*即时*且在全球规模上负担得起的智能。

权衡取舍很清楚:通用GPU提供了无与伦比的灵活性——你可以在今天运行几乎任何模型,明天再切换。硬连线或FPGA优化的解决方案提供了极致的性能和效率,但适应性较低。制胜策略可能是混合生态系统:用于训练和灵活服务的大规模通用集群,配合用于高容量推理流行模型的专用硅片、用于隐私敏感或低延迟任务的设备上执行,以及用于最苛刻工作负载的定制芯片。

如果这些轨迹继续发展,我们可能会看到硬件变得越来越专用于特定工作负载,同时在更广泛的系统中保持互操作性。挑战依然存在:开发定制芯片成本高昂且耗时繁重,尽管AI本身在帮忙。特定于模型的硬件面临随着架构发展而过时的风险。供应链和制造约束——例如TSMC产能——会很重要。但方向是明确的。

AI的未来不仅仅是更大的模型或更聪明的算法——而是直接编织在硅的构造中的智能,从头至尾为最重要的工作负载进行了优化。从OpenAI专注效率的Jalapeño,到TAALAS令人震撼的token/秒表现,再到FPGA实验突破可重配置硬件的边界,我们正见证硬件层追赶——某些情况下甚至超越——软件革命。结果是什么?更快、更便宜、更高效,最终更深度融入我们周围物理世界的AI。无处不在、即时智能的时代比看起来要近得多。

阅读原文
分析:AI硬件未来正在创业公司和超大规模厂商的硅设计选择中被铭刻。 · Slicast