微软推出了Maia 300，该芯片专为多吉瓦级部署而设计。

以下为该报道的中文摘要,保留了关键数字与机构名称:

微软推出第三代自研AI加速器Maia 300。公司计划自2027年起以多吉瓦规模部署Maia系列,并使其成为旗下产品与服务的主要推理硬件。微软称,Maia 300每兆瓦可提供的token数比GPU系统多40%。

微软表示,Maia 300面向长上下文推理、对延迟敏感的对话以及多步骤智能体任务等日益重要的AI工作负载。在包含96个加速器的完整配置下,其每机架token吞吐量最高可达Maia 200的7倍。

Maia 200已投入生产,采用台积电3纳米工艺,配备216 GB HBM3e、7 TB/s带宽,功耗750瓦。目前Maia 200已用于Microsoft Copilot,并支持MAI团队开发新模型;GitHub Copilot和Microsoft Foundry将在今年年底前接入。该芯片可运行OpenAI模型、微软自研MAI模型及开源模型,Anthropic也计划在Maia上运行Claude模型。微软正在美国、欧洲和澳大利亚推广Maia 200,并称在Teams、Copilot和Cowork的AI功能上,其每瓦token数最高可比GPU基础设施高1.7倍。

在设计重点上,微软强调数据搬运而非原始算力。微软表示,"高效地移动数据,而非原始计算能力,正日益成为大型推理系统的瓶颈。"为此,Maia 300采用软件定义的数据流架构,并由AI自身优化内核。

规格方面,8个HBM4堆栈提供18 TB/s内存带宽,TDP为950瓦,带宽是Maia 200的两倍以上,功耗增加200瓦。此外,片上SRAM作为软件管理的暂存区。

Maia 300由多个小芯粒组成,计算、内存控制器和I/O分别位于不同芯粒上,计算芯粒由台积电采用N2P工艺制造。该芯片还支持低精度格式,如增强版MXFP4,从而降低KV缓存的内存占用,并支持更大的上下文窗口。

单机架包含96个加速器,功耗167千瓦,合计提供27.6 TB HBM容量和1.7 PB/s总带宽。在纵向扩展方面,微软采用自研的基于以太网的AI传输协议,可从单机架扩展到整个数据中心。首个量产部署计划于2027年进行。