Lumai光学计算公司主张AI基础设施专门化硬件

随着前沿AI公司预计在未来五年内有效计算需求将增加约1,000倍，如果使用传统数字加速器来提供这一容量，需要投入约100万亿美元的基础设施投资和约1,000吉瓦的额外电力容量。预填充（处理生成开始前的输入上下文）和解码（生成输出令牌）在计算特性上有根本的不同。预填充主要由高度并行的矩阵乘法主导，是计算绑定的，而解码更多地由内存带宽和数据移动驱动。

随着领先的AI基础设施提供商朝着将预填充和解码分解为单独的基础设施池的方向发展，Lumai认为下一步的合理步骤是专门化为每个阶段提供动力的硬件。根据Lumai产品主管Phil Burr的说法，"如果工作负载在根本上是不同的，就没有理由要求同样的硬件完成两项工作。将预填充和解码分解是重要的一步。但更大的机会是将计算架构与工作负载相匹配。"

AI应用正通过更长的上下文窗口、检索增强生成、多模态输入和代理工作流改变推理的经济学，这些都增加了在令牌生成开始前必须处理的信息。单个用户请求现在可以触发多个模型调用，每个调用都携带来自之前所有内容的累积上下文。如今，推理计算的越来越大份额运行在为了充分完成两项工作而非专门完成一项工作而构建的硬件上。随着上下文长度增长或代理工作流添加另一次交互或调用，更多的可用功率被预填充消耗，扩大了一瓦特能够提供的推理容量与实际提供容量之间的差距。

在规模上，这造成了三个基础设施挑战。首先，功率成为约束因素，因为数据中心有效地将固定的兆瓦预算转换为推理容量，预填充层的效率决定了在模型生成其第一个令牌之前该功率能够提供多少有用计算。其次，GPU容量最终被搁置，因为GPU吸收更多预填充计算，并越来越多地处理上下文，而不是生成它们更擅长的令牌。第三，推理经济学成为约束，因为处理上下文的成本会使长上下文和代理应用越来越难以竞争性定价。Burr指出，"真正的问题是大规模时会发生什么。功率是固定的，GPU容量是有限的，每次交互都会增加更多需要处理的上下文。我们已经达到了推理的经济学取决于运行它的硬件效率的地步。"

Lumai Iris Nova使用光而不是电来执行定义预填充工作负载的矩阵乘法，在单个光学周期内完成每个向量矩阵乘法。其重要性在于光学计算创造了将预填充视为目的专用基础设施工作负载的可能性，而不是在通用硅上运行它。在Lumai测试中，Iris Nova实时运行十亿参数大型语言模型，并在预填充工作负载上展示了比基于GPU的同等产品高约10倍的每瓦计算能力，能耗比传统GPU架构低高达90%。将预填充移到目的专用硬件上释放了GPU容量用于令牌生成，使现有基础设施能够更加高效，而无需彻底更换。

Lumai是在2021年从牛津大学世界领先的光学研究中分拆出来的光学计算公司，正在为推理时代建造下一代AI基础设施。该公司是2025年年度科学突破Falling Walls奖的获得者，是Intel Ignite第一个伦敦队列的一部分，并在OCP未来技术研讨会上获得了最佳总体技术奖。Burr得出结论，"我们的观点不是每个加速器都需要被替换——而是我们应该停止要求每个加速器解决每个问题。未来的AI数据中心将越来越异构，不同的技术针对推理的不同阶段进行优化。"