Astera Labs扩展Leo内存控制器系列,为智能体AI和云工作负载提供增强的机架级互联支持。
Astera Labs宣布推出三款新的内存连接解决方案——Leo X-Series和Leo 2 E & P-Series,扩展其Leo智能内存控制器系列在直连交换矩阵GPU内存和CPU连接扩展以及池化/共享内存架构中的应用。
Moor Insights & Strategy副总裁兼首席分析师Matt Kimball表示:"代理AI的采用速度超过了业界为其配置内存的能力,且这一差距每个季度都在扩大。这一增长赶上了内存供应最困难的时刻,DDR5供应紧张、价格攀升,因此已部署的每一GB内存都必须发挥更大作用。新的Leo X-Series和Leo 2 E及P-Series智能内存控制器立即解决了KV缓存密集型AI工作负载的问题,改进了内存利用率,并可跨AI和通用云基础设施可靠地重复使用之前已部署的内存,而不是简单地购买更多内存。"
Leo X-Series是为AI加速器端内存需求专门设计的交换矩阵连接智能内存控制器。与Astera Labs的Scorpio交换矩阵交换机配对,利用PCIe和特定于平台的协议进行GPU扩展,Leo X-Series实现了对AI交换矩阵的直接连接,以及用于卸载KV缓存和代理上下文的专用内存层。随着上下文窗口的扩大和多轮对话保留更多先前的令牌,具有低延迟和高带宽访问的更大KV缓存容量对于最高价值的代理AI推理工作负载至关重要,有助于最小化响应时间并提供更快速的用户体验。
通过将内存直接连接到纵向扩展交换矩阵,Leo X-Series为GPU到KV缓存的访问提供了相比仅依赖CPU连接内存或NVMe存储层的架构更低的延迟和更高的带宽路径。对PCIe和特定于平台的定制接口的支持允许超大规模云提供商和AI平台提供商构建定制化内存伴随架构,而不是采用一刀切的设计。这些能力可实现最高62%的首包时间降低和最高22%的吞吐量提升。
增强的Leo 2 E-Series和Leo 2 P-Series为支持AI代理、内存数据库和通用云工作负载的CPU连接容量和机架级内存利用提供了互补方法。两者都支持四个DDR4或DDR5内存控制器,相比上一代内存带宽和容量翻倍,同时优化的芯片封装适合插卡和其他设计,以优化DIMM集成密度。
Leo 2 E-Series通过PCIe 6 x16主机连接提供直接CPU连接的CXL 3.2内存扩展,在无需另一个CPU插槽的情况下提供额外的内存容量,并使基础设施提供商能够在支持大容量工作负载的新云服务器中重新部署先前已部署的内存。
Leo 2 P-Series支持分离的CXL内存架构,可跨主机进行池化和共享,由双端口PCIe 6 x8连接和动态容量管理支持。主机可按需使用池化内存,而不用对每台服务器进行过度配置,将滞留的DRAM转变为机架级资源——这在内存供应受限的环境中至关重要。
在整个Leo系列中,超大规模级RAS和内存健康管理支持为不断发展的计算和内存平台提供可靠的运行。专用内存测试引擎和自动化修复引擎延长了现有DIMM的最长使用寿命,协助部署前测试,并识别可重复使用的可靠DIMM。增强的内存错误报告、事件记录、清洗、可定制的热管理和弹性固件更新保护工作负载并延长内存使用寿命。工作负载监测、性能分析、热点追踪、软件定义数据放置和延迟优化为长上下文代理AI和通用工作负载微调内存放置和访问延迟。遥测和管理集成与Astera Labs的COSMOS软件套件提供机队级可见性,因为运营商在云服务器机群中结合先前已部署的DDR4、新部署的DDR5、池化和加速器连接的容量。
Astera Labs计算连接组高级副总裁Thad Omura表示:"代理AI是AI基础设施经济学被决定的地方,这些经济学取决于让每一GB可用内存发挥作用。增强的Leo系列为基础设施提供商提供了专用方式,以跨机架将内存连接到加速器、CPU和主机——将先前已部署和滞留的容量转变为新AI和云工作负载可使用的资源。我们看到这转化为跨AI实验室、超大规模云提供商和新兴云平台更广泛的客户参与。"
增强的Leo系列由Astera Labs与包括AMD、Arm、Intel和主要内存供应商在内的CPU和GPU生态系统合作伙伴,以及超大规模云提供商和OEM合作伙伴密切合作开发。该系列现已向超大规模云提供商客户送样,并将在2026年AI基础设施峰会上展示,展会于9月15-17日在圣克拉拉会议中心举行,展示代理AI直连交换矩阵内存、DDR4重复使用、动态内存池化,以及配备Scorpio X-Series的代理AI内存分层。