2026年9月15日星期二
AI 基础设施 · 新闻与分析
首页芯片与硬件报道
芯片与硬件 · 报道

ScaleFlux推出针对Nvidia CMX和KV缓存卸载优化的AI SSD平台,以减少GPU内存压力。

存储计算融合中间件解决GPU内存瓶颈,通过分解缓存实现推理扩展。
行业媒体Slicast · 2026年8月3日 UTC 17:59 · 美国 · 来源: hpcwire.com
重要度 65

利福尼亚州米尔皮塔斯,2026年7月30日——先进内存控制器和存储优化技术领导者ScaleFlux今日宣布推出一款经AI优化的SSD平台,旨在满足NVIDIA CMX及其他KV缓存密集型AI推理基础设施的存储需求。该平台集成了Context-Insight SSD以进行工作负载分析与优化,针对KV缓存工作负载提供每天7次至超过10次的有效驱动器写入次数(DWPD),并支持每驱动器超过200个灵活数据放置(FDP)写入流,以实现细粒度、感知生命周期的数据放置。

随着AI推理系统采用SSD作为GPU HBM和主机内存之外的共享上下文层,出现了三个相互关联的挑战:理解实时工作负载行为、分离具有不同生命周期的KV缓存块,以及在避免触发过度SSD容量膨胀或更换成本的情况下维持高强度写入工作负载。

长上下文推理、共享前缀重用、智能体应用以及空闲会话保留正在迅速扩大AI系统必须维护的可重用KV缓存和其他运行时状态的规模。虽然SSD提供了一种具有成本效益的共享上下文层,但这一功能对驱动器提出了新的要求。KV块可能会被频繁写入,保留不同的时长,在空闲期后被重新激活,并在众多会话、工作者或租户之间异步失效。

ScaleFlux的高耐久性架构专为KV缓存工作负载设计,可根据工作负载特性、FDP利用率和设备配置,在五年内提供7次至超过10次的有效DWPD。更高的有效耐久性减少了基础设施运营商为吸收写入流量而必须配置的SSD容量数量。这使得更多的已安装容量能够用于存储有用的KV缓存和AI运行时状态,而不是主要作为耐久性开销,从而直接缓解了与高周转率AI推理运行时状态工作负载相关的耐久性驱动容量成本——通常被称为“耐久性税”。

ScaleFlux Context-Insight SSD的功能旨在补充最近发布的NVIDIA CMX Context Memory Storage Platform,为AI工厂提供针对KV缓存优化的高性能、高效率存储系统。CMX为高速KV缓存访问和重用提供共享的Pod级上下文层,而ScaleFlux则解决底层SSD层的耐久性、数据放置和写入放大需求。

支持每驱动器超过200个FDP写入流,使系统软件能够根据预期生命周期、会话或租户所有权、共享前缀分类、重用行为或其他软件定义类别对KV数据进行分区。将具有相似生命周期的数据分组在一起可以减少垃圾回收移动,降低写入放大,限制跨类干扰,并进一步提高有效耐久性。在初步受控测试中,与基线配置相比,ScaleFlux记录到使用感知生命周期的FDP放置时,写入放大约减少了两倍以上。实际性能将根据工作负载特性、生命周期分类、软件集成和设备配置而变化。

Context-Insight SSD通过展示软件级KV缓存策略如何影响实际SSD行为,增强了这些耐久性和放置能力。该平台监控延迟、队列深度、吞吐量、请求大小分布、数据年龄、首次读取前的写入时间、读取重用、NAND写入量、垃圾回收移动和写入放大。在独立SSD模式下,Context-Insight无需修改上层软件堆栈即可启动工作负载特征分析。当与软件集成时,它将高保真SSD遥测数据与会话ID、工作者或租户ID、共享前缀ID、KV块所有权、生命周期状态和键到块的映射等元数据相关联。这种所有权限知的分析有助于确定哪些会话、前缀、租户或生命周期类别导致了SSD延迟、耐久性消耗和写入放大。

这些功能共同为ScaleFlux及其合作伙伴提供了一条从测量到生产优化的实用路径。Context-Insight识别并量化存储效率机会,而可扩展的FDP放置和7–10+的有效DWPD提供了将这些见解转化为减少写入放大、增强耐久性和改善AI基础设施经济性的所需机制。

ScaleFlux首席执行官兼联合创始人钟浩表示:“AI推理基础设施需要的是不仅仅提供额外容量的SSD。基础设施团队需要了解KV工作负载如何影响驱动器,根据生命周期分离数据,并在不部署过多容量来稀释写入的情况下维持高写入速率。ScaleFlux将工作负载智能、可扩展的FDP放置和7-10+的有效DWPD整合在一个AI优化的SSD平台中。”

ScaleFlux还在开发一种基于跟踪的模拟器,该模拟器模拟KV缓存在GPU HBM、主机内存和SSD层之间的移动。该模拟器生成可重放的SSD跟踪数据,以便在受控条件下评估放置、驱逐和生命周期分组策略。

NVIDIA存储技术副总裁Jason Hardy表示:“随着AI推理系统将KV缓存扩展到GPU内存和DRAM之外,了解SSD层的行为和需求变得越来越重要。我们与ScaleFlux的合作有助于表征KV缓存卸载对延迟、耐久性和写入放大存储需求的影响,为围绕NVIDIA CMX的更广泛存储生态系统做出贡献。”

ScaleFlux将在FMS上展示该平台,重点介绍Context-Insight工作负载分析、KV元数据相关性、支持每驱动器超过200个FDP写入流、感知生命周期的放置、写入放大减少以及针对写入密集型KV缓存工作负载定制的高耐久性操作。

该平台符合ScaleFlux更广泛的战略,即通过工作负载智能、软件辅助的生命周期放置和控制器级耐久性优化,使SSD能够管理日益重要的AI运行时状态。

关于ScaleFlux

ScaleFlux是一家半导体解决方案公司,提供先进的存储和内存技术,旨在以可扩展和可持续的方式变革数据基础设施。ScaleFlux成立于2014年,总部位于加利福尼亚州米尔皮塔斯,为AI、云计算、数据中心、企业和边缘应用开发创新的存储和内存控制器技术。欲了解更多信息,请访问www.scaleflux.com。

阅读原文
ScaleFlux推出针对Nvidia CMX和KV缓存卸载优化的AI… · Slicast