NVIDIA 与 AWS 联合宣布 EC2 G7 实例采用 Blackwell GPU 和 OpenSearch GPU 加速向量搜索
大规模构建AI系统需要低延迟推理、快速向量搜索、强大的GPU性价比,以及能够增长而不增加运维复杂性的基础设施。NVIDIA与亚马逊网络服务公司的最新合作通过在Amazon OpenSearch和Amazon EC2上的进步来应对这些约束。
由NVIDIA RTX PRO 4500 Blackwell Server Edition GPU驱动的Amazon EC2 G7实例扩展了AI、图形、视频和数据分析工作负载的计算层。与G6实例相比,G7提供高达4.6倍的AI推理性能、高达2.1倍的图形性能,以及使用NVIDIA cuDF库的Apache Spark工作负载在Amazon EMR上显著更快的GPU加速数据分析。G7实例支持最多八个GPU、256GB的总GPU内存、每秒700吉比特的EFA启用网络和最多7.6TB的本地NVMe SSD存储,支持一个、两个、四个和八个GPU配置,以及即将推出的裸金属配置,让客户能够为其工作负载适当调整基础设施规模,而不是过度配置。这些实例可通过AWS深度学习Amazon Machine Images、Amazon深度学习容器、Amazon EMR、Amazon EKS、Amazon ECS和图形AMI访问,不久还将在Amazon SageMaker AI上推出。
Amazon OpenSearch Serverless通过使用由NVIDIA cuVS驱动的GPU加速向量索引作为所有向量集合的默认计算选择,在无需基础设施管理的情况下为代理AI和动态工作负载提供支持。对于构建检索增强生成、语义搜索、推荐系统和代理AI应用的团队,这一转变将GPU驱动的向量搜索从专门的优化项目转变为标准AWS功能。与仅CPU构建相比,向量索引运行速度快达十倍,成本为四分之一,使构建十亿规模的向量数据库可在一小时内实现。
AWS在NVIDIA GB300上获得了NVIDIA示范云状态用于训练工作负载,达到了NVIDIA用于针对其参考架构的AI工作负载基准的严格性能阈值。这一成就源于AWS和NVIDIA团队之间的深入协同工程努力,使开发人员和AI领导者能够使用一致、高性能的云基础设施进行大规模训练,更有信心地控制总拥有成本,并加快上市时间。