云基础设施供应商Vultr扩展GPU产品线,加入AMD Instinct MI300X处理器。
Vultr 是全球最大的私有云计算平台之一,正在通过推出 AMD Instinct MI300X 加速器来拓展其 AI 云推理产品组合。AMD Instinct MI300X GPU 旨在提供具有竞争力的性能,特别是在推理任务中表现突出,这对于在实际应用中部署 AI 模型至关重要。AMD 最新的 MLPerf 推理测试结果展示了 MI300X 与 Nvidia H100 竞争的能力,尽管 Nvidia H200 仍然保持性能优势。MI300X 在 MLPerf 基准测试中的表现,尤其是在 Llama2-70B 模型上的表现,证实了其在实际应用中的潜力。
MI300X 以其令人印象深刻的内存容量和处理能力脱颖而出。它配备了 192 GB 的 HBM3 内存和峰值内存带宽 5.3 TB/s,能够很好地处理 Meta 公司的 Llama 等最先进的大语言模型,甚至可以应对更大规模的模型。该 GPU 的高计算能力、大容量内存和优化的 ROCm 软件栈共同贡献了其强大的竞争力。随着大语言模型规模不断扩大,这些属性对于在推理和训练中提供高效且经济的解决方案至关重要。
Vultr 与 AMD 的合作利用可组合云基础设施,为 GPU 加速工作负载开辟了新领域,涵盖从数据中心到边缘计算。AMD ROCm 开源软件的集成进一步增强了这一环境,为 AI 开发和部署提供了业界领先的平台。Vultr 的产品承诺提供更优的性价比、可扩展的计算资源和优化的工作负载管理。对于从事 AI 研究和开发的企业而言,这意味着加快发现周期和更高效的创新流程,该平台特别针对 AI 推理进行了优化,以实现 AI 模型的更快速、更可扩展和更节能的处理。
Vultr 并非唯一看好 AMD 最新产品潜力的云提供商。Microsoft Azure 今年早些时候推出了采用这些 GPU 的 ND MI300X v5 虚拟机系列,Oracle Cloud 也已将 MI300X 添加到其产品组合中,为客户扩展了可用 AI 加速器的选择。随着云提供商寻求多样化其 GPU 产品组合,Vultr 与 AMD 的合作成为行业如何演进以满足不同 AI 工作负载需求的典范,预示着企业 AI 的未来在于开放、灵活的环境,能够适应快速变化的人工智能格局。