NVIDIA将AI推理工作负载和积极的中国市场扩张列为关键增长前沿。

NVIDIA的数据中心业务目前每年产生约16亿美元的收入，主要由对深度神经网络训练的需求驱动，用于机器学习和人工智能应用。这项业务的大部分来自由亚马逊、谷歌、Facebook、IBM和微软运营的最大美国数据中心。在其年度北京图形技术大会（GTC）活动中，NVIDIA宣布了新技术和客户计划，旨在在推理领域获取市场份额，并加强其在中国AI市场的地位。推理是指训练好的神经网络对样本数据进行预测和分类，预计最终在芯片单位销量方面会超过训练市场，因为组织从研发阶段过渡到商业部署，包括云环境和边缘环境。

NVIDIA首席执行官黄仁勋宣布推出TensorRT3软件，该软件旨在优化训练好的神经网络在NVIDIA GPU上的推理处理。TensorRT3将使用任何机器学习框架构建的神经网络打包，用于在NVIDIA的数据中心和边缘设备组合中部署，充当"本质上是推理的CUDA"。该软件现已被中国最大的互联网数据中心阿里巴巴、百度、腾讯和京东部署用于机器学习工作负载。黄仁勋展示了令人信服的性能基准，展示了公司的能力，强调了与之前的V100（Volta）结果相比，使用新NVIDIA软件进行ResNet-50图像推理处理性能提高了约20倍。

作为TensorRT3公告的补充，阿里巴巴、百度和腾讯（中国最大的云服务提供商）宣布将向客户提供NVIDIA最新的Tesla V100 GPU，用于科学和深度学习应用。对于在自己的数据中心部署深度学习的企业，华为、浪潮和联想宣布他们将向全球客户群销售配备Volta GPU的基于HGX的服务器。HGX平台是一款具有NVLink互联的8GPU机箱，设计用于提供高GPU扩展密度，由NVIDIA与微软联合设计，通过Open Compute计划作为开源硬件平台提供。联想目前是唯一提供HGX的全球原始设备制造商，这代表了一个特别重大的胜利，因为该公司寻求用于大规模训练工作负载的高密度GPU服务器。

除了数据中心应用外，NVIDIA宣布京东的配送子公司将部署NVIDIA Jetson平台来引导和控制陆地和空中无人机配送服务。作为解决中国拥堵城市交通基础设施所带来挑战的方案，京东计划到2020年部署大约一百万架配备Jetson的无人机投入服务。随着机器学习从研究过渡到商业部署，NVIDIA正在定位自己与CPU、FPGA和ASIC竞争，以应对不同的数据中心和边缘处理需求。宣布的客户胜利展示了NVIDIA的竞争地位；但是，与NVIDIA保持主导地位的训练不同，推理数据、延迟和功耗需求的多样性预计会创造一个具有多个可行解决方案的竞争格局。