谷歌云承诺扩大英伟达GPU在机器学习推理工作负载中的应用。

自谷歌宣布推出自己的深度学习加速芯片——张量处理单元（TPU）以来，许多业界观察人士质疑这类定制芯片是否能大幅削弱英伟达的影响力。然而，谷歌最近扩展了其对英伟达最新GPU——基于图灵架构的T4——在谷歌云平台全球可用性的支持，表明谷歌的客户更倾向于使用经济高效的GPU进行训练和推理。这一举措表明谷歌认识到既需要专用GPU加速，也需要自有专有芯片技术。

人工智能推理处理市场——即训练好的神经网络被用于对新输入数据进行"推理"或预测其属性——已经获得了巨大关注，被视为专用半导体的下一个重大机遇。英伟达估计，神经网络成本的80-90%来自推理处理而非训练。推理虽然仍然是一项重要的计算任务，但所需的处理量比训练少几个数量级，甚至可以使用8位或更低精度的更高效整数数学来处理。这种转变影响深远，因为涵盖从数据中心到无人机等应用的推理市场，预计在未来十年内将超过训练收入。

英伟达目前主导人工智能加速领域，年收入约30亿美元，主要来自训练深度神经网络——这是一项规模极其庞大的处理任务，需要万亿次浮点运算。目前大多数推理处理在公共云中的英特尔至强处理器上执行，但数十家初创公司正在为更复杂的推理工作负载开发芯片。英特尔已认识到推理加速是一个新兴趋势，并将基于Nervana的推理芯片添加到其产品路线图中。这种竞争格局提出了关键问题：业界是否需要除快速CPU外的推理加速器，以及英伟达等通用GPU是否能与谷歌的TPU或英特尔的Nervana等定制应用专用处理器竞争。

谷歌在谷歌云平台所有地区扩展T4支持，表明对推理GPU存在巨大全球需求。T4是一款多功能产品，支持所有人工智能框架、深度学习模型和机器学习算法进行训练和推理。在谷歌云平台上，T4的价格低至每小时每个GPU 0.29美元，比英伟达V100便宜超过75%（V100的可抢占访问价格为每小时1.24美元）。英伟达继续从数据中心训练市场扩展到推理市场，指出Snap的变现算法和微软必应的对话式及图像搜索服务等都在英伟达GPU上运行，以此证明GPU在推理处理中的优势。

尽管谷歌发明了TPU，但它通过满足客户需求——快速、经济的推理处理——来展示市场意识。随着人工智能变得更加普遍，应用程序越来越多地组合多个神经网络来提供直观的用户界面，这些服务很可能在加速器上运行。英伟达在数据中心推理处理中充分展示GPU优势方面仍有大量工作要做，但即使是TPU的发明者谷歌也认识到推理GPU的价值和市场需求。