分析设计专业AI推理处理器的技术挑战。

AI推理芯片的市场格局仍然分散，没有出现单一的主流架构。正如Arm公司机器学习部门营销副总裁Dennis Laudick所解释的，"机器学习可以运行在各种处理器上，具体取决于你最关心的是什么。"对于关键词识别或离线照片分析这样的轻量级工作负载，现有CPU足以胜任，而对于对性能或能效有要求的更重型工作负载，则需要专门的解决方案。ML网络特征具有多样性——正如Laudick指出的，"许多音频相关的ML网络是标量密集型且矩阵相对较轻，而许多物体检测算法是矩阵密集型但标量需求相对较少"——这意味着对于芯片架构而言"没有唯一的正确答案"。

"边缘计算"的定义已大幅扩展，涵盖从低端物联网到数据中心部署，各自具有不同的要求。根据Cadence公司Tensilica Group的边缘AI推理产品管理总监Megha Daga的说法，"边缘计算已经从低端物联网一直扩展到数据中心边缘。"在消费者物联网应用中，由于电池限制，能效至关重要，而AR/VR应用则面临独特的挑战，因为设备需要佩戴在脸上，并且需要整合多种传感器类型以及视觉和音频处理功能。正如Daga解释的，"这不是标准的AI推理，因为你没有足够的面积和功率来集成多个芯片。"工业物联网和数据中心应用主要关注数据分析，以及通过在边缘处理数据而不是将其移至云端而实现的成本节省。

推理芯片的关键技术考虑因素包括吞吐量、内存和带宽管理。虽然即使对于供电设备，由于散热限制，功率仍然是关键因素，但内存带宽在系统层级中变得越来越重要。市场机会正在多个垂直领域扩展，Flex Logix首席执行官Geoff Tate指出，用于超声系统的生物医学成像、基因组系统、需要高分辨率和高帧率的科学成像以及零售监控摄像头等都是增长的应用领域。一些公司，包括在数据中心部署中的微软，采用嵌入式FPGA技术与基于CPU的方法相结合来应对多样化的推理工作负载。