Flex Logix发布具有成本效益的边缘AI推理基准测试。

# Flex Logix Technologies推出InferX X1边缘推理芯片

Flex Logix Technologies公司公布了其InferX X1边缘推理协处理器的真实基准测试结果，展示了其相比Nvidia Tesla T4和Xavier NX在多项性能指标上的显著优势。InferX X1以极其紧凑的尺寸实现了这些成果：芯片面积仅为Nvidia Xavier NX的1/7，为Nvidia Tesla T4的1/11。尽管占地面积明显更小，InferX X1在广泛被客户采用的开源模型YOLOv3上的延迟与Xavier NX相当，但在实际客户模型上的性能大幅超越两个竞争对手，在某些情况下速度快达10倍。

当以流处理吞吐量除以芯片面积来衡量时，性价比优势更为显著。按此指标衡量，InferX X1的性能比Tesla T4高2-10倍，比Xavier NX高10-30倍。Flex Logix首席执行官兼联合创始人Geoff Tate强调了特定模型测试的重要性："客户期望能够通过ResNet-50上的性能来比较不同方案。这些基准测试表明，推理加速器在一个模型上的相对性能并不适用于所有模型。客户应该真正要求评估的每个厂商对他们将要使用的模型进行基准测试，以了解他们将获得的性能。"

InferX X1基于Flex Logix的nnMAX架构构建，采用4个Tile，每个Tile具有4K个MAC（乘法累加单元）和8MB L2缓存，通过单个x32 LPDDR4 DRAM接口连接。芯片通过四条PCIe Gen3通道与主处理器连接，对于没有PCIe功能的主机，还提供备选的x32 GPIO链接。该系统可用TensorFlow Lite和ONNX进行编程，已提供性能建模工具，两个X1单元可协同工作，将吞吐量提升高达2倍。InferX X1正在完成最终设计检查，预计不久将进行流片，抽样预计在2020年第三季度进行，初期将同时以独立芯片和PCIe板卡形式提供。该解决方案针对边缘部署需求进行了优化，在个位数瓦特功耗下交付的吞吐量与价格数千美元的数据中心板卡相当，但成本大幅降低。