Flex Logix가 비용 효율적인 성능/가격 지표로 엣지 AI 추론 벤치마크를 공개합니다.

Flex Logix Technologies는 InferX X1 엣지 추론 코프로세서에 대한 실제 벤치마크 결과를 발표했으며, 여러 성능 지표에서 Nvidia의 Tesla T4 및 Xavier NX에 비해 상당한 우위를 입증했습니다. InferX X1은 놀랍도록 소형 설계로 이러한 결과를 달성합니다: 다이 크기가 Nvidia의 Xavier NX의 1/7 크기이고 Nvidia의 Tesla T4의 1/11 크기입니다. 훨씬 더 작은 설계 공간에도 불구하고, InferX X1은 고객들이 광범위하게 채택한 오픈소스 모델인 YOLOv3에 대해 Xavier NX와 유사한 지연 시간을 제공하는 동시에, 실제 고객 모델에서는 두 경쟁사를 실질적으로 능가하여 한 경우에는 10배 빠른 속도를 달성했습니다.

스트리밍 처리량을 다이 크기로 나눈 값으로 측정할 때 가격 대비 성능 우위가 더욱 극적입니다. InferX X1은 이 지표에 따라 Tesla T4보다 2-10배, Xavier NX보다 10-30배 더 우수한 성능을 제공합니다. Flex Logix의 CEO이자 공동 창립자인 Geoff Tate는 모델별 테스트의 중요성을 강조했습니다: "고객들은 ResNet-50의 성능을 사용하여 다양한 선택지를 비교할 수 있기를 기대합니다. 이러한 벤치마크는 한 모델에서의 추론 가속기 성능이 모든 모델에 적용되지 않음을 보여줍니다. 고객들은 평가 중인 각 공급업체에 자신들이 사용할 모델을 벤치마킹하도록 요청하여 실제 성능을 파악해야 합니다."

InferX X1은 Flex Logix의 nnMAX 아키텍처를 기반으로 구축되었으며, 4K MAC과 8MB L2 SRAM을 갖춘 4개의 타일로 구성되어 단일 x32 LPDDR4 DRAM 인터페이스에 연결됩니다. 칩은 PCIe Gen3의 4개 레인을 통해 호스트 프로세서에 연결되며, PCIe 기능이 없는 호스트를 위한 대체 x32 GPIO 링크도 제공됩니다. 이 시스템은 TensorFlow Lite 및 ONNX를 사용하여 프로그래밍 가능하며, 성능 모델러가 이미 사용 가능하고, 두 개의 X1 유닛이 함께 작동하여 처리량을 최대 2배까지 증가시킬 수 있습니다. InferX X1은 최종 설계 검사를 완료하고 있었으며 곧 테이프아웃이 예상되었고 Q3 2020년 샘플링이 계획되었으며, 초기에는 독립 칩과 PCIe 보드 형태로 모두 출시되었습니다. 이 솔루션은 엣지 배포 요구 사항에 최적화되어 있으며, 수천 달러의 데이터센터 보드에 필적하는 처리량을 제공하면서도 한 자릿수 와트의 전력으로 작동하고 훨씬 낮은 가격대입니다.