전문화된 AI 추론 프로세서 설계의 기술적 과제 분석

AI 추론 칩의 환경은 단일 지배적 아키텍처가 나타나지 않으면서 분산된 상태를 유지하고 있습니다. Arm의 머신러닝 그룹 마케팅 부사장 Dennis Laudick이 설명하듯이, "머신러닝은 가장 중요하게 여기는 사항에 따라 다양한 프로세서에서 실행될 수 있습니다." 키워드 스팟팅이나 오프라인 사진 분석 같은 가벼운 워크로드에는 기존 CPU로 충분하지만, 성능이나 전력 효율이 중요한 무거운 워크로드에는 특화된 솔루션이 필요합니다. ML 네트워크의 특성 차이—Laudick의 설명에 따르면 "많은 오디오 중심 ML 네트워크는 스칼라 연산 집약적이고 상대적으로 행렬 연산이 적은 반면, 많은 객체 감지 알고리즘은 행렬 연산 집약적이지만 스칼라 연산은 상당히 적습니다"—는 "칩 아키텍처에 있어 하나의 정답이 없다"는 의미입니다.

"엣지"의 정의는 저수준 IoT에서 데이터센터 배포까지 광범위하게 확대되었으며, 각 영역마다 고유한 요구사항을 가지고 있습니다. Cadence의 Tensilica Group에서 엣지 AI 추론을 담당하는 제품 관리 이사 Megha Daga는 "엣지는 저수준 IoT에서 데이터센터 엣지까지 모든 범위로 확대되었습니다"라고 설명합니다. 소비자 IoT 응용 분야에서는 배터리 제약으로 인해 전력 효율이 매우 중요하고, AR/VR 응용 분야는 기기가 얼굴에 착용되며 시각 및 오디오 처리와 함께 여러 센서 유형을 통합해야 한다는 점에서 독특한 과제를 안고 있습니다. Daga의 말에 따르면, "AI는 표준적인 AI 추론이 아닙니다. 여러 칩을 배치할 공간과 전력이 부족하기 때문입니다." 산업용 IoT 및 데이터센터 응용 분야는 데이터를 클라우드로 보내는 대신 엣지에서 처리함으로써 얻을 수 있는 데이터 분석 및 비용 절감에 중점을 두고 있습니다.

추론 칩의 핵심 기술 고려사항은 처리량, 메모리 및 대역폭 관리에 중점을 두고 있습니다. 전력은 열 방산 제한으로 인해 플러그 연결 기기에서도 여전히 중요하지만, 메모리 대역폭이 시스템 계층에서 점점 더 중요해지고 있습니다. 시장 기회는 여러 분야에서 확대되고 있으며, Flex Logix의 CEO Geoff Tate는 초음파 시스템용 생의학 영상, 유전체 분석 시스템, 고해상도와 높은 프레임 레이트가 필요한 과학 영상, 소매 감시 카메라를 성장 분야로 지적합니다. Microsoft를 포함한 일부 회사는 다양한 추론 워크로드를 처리하기 위해 데이터센터 배포에서 CPU 기반 접근 방식과 함께 내장형 FPGA 기술을 활용하고 있습니다.