Intel Arc Pro B60 GPU는 MLPerf v5.1 벤치마크에서 NVIDIA 대비 4배 우수한 가성비를 제공합니다.

Intel은 Intel Arc Pro B60 GPU를 탑재한 Project Battlematrix 워크스테이션의 새로운 벤치마크를 MLCommons의 최신 MLPerf Inference v5.1 릴리스를 통해 발표했습니다. 이 결과는 Intel Xeon P-cores와 Intel Arc Pro B60 그래픽스를 갖춘 Intel GPU 시스템의 6가지 주요 벤치마크에서의 성능을 보여줍니다. Llama 8B 추론 워크로드에서 Intel Arc Pro B60은 NVIDIA RTX Pro 6000 대비 최대 1.25배, L40S 대비 최대 4배의 성능당 비용 이점을 제공합니다.

더 구체적으로, Llama 3.1 (8B Datacenter) 추론 워크로드에서 Intel Arc Pro B60 "Project Battlematrix" 솔루션은 오프라인 모드에서 6472.37 Samples/s, 5348.45 Queries/s를 생성하며, NVIDIA L40S는 1642.22 samples/s, 1207.14 Queries/s를 기록합니다. RTX PRO 6000 "Blackwell" GPU가 전반적으로 더 빠른 성능을 제공하지만, Intel은 자사 솔루션으로 비용당 성능이 25% 더 우수하다고 주장하고 있으며, 이는 고성능 추론 플랫폼 도입을 제한해온 비용 요소를 해결합니다.

지금까지 데이터 개인정보 보호를 유지하면서 높은 추론 성능을 제공할 수 있는 플랫폼을 찾는 전문가들은 독점 AI 모델에 결부된 무거운 구독 비용을 피하면서 제한된 선택지에 직면해 있었습니다. Intel의 Project Battlematrix는 이러한 격차를 해결하기 위해 설계되었으며, 대규모 언어 모델을 위한 현대적 AI 추론 배포의 요구사항을 충족하기 위해 검증된 하드웨어와 소프트웨어를 결합한 올인원 추론 플랫폼을 제공합니다.

이 시스템은 Linux 환경을 위해 구축된 컨테이너화된 솔루션을 포함하며, 다중 GPU 확장 및 PCIe P2P 데이터 전송에 최적화되어 있으며, ECC, SRIOV, 원격 측정, 원격 펌웨어 업데이트와 같은 엔터프라이즈급 안정성 및 관리 기능을 갖춘 시스템입니다. CPU는 전처리, 전송 및 전반적인 시스템 조정을 처리하면서 이러한 시스템에서 중요한 조율 역할을 수행합니다. Intel Xeon은 지난 4년간 CPU 기반 AI 성능의 지속적인 개선을 통해 GPU 기반 시스템에서 AI 워크로드를 호스팅하고 관리하기 위한 선호 CPU로 자리잡았습니다.

Intel은 MLPerf에 서버 CPU 결과를 제출하는 유일한 벤더로, 컴퓨팅과 액셀러레이터 아키텍처 모두에서 AI 추론 기능을 가속화하려는 자사의 의지를 강조합니다. P-cores를 갖춘 Intel Xeon 6은 MLPerf Inference v5.1에서 세대별 1.9배의 성능 향상을 달성했으며, CPU 기반 AI 추론 부문에서 회사의 리더십을 추가로 입증합니다.