반도체·하드웨어 · 리포트

Arm은 자사 AGI CPU가 새로운 평가 방법론을 적용한 7개 에이전틱 AI 워크로드에서 AMD EPYC 9755 대비 모델링된 랙 성능이 거의 2배에 달한다고 주장했다.

방법론이 타당하다면, Arm의 데이터센터 CPU는 에이전틱 AI 분야에서 랙당 성능 측면으로 AMD에 대해 경쟁력을 가질 수 있다. 다만 해당 수치는 측정값이 아니라 벤더가 모델링한 결과이다.

업계 전문지Slicast · 2026년 10월 19일 11:00 UTC · 글로벌 · 출처: Tom's Hardware

중요도 58

Arm은 지난주 자사의 데이터센터 CPU인 AGI CPU가 에이전틱 AI 워크로드에서 랙당 성능이 AMD EPYC 9755의 두 배라고 발표했습니다. 이 수치는 일곱 가지 워크로드에서 측정한 칩 성능과 서버 전력 가정을 바탕으로 계산된 것입니다. Fujitsu, Meta, OpenAI의 지원을 받아 개발된 Arm의 새로운 CPU 평가 방법론에 맞춰 수행된 테스트에서 나온 모델링된 랙 결과에서 비롯되었습니다.

Arm이 의뢰한 독립 분석에서 Signal65가 검증한 이 결과는 AGI CPU가 에이전틱 AI 분야에서 전반적인 선두에 있다는 것을 입증하지는 않습니다. 선택된 프로세서, 워크로드, 구성에만 적용되기 때문입니다. 또한 성능을 평가하는 새로운 표준이 되어야 한다고 Arm이 주장하는, Arm이 개발한 특정 평가 방법론에 의존합니다. AMD와 Intel을 포함한 다른 칩 제조사들은 서로 다른 벤치마크를 기준으로 성능을 주장합니다. 이에 따라 세 가지 질문이 제기됩니다. 에이전틱 AI가 CPU 성능 벤치마크를 어떻게 바꾸고 있는지, Arm이 무엇을 측정하자고 제안하는지, 그리고 서로 다른 접근법들이 어떻게 비교되는지입니다.

## Arm의 새로운 CPU 평가 방법론

에이전틱 AI는 현대 AI 데이터센터에서 CPU의 역할을 바꾸고 있으며, CPU가 복잡한 다단계 워크플로를 처리하도록 요구하고 있습니다. 가속기가 담당하는 추론 외에도 AI 에이전트는 도구를 실행하고, 데이터를 검색하고, 격리된 환경 안에서 상태를 유지하며, 가상 사용자처럼 작동합니다. CPU는 도구 실행, 데이터베이스 또는 API 요청 처리, 데이터 준비, 가속기 작업 조율 등 이러한 주변 워크로드를 담당합니다.

이러한 워크로드가 에이전트 기능과 함께 빠르게 확장되면서, CPU 성능을 동시에 실행할 수 있는 에이전트 수로만 판단하는 것이 아니라 실제로 얼마나 유용한 작업이 수행되는지로 평가하는 것이 점점 더 중요해지고 있습니다. Arm은 CPU 성능이 시스템이 응답성을 유지하면서 얼마나 많은 유용한 작업을 지속할 수 있는지로 점점 더 정의되고 있다고 주장합니다. 동시에 지원하는 에이전트 수가 늘어나도, 실행이 저하되거나 가속기가 CPU를 기다리며 유휴 상태에 머문다면 그 이점은 제한적입니다. 전력, 냉각, 물리적 공간 역시 운영자가 배치할 수 있는 하드웨어의 양을 제한하므로, 성능 문제는 랙 수준으로 확장됩니다.

Arm이 제안하는 방법론은 대표적인 에이전트 워크로드, 반복 가능한 CPU 측정, 그리고 종단간(end-to-end) 작업 결과에 대한 검증을 중심으로 합니다. 실제로는 에이전트가 사용하는 도구와 서비스를 식별하고, 통제된 조건에서 그 CPU 성능을 측정하며, 성능 향상이 에이전트의 작업 완료에 실제로 도움이 되는지 확인합니다. 예를 들어 데이터베이스 테스트로 시스템이 트랜잭션을 얼마나 빨리 처리하는지 확인할 수 있습니다. 이후 종단간 평가에서는 더 빠른 데이터베이스 접근이 그것에 의존하는 워크플로를 실제로 개선하는지 살펴봅니다.

이러한 비교를 반복 가능하게 만드는 것도 또 다른 과제입니다. 에이전트는 실행할 때마다 서로 다른 명령을 선택하거나 작업의 경로를 다르게 취할 수 있기 때문입니다. 모델 추론과 원격 서비스 역시 지연을 발생시킵니다. CPU 성능을 이러한 변동성과 분리하기 위해 Arm은 기록된 에이전트 동작을 재생하여 서로 다른 시스템이 일관된 작업 순서를 실행하도록 하는 방식을 제안합니다. Arm의 백서는 이러한 측정값을 선택하고 해석하기 위한 프레임워크를 제시하지만, 합의된 벤치마크 모음과 점수 산정 방식은 업계가 함께 만들어 가도록 남겨 두고 있습니다.

Arm은 자사 프레임워크에서 설명한 CPU 작업을 평가하기 위해 AGI CPU와 AMD의 EPYC 9755에서 일곱 가지 워크로드를 실행했습니다. 이 워크로드는 도구, 에이전트 워크플로, 추론/계획 영역에 걸쳐 있으며, 에이전트 실행을 위한 샌드박스 생성 오버헤드를 측정하는 Sandbench도 포함합니다. 테스트는 기존의 서버 애플리케이션과 에이전트 워크플로에 초점을 맞춘 벤치마크를 결합합니다.

| 워크로드 | 나타내는 대상 | 지표 |

|---|---|---|

| MySQL | 에이전트 도구 뒤의 트랜잭션 데이터베이스 | 초당 트랜잭션 수 |

| NGINX | 웹 및 API 요청 처리 | 초당 요청 수 |

| Milvus | 검색을 위한 벡터 검색 | 초당 쿼리 수 |

| Terminal-Bench 2 | 샌드박스 컨테이너에서 실행되는 72가지 에이전트 작업 유형, 동시에 128개 사본 실행 | 작업 완료 시간 |

| SWE-bench replay | 소프트웨어 엔지니어링 에이전트 워크플로, 259개 작업 | 분당 작업 수 |

| fastText | CPU 단어 표현 학습 | 초당 단어 수 |

| vLLM CPU overhead | 모델 연산을 우회한 상태에서의 CPU 서빙 오버헤드 | 초당 요청 수 |

vLLM 결과는 GPU 추론 처리량이 아니라 모델 실행을 둘러싼 CPU 작업을 측정합니다. 마찬가지로 보고서의 "추론/계획" 범주는 지원 CPU 워크로드를 묶은 것이며, 모델이 얼마나 지능적으로 추론하는지를 평가하지는 않습니다.

## AGI CPU 대 AMD EPYC 9755

하드웨어 가용성 때문에 Arm은 두 가지 AGI CPU 구성을 사용했습니다. Terminal-Bench 2와 SWE-bench replay에는 DDR5-7200을 탑재한 2.8GHz 128코어 칩을, 나머지 다섯 가지 워크로드에는 DDR5-8000을 탑재한 3.2GHz 136코어 칩을 사용했습니다. AMD 비교에는 DDR5-6400을 탑재한 128코어 EPYC 9755 한 소켓을 사용했습니다. 두 플랫폼은 동일한 벤치마크 스크립트를 실행했지만 서로 다른 소프트웨어 환경을 사용했습니다. Arm은 대부분의 테스트에 Ubuntu 24.04를, SWE-bench에는 Ubuntu 26.04를 기반으로 한 맞춤형 Linux 7.1.3 빌드를 사용했습니다. AMD의 주요 기록 구성은 Ubuntu 24.04와 Linux 6.8을 사용했으며, 설정은 테스트마다 달랐습니다.

칩 수준에서 AGI CPU는 일곱 가지 테스트 중 다섯 가지에서 대응하는 AMD 제품보다 우수했습니다. EPYC 9755를 기준으로 하면, Arm은 Terminal-Bench에서 9%, SWE-bench에서 13%, fastText에서 97% 앞섰지만, MySQL 처리량에서는 12%, Milvus에서는 5% 뒤처졌습니다. 일곱 가지 정규화된 성능 비율 전체에서 AGI CPU는 평균 20%(1.20배)의 칩당 우위를 보였습니다.

| 워크로드 | EPYC 9755 대비 측정된 칩당 성능 | EPYC 9755 대비 모델링된 랙당 성능 |

|---|---|---|

| MySQL | 0.88배 | 1.43배 |

| NGINX | 1.20배 | 1.95배 |

| Terminal-Bench 2 | 1.09배 | 1.93배 |

| SWE-bench replay | 1.13배 | 2.00배 |

| Milvus | 0.95배 | 1.54배 |

| vLLM CPU overhead | 1.16배 | 1.88배 |

| fastText | 1.97배 | 3.19배 |

| **산술 평균** | **1.20배** | **1.99배** |

랙 수준에서 Arm의 모델링된 성능은 AMD의 1.99배 평균이며, 일곱 가지 워크로드 모두에서 앞섭니다. 이 모델은 메모리와 기타 시스템 구성 요소를 포함한 정격 서버 전력 추정치로, 128코어 Arm 구성은 950W, 136코어 버전은 1,050W, AMD는 1,700W를 사용합니다. 24kW 랙 예산 중 약 8%를 네트워킹과 전력 분배용으로 남겨 두면, 이 모델은 Arm 서버 23대 또는 21대를 수용하며, AMD 서버는 13대를 수용합니다.

SWE-bench의 경우 랙당 2.00배 결과는 칩 수준 결과인 약 1.13배에 23/13을 곱해 얻은 것입니다. 더 큰 이득은 같은 전력 예산에 더 많은 서버를 넣을 수 있다는 데서 나옵니다. 이러한 예측은 또한 두 개의 완전히 채워진 랙에서 얻은 처리량 측정치가 아니라, 모델링된 서버 전체 전력을 사용합니다.

Arm의 모델은 AMD 서버에 약 두 배 많은 RAM도 할당합니다. 약 2TB로, Arm의 1TB와 비교됩니다. 이 모델은 하드웨어 스레드당 4GB를 할당하며, AMD의 각 코어는 두 개의 스레드를 지원하고 Arm의 각 코어는 하나의 스레드를 지원하므로, 메모리 전력 할당은 AMD 336W, Arm 192W가 됩니다. Signal65는 또한 메모리를 물리적 코어 단위로 할당했을 때 어떤 일이 일어나는지도 계산했습니다. 이 설정에서는 AMD의 메모리 및 전력 할당이 줄어들고, Arm의 평균 모델링된 랙 우위는 1.99배에서 약 1.81배로 떨어집니다. AMD의 2TB 구성의 가치는 워크로드가 실제로 필요로 하는 메모리 양에 따라 달라지며, SMT가 본질적으로 메모리를 두 배로 요구하는 것은 아닙니다.

결과를 검증하기 위해 Signal65는 Arm의 테스트 실행을 원격으로 관찰하고, 원본 로그, 결과 파일, 스크립트, 구성 기록을 검토했습니다. 별도의 검토팀이 자체 코드로 계산을 다시 수행하여 일곱 가지 결과를 모두 0.5% 이내로 재현했습니다. 그러나 Signal65는 자체 연구실에서 별도의 하드웨어 재실행을 수행하지는 않았습니다. 또한 BIOS와 메모리 설정은 EPYC 9965 시스템에 대해서만 독립적으로 확인할 수 있었고, Arm 및 EPYC 9755 시스템의 설정은 독립 검증이 불가능했습니다. 이러한 공백은 소프트웨어 차이와 함께, 결과를 프로세서 자체의 차이로 얼마나 확신을 가지고 귀속시킬 수 있는지를 다소 제한합니다.

## Arm의 접근법 대 AMD 및 Nvidia

Arm은 자사 방법론이 표준이 되어야 한다고 믿지만, 업계가 에이전틱 CPU 성능을 평가하는 방식을 독점하지는 않습니다. AMD는 와트당, 달러당, 랙당 에이전트 수를 내세웁니다. AMD EPYC 9006 페이지의 각주는 사용 가능한 CPU 스레드를 에이전트 용량의 대리 지표로 제시하며, 실제 처리량은 워크로드와 시스템에 따라 달라진다고 명시합니다. 별도의 AMD 워크로드 분석은 100kW 랙을 모델링하여, 여섯 가지 인프라 워크로드의 기하 평균을 사용해 EPYC 9965가 Nvidia Vera보다 2.37배의 성능을 낸다고 주장합니다.

반면 Nvidia는 Vera의 단일 스레드 성능과 메모리 대역폭을 강조하며, 256 CPU 랙이 22,500개 이상의 동시 CPU 환경을 지원한다고 말합니다. 이 수치들은 서로 다른 것을 설명하며, 어떤 특정한 우위를 직접적으로 의미하지는 않습니다. 제조사마다 워크로드, 전력 가정, 집계 방식이 다르기 때문에 CPU를 직접 비교하기가 복잡합니다.

현재의 비교 대상은 128코어를 갖춘 AMD의 5세대 "Turin" 프로세서입니다. AMD는 올해 에이전틱 AI 전용으로 설계된 최신 6세대 EPYC 9006 "Venice" 제품군을 출시했습니다.

원문 보기