AI 인프라 운영사들이 급증하는 GPU 지출과 전력 비용 관리를 위해 Arm 아키텍처를 대안으로 채택하며 그 관심이 높아지고 있다.

설립 30여 년 후, 그리고 AI 인프라용 CPU 설계 출시 6개월 만에 Arm은 기업들이 AI 보안, 프라이버시 및 비용과 관련된 난제들을 처리하는 가운데serious한 데이터센터 경쟁자로 부상했다.

Arm은 1990년대 PC와 초기 모바일 폰에 내장된 소비자 기술로 시작하여, 이후 20년 동안 엣지 및 IoT 기기로 확장해 나갔다. 2016년 Softbank가 회사를 인수하며 R&D 자금을 투입했고, 이는 고성능 컴퓨팅과 클라우드 서버 인프라로의 진출로 이어졌으며, 특히 2018년 AWS Graviton 서버의 기반이 된 것이 가장 두드러진 사례다.

이 과정에서 더 많은 비즈니스 소프트웨어, 프로그래밍 언어 및 운영 체제가 Arm 칩과 호환되면서, Arm의 낮은 전력 소모가 매력적인 애플리케이션 분야에서 채택이 더욱 증가했다. Nvidia가 랙 규모 AI 인프라 시스템에 Arm CPUs를 채택하면서 업계에서 이 칩들의 입지는 더욱 높아졌다.

"5년 전만 해도 그것은 일방적인 경주였습니다: 인텔 아니면 인텔이었죠."라고 Moor Insights & Strategy의 설립자이자 CEO, 수석 분석가인 Patrick Moorhead는 말했다. "AWS가 Graviton을 위해 Arm을 채택한 이후, 전체 산업이 Arm 위에 오픈 소스 스택을 구축하기 시작했으며, 과거에는 2류 시민 취급받던 것이 이제는 네이티브가 되었습니다. 만약 당신이 기업이라면, 당신은 이미 Arm을 사용하고 있을지도 모릅니다."

한편, 지난 1년간 에이전트형 AI와 AI 인프라는 하이퍼스케일러와 프론티어 연구소 영역에서 벗어나 기업들로 확산되기 시작했다. 비용과 거버넌스에 대한 우려가 기업들로 하여금 AI 추론 워크로드를 내부로 가져오도록 고려하게 만들었기 때문이다. IBM과 Red Hat 같은 벤더들도 AI 인프라 비용을 통제하기 위해 경량 및 소형 언어 모델을 CPU 하드웨어에서 혼합 실행할 것을 기업들에게 제안한다. 그리고 클라우드 기반이든 온프레미스든 상관없이, AI 추론 및 에이전트형 AI 워크로드는 AI 모델 학습에 사용되었던 더 강력하고 비싸며 희소한 GPU보다 CPU를 점점 더 요구하는 추세다.

이러한 트렌드와 Arm의 궤적은 2026년 3월 완전히 교차했는데, 이때 Arm은 공식 역사에서 '회사의 정의적 이정표'로 묘사하는 AI 인프라용 AGI CPU를 출시했다. 회사 관계자들은 8월 20일 기자간담회에서 지난 한 해 동안 Arm이 AGI CPU의 기반이 되는 Neoverse 프로세싱 코어를 15억 개 이상 출하했으며, 그중 5억 개는 지난 9개월 동안 출하했다고 밝혔다.

또한 4월, 회사는 오픈 시스템 및 메인프레임용 듀얼 기능 칩 설계를 위한 IBM과의 합의를 발표했으며, 캘리포니아 주 스탠퍼드의 Hot Chips 컨퍼런스에서 이번 주 추가 세부 사항이 공개되었다.

Stephen Sopko(HyperFrame Research 분석가)는 "이러한 발전들은 AI가 기업으로 이동함에 따라 일어나고 있는 일들의 정점에 위치해 있다"며 "[메인프레임 지원]은 모두 기업과 관련된 문제"라고 말했다.

초기에 일부 분석가들은 메인프레임 통합을 위한 Arm과의 협업이 이전에 IBM Z와 x86 프로세서를 결합하려는 노력들(실현되었지만 lingering issues가 남았던)처럼 될지 의문을 제기했다.

계획된 새로운 프로세서는 2029년 IBM의 다음 System Z 리프레시까지 출하되지 않겠지만, 이번 주 회사들이 공개한 새로운 세부 사항은 일부 업계 관찰자들에게 놀라움과 흥미를 안겨주었다. IBM과 Arm의 기자간담회에 따르면, 차세대 칩은 동일한 프로세서 코어에서 System Z의 s390x와 Arm Aarch64 명령어 세트를 모두 실행할 것이다.

Steven Dickens(HyperFrame Research 설립자 겸 CEO)는 "현재 메인프레임에서 지원되는 모든 Linux 패키징 및 도구[s390x로] 포팅되어야 하며, 이를 담당하는 IBM 팀은 20명으로 구성되어 있으며 이는 풀타임 업무입니다"라고 말했다. "이것이 출하되면 포팅 작업은 필요하지 않을 것입니다. Arm에서 실행되는 거의 모든 것은 해당 명령어 세트에서 실행될 수 있게 됩니다."

Moorhead는 "그들이 그것을 수행한 방식은 매우 독창적입니다. 처음 이를 읽었을 때 저는 '좋아, 그들은 두 번째 칩을 넣는구나'라고 생각했습니다. 아니요, 그들이 아닙니다. '좋아, 각 환경마다 다른 펌웨어를 사용하는구나.' 아니요, 그렇지 않습니다."라고 말했다. "IBM과 Arm이 수행해야 했던 깊은 통합과 엔지니어링의 양에 감명받았습니다. 그리고 덧붙이자면, 저는 이것이 x86에게 치명적인 타격이라고 생각합니다."

메인프레임 통합은 아직 현재 현실보다는 미래의 전망이지만, Arm의 저전력 엣지 및 모바일 환경에서의 역사는 기업이 AI 워크로드를 온프레미스로 이전하는 것을 고려할 때 중요한 고려사항인 더 작은 전력 footprint 내에 더 많은 칩을 집적할 수 있음을 의미한다.

회사 측의 이번 달 기자간담회에 따르면, 예를 들어 36kW 공랭식 랙에서는 Arm의 AGI CPU가 30대의 1U 서버와 8,160개의 CPU 코어를 집적할 수 있다. 비교하자면, 회사의 보도자료에 따르면 유사한 사양의 x86 CPU 랙은 17대의 2U 서버와 4,352개의 CPU 코어를 수용할 수 있다.

어떤 면에서는 이러한 비교는 적절하지 않을 수 있습니다; x86 CPU는 전력 소모가 훨씬 크더라도 더 많은 컴퓨팅 성능을 제공하지만, Sopko는 가장 진보된 랙 규모 시스템 중 상당수는 GPU를 포함하며 액체 냉각이 필요하다고 지적했다. 공랭식 시스템에 더 높은 CPU 밀도를 집적하면, 기업들이 기존 온프레미스 데이터센터 인프라에 더 많은 장비를 맞추려 할 때 Arm에게 잠재적으로 매력적인 판매 포인트를 제공할 수 있다고 Sopko는 말했다.

Sopko는 "만약 당신이 구매 관리자나 CIO이고, 공랭식 데이터센터를 보유하고 있다면, 액체 냉각용으로 개조하기보다는 공랭식 제품을 찾을 것"이라고 말했다.

또한 Sopko는 Arm의 낮은 전력 소모가 물리적 AI 및 엣지 AI가 기업들의 주류가 되면서 잘 부합할 수 있다고 말했다. Qualcomm은 새로운 Dragonfly 데이터센터와 Dragonwing 엣지 컴퓨팅 하드웨어의 중심에 Arm 칩을 배치하며, 두 환경 모두에서 AI 인프라의 연속성을 강조하고 있다.

Sopko는 대만 타이페이에서 열린 Computex에서 Qualcomm CEO Christiano Amon이 발표한 프레젠테이션을 인용했는데, 이는 Earbuds부터 컴퓨터, 휴대폰, 자동차, 하늘을 나는 드론, 그리고 데이터센터에 이르기까지 다양한 기기를 뒷받침할 수 있는 동일한 프로세서 아키텍처(Arm 칩 포함)를 설명했다.

Sopko는 "Qualcomm의 동일한 아키텍처는 제가 지금 착용하고 있는 이어버드부터 제 컴퓨터, 휴대폰, 자동차, 하늘을 나는 드론, 그리고 데이터센터까지 이어질 것입니다."라고 말했다. "그의 요점은 우리가 에이전트 중심의 세계가 되어가고 있으며, 그 에이전트가 이러한 모든 기기 사이를 따라갈 것이라는 점이었습니다."

그러나 Sopko는 많은 기업들이 이미 대규모의 x86 하드웨어 스테이트와 여전히 x86을 선호하는 일부 레거시 소프트웨어를 보유하고 있어, AI 워크로드를 위해 기존 인프라를 개조할 때 또 다른 고려사항이 된다고 말했다.

주요 x86 벤더인 AMD와 Intel은 엣지에서조차 칩의 전력 효율성을 개선해 왔으며, AMD는 Ryzen을, Intel은 Xeon 6 및 Atom 프로세서를 개발해 왔다. 지난 주 AMD는 2030년까지 AI 학습 및 추론을 위한 랙 효율성을 20배 향상시키겠다는 2024년의 목표 달성에 상당한 진전을 이루었다고 보고했다.

Moorhead는 각 기업이 자체 워크로드에 대한 Arm과 x86의 성능 및 상대적 전력 효율성을 평가해야 한다고 말했다.

그는 "특정 환경에서는 전력 효율성상의 이점이 존재합니다"라고 말했다. "이는 매우 논쟁의 여지가 있는 주제이며, 예외는 항상 존재합니다. 뛰어난 성능을 가진 Arm 칩도 구매할 수 있고, 효율성 중심으로 설계된 Arm 칩도 구매할 수 있기 때문입니다."

그러나 Sopko는 Arm이 계속 남아있을 것이라고 말했으며, x86 컴퓨팅의 밀도 증가는 아마도 데이터센터 바닥 공간을 더 다양한 종류의 하드웨어를 위해 확보할 것이라고 말했다.

그는 "새로운 Intel Xeon 6+ 칩을 사용하면 이전 버전과 비교하여 데이터센터 바닥 공간의 3분의 1에 맞출 수 있습니다"라고 말했다. "그렇다면 질문은 다음과 같습니다: 나머지 3분의 2는 어떻게 하시겠습니까?"

궁극적으로 Informa TechTarget의 분사인 Omdia의 연구에 따르면 미래는 혼합될 가능성이 높다. 4월에 북미 지역 응답자 400명을 대상으로 실시한 설문조사에서 76%가 실리콘 다양성이 2년 전보다 이제 더 중요하다고 동의했다.

Omdia 분석가이자 설문조사를 주도한 Scott Sinclair은 "기업들에게 토큰 효율성은 중요하지만, 온프레미스 배포는 종종 전체 전력 envelope 측면에서 몇 가지 엄격한 제약 조건을 가지고 있습니다"라고 말했다. "이는 기존 환경에 적합하면서도 비용 효율성을 제공하는 실현 가능한 옵션을 제공하는 것에 관한 것입니다."

기업 AI 인프라 구매 결정에서 고려해야 할 또 다른 주요 요소는 Dell과 Nvidia를 포함한 벤더들이 가격 인상을 경고하고 있는 글로벌 메모리 부족 현상이다.

한 분석가는 이것이 AI 워크로드를 위한 CPU, 특히 Arm의 매력을 더욱 높일 것이라고 예측했다.

Moor Insights & Strategy의 분석가인 Mike Leone은 "부족 현상은 에이전트 작업을 위한 CPU로의 추진 동기도 뒷받침합니다"라고 말했다. "비싸고 희소한 부품이 GPU에 고정된 메모리라면, 그것을 필요로 하지 않는 것을 더 저렴한 소켓에서 실행하고 싶을 것입니다."

반대로, 메모리 비용과 희소성은 단기적으로 기업들이 AI 인프라를 클라우드에 유지하도록 유도하고 온프레미