China Mobile Hubei와 Huawei, 중국 최초 통신사급 AI 추론 가속화 솔루션 검증 완료

MWC Shanghai 2026에서 중국 모바일 커뮤니케이션즈 그룹 후베이 유한회사와 화웨이는 화웨이의 AI 추론 가속화 솔루션의 성공적인 실시간 네트워크 검증을 발표했으며, 이는 중국 통신 업계에서 최초로 이루어진 검증이다. 화웨이 OceanStor A800 스토리지, Ascend A3 SuperPoD, Unified Cache Manager(UCM)을 기반으로 하는 이 솔루션은 긴 시퀀스 인공지능 추론 워크로드에 대해 토큰 처리량(TPS)을 최대 372%까지 향상시켜, 통신사들이 AI 컴퓨팅 서비스를 효율적으로 배포할 수 있도록 중요한 기술적 지원을 제공한다.

AI 애플리케이션이 점차 AI 에이전트로 전환됨에 따라 코드 생성 및 다중 턴 대화와 같은 긴 시나리오가 보편화되고 있다. 그러나 기존 온칩 메모리와 동적 랜덤 액세스 메모리(DRAM)는 KV 캐시 히트 비율에 심각한 제약을 가해 전체 성능을 제한한다. 화웨이는 이러한 병목 현상을 해결하기 위해 2025년 UCM을 도입했다. 고성능 외부 스토리지를 활용하는 UCM은 온칩 메모리와 DRAM의 기존 용량 한계를 제거하여 페타바이트(PB) 규모의 KV 캐시 기능을 가능하게 한다. 이 솔루션은 KV 캐시의 전 주기적 계층별 관리 및 스케줄링을 구현하여 단일 턴 대화의 컨텍스트 윈도우를 크게 확장한다. 또한 다중 턴 상호작용에서는 과거 KV 캐시를 재사용하여 중복 연산을 제거함으로써 더 낮은 비용으로 최적화된 추론을 제공한다.

이번 검증에는 중국 모바일 후베이의 실시간 네트워크에 vLLM-Ascend 프레임워크를 배포하고, MiniMax M2.5 및 GLM-5.1 등 주요 모델에서 8K부터 190K 토큰에 이르는 긴 시퀀스 입력을 테스트했다. 그 결과 컨텍스트 길이가 증가할수록 AI 추론 가속화 솔루션의 장점이 더욱 두드러지며, 긴 시퀀스 추론에서 흔히 발생하는 KV 캐시 용량 병목 현상을 효과적으로 해결하는 것으로 나타났다.

중국 모바일 후베이 관계자는 "후베이성은 국내 8대 컴퓨팅 파워 허브까지 지연 시간이 단 10밀리초인 핵심 지역에 위치해 있다. 이번 테스트는 스토리지-컴퓨팅-네트워크 협업의 필요성을 입증했다. AI 에이전트 상호작용 및 코드 생성 시나리오에서 AI 추론 가속화 솔루션은 처리량을 50% 이상 증가시킬 수 있으며, 이는 중국 모바일 후베이의 AI 서비스 대규모 배포를 위한 탄탄한 기반을 마련한다"고 밝혔다.

화웨이 글로벌 데이터 스토리지 마케팅 및 솔루션 영업부 부사장 마이클 치우(Michael Qiu)는 "주요 통신사들이 토큰 패키지를 출시함에 따라 AI 에이전트의 대규모 채택은 명확히 새로운 단계에 진입했다. 토큰 소비량은 기하급수적으로 증가할 것으로 예상된다. AI 추론 가속화 솔루션은 TTFT(First Token Latency)를 획기적으로 줄일 뿐만 아니라 토큰 비용을 대폭 절감하여 통신사들이 효율적이고 친환경적인 AI 컴퓨팅 인프라를 구축할 수 있도록 지원한다"고 말했다.

이번 성공적인 검증은 통신사를 위한 AI 컴퓨팅 인프라의 협력적 최적화에 있어 중요한 진전을 의미하며, 글로벌 AI 산업에 복제 가능한 기술 모델을 제공한다. MWC Shanghai 2026은 상하이에서 6월 24일부터 6월 26일까지 개최되며, 화웨이는 상하이 신국제박람센터 N1홀에서 최신 제품과 솔루션을 선보일 예정이다.