컴퓨트·클라우드 · 리포트

구장 지능 컴퓨팅 클라우드는 GLM-5와 같은 모델에 대해 강화 학습 시스템이 훈련과 추론의 일관성을 어떻게 보장하는지 보여주며, 순수 사전 훈련 확장에서 나타나는 한계점을 극복한다.

클라우드 인프라에서 사후 학습 강화학습(RL) 워크플로우를 최적화하면 모델 신뢰성이 향상되고 계산 자원 낭비가 줄어들어 AI 학습 클러스터의 투자수익률(ROI)에 직접적인 영향을 미칩니다.

업계 전문지Slicast · 2026년 8월 19일 07:55 UTC · 중국 · 출처: 雷锋网

중요도 65

사전 학습의 한계 수익이 감소함에 따라 모델 능력의 확장(pre-training capability scaling)은 단순한 사전 학습 축적에서 사후 학습 강화 학습(RL, Reinforcement Learning)으로 전환되고 있습니다. 수학 추론, 코드 생성, 복잡한 의사결정, 장기적 에이전트(long-horizon agents)와 같은 고급 기능들은 그 잠재력을 끌어내기 위해 강화 학습에 점점 더 의존하고 있습니다. 생성, 실행, 피드백, 보상이라는 사이클을 통해 RL은 모델이 추론, 계획, 자기 수정 능력을 지속적으로 정교화할 수 있도록 합니다.

결과적으로 대형 모델 개발은 “일회성 학습”에서 “지속적 학습”으로 전환되었으며, 이는 능력 확장을 전체적인 생성-피드백-반복 라이프사이클 전반으로 확장시켰습니다. SemiAnalysis는 RL이 지속적 확장의 핵심 기둥이 됨에 따라, 이제 경쟁은 알고리즘뿐만 아니라 지속적인 생성, 학습, 업데이트를 지원하는 AI 인프라 시스템에도 달려 있다고 지적합니다.

Zhipu는 GLM-5.3과 GLM-5.2가 동일한 파운데이션 모델 위에서 RL을 추진하며 사후 학습 확장을 통해 모델 지능의 상한선을 지속적으로 높이고 있다고 발표했습니다. 예를 들어 GLM-5.2의 경우, 특히 장기적이고 다단계이며 도구 결합(tool-coupling) 시나리오를 위해 설계된 전용 RL 훈련 덕분에 SWE-bench Pro에서 62.1점, Terminal-Bench 3.0에서 81.0점을 달성했습니다. 이는 복잡한 추론 및 에이전트 기능의 발전이 강화 학습에 점점 더 의존하게 되었다는 광범위한 산업 현실을 강조합니다.

이러한 패러다임 전환은 또한 AI 산업의 분업 구조를 재편하고 있습니다. 모델 벤더는 이제 알고리즘만으로는 독자적으로 진보할 수 없으며, “지속적 지능형 생산”을 가능하게 하기 위해 AI 인프라 제공업체와 협력해야 합니다.

현재 GLM-5 시리즈와 DeepSeek R 시리즈를 포함한 주요 추론 모델들은 Jiuzhang Intelligent Computing Cloud에 배포되어 확장된 토큰 생산을 수행하고 있습니다. 전통적인 “모델 + 컴퓨팅” 관계를 넘어, Jiuzhang와 모델 벤더들은 알고리즘과 엔지니어링 시스템 간의 양방향 RL 확장을 위한 협력 체계를 구축했습니다. 벤더들은 RL 알고리즘과 전략의 한계를 지속적으로 넓히는 반면, Jiuzhang는 산업용 배포를 위한 적응형 컴퓨팅 스케줄링, 추론 서비스, 상태 관리를 정교화합니다. 대규모 모델 알고리즘이 진화함에 따라 더 높은 인프라 표준이 요구되며, 이는 다시 더 대규모의 RL 구현을 위한 용량을 창출합니다.

이 생태계에서 모델 벤더와 AI 인프라는 동전의 양면과 같습니다. RL은 모델 학습의 이산적(discrete) 알고리즘 단계에서 AI 클라우드가 본질적으로 갖추어야 하는 핵심 능력으로 진화했습니다. 모델, 컴퓨팅, 데이터, 상태, 추론은 더 이상 고립되지 않으며, 함께 지속적으로 작동하는 지능형 생산 라인을 형성합니다.

따라서 중심 질문은 “모델 + 컴퓨팅”에서 “단일 지능형 생산 라인을 통해 어떻게 알고리즘과 인프라가 공동으로 확장되어 더 낮은 비용으로 효과적인 토큰과 모델 능력을 생산할 수 있는가”로 이동했습니다.

RL과 기존 사전 학습의 근본적인 차이는 학습 알고리즘의 추가에 있는 것이 아니라, 학습 시스템 자체의 재구성에 있습니다.

완전한 RL 시스템은 일반적으로 세 가지 구성 요소로 이루어집니다: 생성기(Generator), 환경(Environment), 트레이너(Trainer). 생성기는 프롬프트를 받아 추론을 통해 롤아웃(rollouts)을 생성합니다. 환경은 코드를 실행하거나 도구를 호출하거나 작업을 시뮬레이션하여 보상을 반환합니다. 트레이너는 롤아웃과 보상을 기반으로 모델 가중치를 업데이트한 후, 새로운 가중치를 생성기에 피드백합니다. 이는 생성 → 보상 → 학습 → 업데이트 → 생성이라는 지속적인 루프를 형성합니다. 정적 데이터셋에 의존하는 사전 학습과 달리, RL 학습 데이터는 모델에 의해 실시간으로 생성되며, 이는 학습과 추론 간 최초의 진정한 지속적 생산 관계를 의미합니다.

이 아키텍처는 중요한 병목 현상을 도입합니다. 만약 트레이너가 초당 100개의 샘플을 처리하지만 생성기가 초당 60개만 생성한다면, 컴퓨팅 자원이 유휴 상태로 남습니다. 반대로 생성기가 트레이너보다 빠르면 롤아웃이 쌓여 낡아지고, 이는 정책의 노후화(policy staleness)로 이어집니다.

따라서 RL 인프라 최적화의 핵심은 이제 고립된 GPU 활용도가 아닌, 트레이너 처리량(Throughput)과 유효 생성기 처리량의 동적 일치입니다.

이 메커니즘을 활용함으로써 학습과 추론은 마침내 진정한 지속적 생산 관계를 수립합니다. RL 시스템은 점점 더 분산된 생산 아키텍처와 유사해집니다: 생성기는 생산자 역할을 하고, 트레이너는 소비자 역할을 하며, 전체 시스템은 처리량, 데이터 신선도, 자원 활용도 사이의 지속적인 균형을 필요로 하는 분산 파이프라인으로 기능합니다.

Jiuzhang Intelligent Computing Cloud와 인민대학 Renmin University of China의 STILL Project Team이 공동으로 발표한 *An Empirical Study on Eliciting and Improving R1-like Reasoning Models*라는 실증 연구는 이러한 메커니즘을 검증합니다. 이 연구는 Qwen2.5-32B 및 DeepSeek-R1-Distill-Qwen-1.5B와 같은 모델들이 지속적인 RL 반복을 통해 잠재적 추론 능력을 끌어낼 수 있음을 보여주며, 후자는 AIME 2024에서 39.33%의 정확도를 달성했습니다. 연구는 온-폴리시(on-policy) 학습이 지속적인 성능 향상에 중요하며, 단순히 긴 응답에 보상하는 것은 “길이 해킹(length hacking)” 위험을 초래할 수 있음을 추가로 시사합니다. Reward Model을 동적으로 업데이트하는 Cooper 방법은 보상 해킹을 효과적으로 완화하고 엔드투엔드 RL 결과를 개선합니다.

이는 RL이 단순한 증분 학습이 아니며, 전략, 생성, 환경, 학습, 피드백이 포함된 매우 밀접하게 결합된 시스템 엔지니어링 노력임을 증명합니다.

가장 쉽게 간과되는 점은 생성기와 트레이너 간의 동적 일치입니다. 생성기가 너무 느리면 학습용 GPU가 대기하게 되고, 너무 빠르면 롤아웃이 쌓이고 노후화됩니다. 장기적 에이전트 작업의 경우 단일 롤아웃에는 여러 도구 호출과 초장문 컨텍스트가 포함되므로, 생성기 자체가 완전한 실시간 추론 시스템이 됩니다. 또한 두 구성 요소는 GPU뿐만 아니라 모델 가중치, 롤아웃, KV 캐시, 환경 상태, 작업 큐를 공유합니다. 느린 가중치 업데이트는 정책 노후화를 유발하는 반면, 지나치게 빈번한 업데이트는 모델 로딩 및 데이터 전송 비용을 증가시킵니다.

따라서 RL 인프라는 학습 또는 추론 처리량의 고립된 증가가 아닌, 전체 라이프사이클 동안 생성기와 트레이너 간의 효율적인 일치를 유지해야 합니다.

Jiuzhang Intelligent Computing Cloud는 바로 이 과제에 초점을 맞춰 RL 엔지니어링 인프라를 구축했습니다: 생성기, 환경, 트레이너를 통합 워크플로우로 통합하고, 전역 동적 스케줄링을 사용하여 각 단계의 자원 요구 사항에 적응합니다. 생성이 병목 현상이 되면 추론 자원이 추가되고, 학습 피크 시 컴퓨팅이 재배분되며, 환경이 대기할 때 유휴 GPU가 해제됩니다. 결과적으로 AI 스케줄링은 “어떤 기계에 여유 GPU가 있는가”에서 “모델, 궤적, 상태, 다음 단계 계산이 어디에 위치해야 하는가”로 변화합니다.

직접적인 이점은 모델 속도 가속화입니다. MiniMax M2.1 229B 및 Qwen3-Coder-Next 80B와 같은 최첨단 모델에서 초기 속도는 첫날 1.5배 증가했으며, 트래픽 변동에 따라 정적 예측자와 비교했을 때 속도가 추가로 1.25배 향상되었습니다.

한편, 대부분의 배포 방식은 오프라인에서 훈련된 스펙큘레이터(speculators)를 고정시키므로 배포가 느려지고 트래픽이나 대상 모델이 변경될 때 실패합니다. Jiuzhang는 온라인 스펐큘레이티브 디코딩(online speculative decoding)을 프로덕션에서 실행되는 비동기식 RL 문제로 재정의합니다: 수용된 토큰과 거부된 토큰은 보상 신호로 작용하며, 학습 서버는 스펙큘레이터를 지속적으로 업데이트하고 새 가중치는 핫 스왑(hot-swap)되어 다운타임 없이 운영됩니다.

에이전트 상호작용에서의 컨텍스트와 KV 캐시, RL 생성에서의 궤적 데이터와 보상 신호, 그리고 실시간으로 업데이트되는 모델 가중치는 모두 지속적인 AI 진화를 위한 상태 자산(state assets)을 형성합니다. 이러한 자원이 단일 GPU나 노드에 잠겨 있으면, 크로스 노드 전송, 반복적인 프리필(pre-fill), 중복 계산이 새로운 시스템 병목 현상이 됩니다.

전통적인 데이터 경로는 일반적으로 저장소, CPU 메모리, 프레임워크 버퍼, GPU VRAM을 통해 라우팅되며, 여러 복사 및 포워딩을 포함합니다. 지속적인 RL 루프에서는 이러한 비연산 오버헤드가 누적되고 증폭됩니다. 이러한 산업의 고통 포인트를 해결하기 위해 Jiuzhang는 DingoFS 분산 파일 저장소, DFKV 분산 캐싱, 도메인 전체 제로-카피 링크, RDMA 고속 네트워크와 같은 기반 기술을 활용하여 데이터와 상태 흐름을 재구성합니다.

제로-카피는 데이터 전송 경로를 단축하고 CPU 개입을 줄이며 RL 폐쇄 루프 내 비연산 오버헤드를 절감합니다. DFKV는 KV 캐시를 단일 GPU 임시 버퍼에서 위치 지정 가능, 마이그레이션 가능, 크로스 태스크 재사용 가능한 상태 리소스로 업그레이드하여, 이전에 생성된 컨텍스트가 계속해서 가치를 창출할 수 있게 합니다.

결과적으로 AI 스케줄링 논리는 “여유 GPU는 어디에 있는가”에서 “모델, 컴퓨팅, 컨텍스트, 상태를 어디에서 결합해야 하는가”로 진화합니다. 만약 에이전트가 이미 특정 노드에서 광범위한 프리필을 수행했다면, 이후 요청은 기존 KV 캐시를 재사용하여 중복 계산을 피할 수 있습니다. 학습과 추론 간의 가중치 교환 또한 고속 데이터 경로를 활용하여 전송 비용을 줄입니다.

이를 바탕으로 Jiuzhang의 “학습-추론 일관성(training-inference consistency)”에 대한 핵심 철학은 학습과 추론 간 컴퓨팅을 단순히 공유하는 것이 아니라, 컴퓨팅, 데이터, 상태, 워크플로우를 동시에 감지할 수 있는 통합 인프라를 양자가 공유하도록 하는 것입니다. RL 프레임워크에서 생성기는 본질적으로 학습 루프의 일부이며, 에이전트 운영에서 컨텍스트와 KV 캐시는 지속적인 작업 실행을 위한 핵심 상태입니다. 이는 자연스러운 깊은 결합(deep coupling)을 만듭니다. 즉, 추론 효율성이 학습 효율성을 직접 결정합니다: 모든 효율적인 토큰 생성, KV 캐시 재사용, 정확한 스케줄링은 더 빠른 모델 반복으로 이어질 수 있습니다.

SemiAnalysis의 dedicated RL 시스템 분석에 따르면, 학습/추론 처리량과 시스템 상태 간 높은 정렬(alignment)을 달성한 인프라만이 RL의 성능 잠재력을 완전히 풀고 우수한 모델 능력을 지원할 수 있습니다. Jiuzhang는 이에 정확하게 집중함으로써 중국 시장에서 최초의 대규모, 풀 시나리오(full-scenario) 엔지니어링 검증을 달성했습니다.

이러한 “학습-추론 일관성” 시스템 능력은 RL의 기반으로서 상당한 이점을 제공합니다: 추론 최적화 기술을 프로덕션 등급 수준으로 가속화하여 학습 효율성을 높이고 토큰 비용을 직선적으로 감소시킵니다.

MoE 아키텍처와의 통합, 추론 최적화, 모델 양자화, 모델 아키텍처 설계, 하드웨어 공동 설계는 특히 중요합니다. 예를 들어, 프리필(prefill)과 디코드(decode)는 서로 다른 연산 특성을 보이는데, PD 분리(PD separation)는 이러한 워크로드를 적절한 리소스 풀에 매칭시킵니다. 청크드 프리필(chunked prefill)은 초장문 컨텍스트를 분할하여 단계 간 자원 경쟁을 완화합니다. 스펐큘레이티브 디코딩은 작은 모델을 사용하여 후보 토큰을 생성하고 큰 모델로 배치 검증함으로써 순차적인 토큰 단위 연산의 오버헤드를 줄입니다.

겉보기에는 독립적으로 보이지만, 이러한 기술들은 본질적으로 동일한 문제를 해결합니다: 제한된 GPU로부터 더 많은 효과적인 토큰을 생산하는 것. Jiuzhang의 생태계 내에서 이들은 단일 생산 라인으로 수렴합니다: 생성기가 생성한 토큰은 최종 답변이 아니라 다음 학습 라운드의 원료입니다. 더 높은 생성기 효율성은 단위 컴퓨팅당 더 많은 롤아웃을 생산합니다; KV 캐시 재사용은 중복 프리필을 제거합니다; PD 분리 및 동적 스케줄링은 컴퓨팅-대역폭 일치를 추가로 최적화합니다.

궁극적으로 학습 및 추론 최적화는 프로덕션 등급 AI 인프라 목표 아래 통합됩니다: 단위 컴퓨팅당 최대 유효 토큰 출력, 그리고 토큰을 모델 지능으로 변환하는 비율 최적화.

이는 Jiuzhang의 RL 기술 로드맵의 핵심 가치입니다: 고립된 RL 학습 플랫폼을 구축하는 대신, 생성기, 트레이너, 환경, 모델 가중치, KV 캐시, GPU 컴퓨팅을 통합된 AI 런타임(AI runtime)으로 통합합니다. 모델 벤더들이 RL 학습을 강화함에 따라 인프라는 동시에 롤아웃 생성, 상태 재사용, 자원 스케줄링을 최적화합니다. 이들이 함께 사후 학습 확장이 얼마나 멀리 진행될 수 있는지 결정합니다.

이 능력은 대형 모델을 넘어 임베디드 AI(embodied AI)로 확장될 것입니다. 에이전트 도구 호출, 다중 턴 의사결정, 로봇의 지각, 추론, 행동, 피드백은 근본적으로 동적 시행착오와 지속적 학습인 RL 루프입니다. 향후 반복 환경은 코드 샌드박스 및 도구 호출 시나리오에서 시뮬레이터, 물리적 로봇, 실제 세계로 확장되겠지만, 인프라 요구 사항은 동일합니다: 탄력적 컴퓨팅, 실시간 추론, 상태 관리, 고빈도 피드백, 지속적 반복.

산업이 대규모 학습에서 사후 학습 강화 학습으로 전환됨에 따라, RL은 단일 모델 학습 알고리즘에서 대형 모델, 에이전트, 임베디드 AI를 연결하는 범용 기술 기반 시설로 진화하고 있습니다. RL은 지속적인 모델 능력 확장을 가능하게 하며, Jiuzhang Intelligent Computing Cloud는 이러한 확장이 효율적이고 대규모로 이루어지도록 보장합니다. 이는 강화 학습이 알고리즘에서 AI 클라우드 네이티브 인프라의 핵심 기술 스택으로 전환되는 중대한 이정표를 나타냅니다.

원문 보기