컴퓨트·클라우드 · 리포트

Zhipu는 계산 효율성을 최적화하고 300억 단위 계산 비용 전쟁에서 승리하기 위해 재귀적 시스템 지능(RSI) 프레임워크를 도입한다.

국내 LLM 제공업체의 추론 및 학습 오버헤드를 낮춰 경쟁 클라우드 및 칩 벤더의 마진을 압박한다.

업계 전문지Slicast · 2026년 9월 18일 06:48 UTC · 중국 · 출처: 雷锋网

중요도 65

9월 17일, 탕제(Tang Jie)는 이례적으로 긴 글을 게시하여 업계의 가장 주목받는 화두 중 하나인 RSI(Reinforcement System Integration)에 대해 언급했다. 지푸(Zhipu) 또한 quietly하게 RSI 전략을 추진해 왔으며, 이를 인프라 레이어에 임베딩하여 GLM-5.3 기반의 추론 시스템을 구축하고 있다. 바로 이 인프라 덕분에 GLM-5.3-Flash(전 세계적으로 익명의 별명인 Ox-Alpha로 알려짐)는 출시 후 단 일주일 만에 온라인에서 가장 널리 배포된 모델 중 하나로 급부상했으며, 불과 6일 만에 62조 토큰 이상을 처리했다. 더 중요한 점은 이 전체 운영이 오직 10만 개의 국산 칩으로만 실행되었다는 것이다. 역사적으로 국산 칩에 대한 의존도가 낮았던 이유는 NVIDIA에 비해 소프트웨어 생태계가 취약했기 때문이며, 수많은 연산자 호환성 및 통신 문제들로 가득 차 있었다. 10만 개 칩의 규모에서는 복잡성이 기하급수적으로 증가하며, 매일 수백 개의 카드에서 하드웨어 고장, 네트워크 단절 또는 패킷 손실이 발생할 수 있다. 그러나 탕제가 밝힌 바와 같이, 지푸는 첫 성공적인 풀스케일 런부터 실제 프로덕션 트래픽을 모든 경로로 라우팅하는 전환을 단 이틀 만에 완료했는데, 이는 일반적으로 숙련된 인프라 엔지니어링 팀에게 몇 주 혹은 몇 달이 걸리는 과정이다.

불완전한 하드웨어 생태계에도 불구하고, 지푸는 소프트웨어 패치를 하드웨어에 적용하고 최적화를 극한까지 밀어붙였다. 시스템은 대규모 모델을 성공적으로 실행했을 뿐만 아니라 엔드투엔드 처리량(end-to-end throughput)을 3.2배 향상시켰다. 이는 지푸의 핵심 전략적 판단을 반영한다: 엄격한 외부 컴퓨팅 제약 하에서 중국의 AGI 돌파 여부는 단순히 보유 칩의 수가 아니라 소프트웨어가 컴퓨팅을 얼마나 효율적으로 동원하고 활용하느냐에 달려 있다는 것이다. RSI를 통해 지푸는 AI가 서로 다른 하드웨어 생태계 간에 자율적으로 적응하고 호환성 장벽을 극복할 수 있는 하위 레벨의 분리(decoupling) 능력을 확보하고자 한다. 본질적으로 지푸는 국산 컴퓨팅의 사용 어려움을 산업 전반의 과제로서 기술적 주도권, 즉 AI가 하드웨어 한계를 자동으로 탐색하는 것으로 전환하려 한다. 국산 칩 클러스터, AI가 깊이 관여한 인프라 시스템, 그리고 글로벌 인정 모델을 결합한 결과, 탕제는 "우리는 RSI의 궁극적 목표와는 아직 멀었지만, '모델이 시스템을 최적화하고 시스템이 모델에 피드백을 제공하는' 최소한의 루프가 실제로 돌아가기 시작했다"고 밝혔다.

10만 개의 국산 칩에 대규모 모델을 배포하는 것은 결코 쉬운 일이 아니다. 탕제는 적어도 세 가지 주요 장애물이 있으며, 각각 심지어 경험 많은 엔지니어링 팀도 압도할 수 있다고 지적했다. 첫째, 국산 칩은 본질적으로 NVIDIA의 메모리 대역폭과 데이터 전송 속도를 갖추지 못해, 성숙한 NVIDIA 워크플로우의 직접 복제가 불가능하다. 둘째, 소프트웨어 스택은 여전히 매우 미성숙하여 많은 기본 구성 요소가 누락되어 있다. 완성된 운영 매뉴얼이 없으며, 많은 핵심 연산자가 구현되지 않았고, 방대한 저수준(low-level) 문헌들은 종종 추측적 추론과 검증을 필요로 한다. 셋째, 모델 자체의 부하 한계를 고려해야 한다. GLM-5.3-Flash는 텍스트와 이미지를 동시에 처리하고 100만 토큰의 초장문 컨텍스트 창을 지원하는 혁신적인 아키텍처를 갖추고 있어 KV 캐시 용량 압박이 기하급수적으로 치솟는다.

지푸의 해결책은 하드웨어의 부족함을 소프트웨어 엔지니어링으로 보완하기 위해 핵심 기술을 통합한 GLM-5.3 기반 Infra Agent에 초점을 맞춘다. 예를 들어, 노드 내부 텐서 병렬화와 레이어 분리를 통해 통신을 메모리로 교환하며, 모델을 레이어별로 분할하여 단일 서버 내 여러 칩이 코어 어텐션 및 출력 계산을 공동으로 처리하도록 한다. ReplaySSM 전략을 통해 계산량을 메모리로 교환하는데, 메모리가 부족할 경우 데이터를 일시적으로 폐기하고 칩이 필요할 때 다시 계산함으로써 최소한의 계산 시간과 귀중한 메모리 공간을 교환한다. W8A8 양자화를 통해 정밀도를 용량으로 교환하여 모델 가중치와 활성화 값을 8비트로 압축함으로써 저장소 및 대역폭 사용을 절반 이상 절감한다. 또한, 가장 메모리를 많이 소모하는 KV 캐시는 데이터 중요도에 따라 INT8, FP8, BF16 정밀도를 혼합한 동적 압축을 수행하여 카드당 VRAM 활용률을 극대화한다. 이를 바탕으로 지푸는 인코딩, 프리필(prefill), 디코딩 단계를 추가로 분리하여 스케줄링 유연성을 확보했다. 빠른 Infra Agent 반복 개발과 결합하여 국산 칩의 활용률과 단일 토큰 비용이 이제 NVIDIA 수준에 근접했다.

그러나 가장 중요한 도전 과제는 Infra Agent가 멈출 때 발생한다. 이는 코드를 작성할 수 없어서가 아니라 조건이 악화된 이유를 이해하지 못해서이다. 실제 추론 시스템은 정적 코드베이스가 아니라 하위 레이어 칩, 네트워크 통신, 메모리 할당 및 상위 레이어 서비스를 아우르는 역동적으로 얽힌 생태계이다. 사소한 편차라도 연쇄 효과를 유발하며, 이는 시스템 공학에서 희귀 피드백(sparse feedback) 현상으로 알려져 있다. 시스템은 처리량이 20% 감소하는 것과 같은 결과만 보고할 뿐, 근본 원인이 저수준 코드, 메모리 스케줄링 또는 데이터 전송 중 어디에 있는지, 특정 변경 사항이 충돌을 일으켰는지, 다음 진행 방향이 무엇인지 엔지니어들이 알 수 없다. 만약 AI가 수동으로 문제를 진단한다면, 각 시도마다 수시간의 전체 주기 테스트가 필요하므로 높은 시행착오 비용으로 인해 탐색이 금지될 정도로 느려진다. 전통적인 시스템 최적화는 이미 로그, 테스트 및 성능 분석 도구로 포화 상태이지만, 여전히 엔지니어링 단계 전반에 걸쳐 파편화되어 있다. 숙련된 인프라 엔지니어는 엔지니어링 직관을 바탕으로 문제를 찾아낸다. 지푸의 목표는 이러한 직관을 피드백 메커니즘으로 정량화하여 AI가 문제를 정확하고 비용 효율적이며 실시간으로 추적하고 검증할 수 있도록 하는 것이다. 지푸는 미래의 기술 거대 기업 간 세대차는 모델이 자체 시스템을 구축하는 데 참여하는 깊이에 의해 결정될 것이라고 믿는다. 모델-트레이닝 인프라의 루프를 먼저 닫는 기업이 물리적 컴퓨팅 제약에도 불구하고 비선형적 도약을 이루며 복리식 지적 성장을 차지할 것이다. 이를 위해 지푸는 Dense Feedback이라는 계층적 검증 프레임워크를 개발했다.

지푸는 Dense Feedback을 세 가지 구성 요소로 분해한다: 정확성 피드백(correctness feedback), 시스템 동작 피드백(system behavior feedback), 그리고 성능 피드백(performance feedback). 이들은 각각 다음과 같은 세 가지 기본 인프라 질문에 해당한다: 계산이 정확한가?, 병목 지점은 어디인가?, 그리고 어떤 솔루션이 최적인가? 이 시스템을 이해하는 가장 좋은 방법은 인간의 엔지니어링 직관이 어떻게 AI 능력으로 인코딩되는지를 보여주는 세 가지 실제 엔지니어링 사례를 통해 설명하는 것이다.

사례 1: 장기 컨텍스트 정확도 드리프트 (정확성 피드백). 다중 칩에서 긴 컨텍스트를 처리할 때 시스템은 텍스트 세그먼트를 분할하여 병렬로 처리한 후 결과를 연결(concatenation)한다. 이는 종종 정확도 드리프트를 유발하여 출력 편차를 증가시킨다. 숙련된 인프라 엔지니어라면 실행 체인을 단계별로 추적하여 중간 결과를 캡처하고 오류 곡선을 작성하여 어느 연결 단계에서 데이터가 손상되었는지 식별할 것이다. 지푸는 이 논리를 정확성 피드백 시스템으로 코딩했다. 현미경처럼 행동하는 AI는 KDA 커널의 기본 저수준 정밀도가 반올림 오류를 눈덩이처럼 불리게 한다는 것을 즉시 식별했다. 문제를 pinpoint하자마자 AI는 오픈소스 저장소에서 솔루션을 자동으로 매칭하여 계산을 더 높은 정밀도의 복합 알고리즘으로 업그레이드함으로써 드리프트를 해결했다.

사례 2: KV 전송 병행성 병목 (시스템 동작 피드백). 대규모 모델 추론 중 프리필 단계는 사용자 프롬프트를 처리하고 필요한 캐시를 생성한다. 이상적으로 시스템은 GPU에서 계산하는 동시에 노드 간 캐시 데이터 전송을 수행해야 한다. 그러나 결합된 실행 시간이 계산만 수행할 때보다 20% 느렸다는 것은 데이터 이동이 처리와 겹치지 않고 대기열에 쌓였음을 나타낸다. 전통적으로 이를 해결하려면 방대한 전체 체인 타이밍 다이어그램을 painstakingly 검토하고 DeepEP와 같은 저수준 C++ 소스 코스를 교차 참조하며, 데이터 전송을 담당하는 Python 스레드를 마비시킨 해제되지 않은 전역 인터프리터 락(GIL)이 있는지 추측해야 했다. 지푸는 이 워크플로우를 시스템 동작 피드백 메커니즘으로 변환하여 AI에게 전체 체인 X-ray 스캐너를 효과적으로 제공했다. AI는 실행 타임라인을 자동으로 추출하여 계산-통신 겹침을 검증하고, 이상적인 시간 슬라이스를 빨간색으로 표시한다. 이상 감지 시 AI는 Python과 C++ 경계를 넘어 호출 체인을 추적하여 최저 인터페이스 수준의 락 상태를 검사한다. 위치를 파악하면 AI는 수정 사항을 자동 생성하고 타이밍 및 성능 지표 모두에 대해 검증하여 실제 겹침과 엔드투엔드 처리량 향상을 보장한다. 이전에 해결하는 데 며칠이 걸리던 문제는 이제 몇 초 만에 수정된다.

사례 3: 디코딩 커널 중복 계산 (성능 피드백). 텍스트 생성은 핵심 계산 모듈인 디코딩 커널에 의존한다. 비효율적일 경우 전체 속도의 병목이 된다. 숙련된 엔지니어들은 일반적으로 저수준 어셈블리나 연산자 코드를 수동으로 검사한다. 다중 칩 병렬성을 극대화하기 위해 시스템은 종종 타일링(tiling) 전략을 사용하여 방대한 작업을 네 개의 병렬 블록으로 분할한다. 이는 우연히 공유된 사전 단계를 네 번 다시 계산하게 만드는, 병렬성 자체를 위한 병렬성의 전형적인 사례이다. 지푸는 일반적인 커널 최적화 패턴을 재사용 가능한 최적화 템플릿 라이브러리로 압축하여 성능 피드백과 통합함으로써 AI에게 자동 검색 엔진을 제공했다. 성능 피드백은 먼저 병목 지점을 식별하고, AI는 템플릿 라이브러리를 쿼리한다. 이 라이브러리는 SGLang, Flash Linear Attention, DeepGEMM과 같은 프로젝트에서 전문가가 작성한 커널을 분석하여 선별되었다. 시나리오를 매칭하면 AI는 최적화된 패턴을 직접 적용하여 코드를 리팩토링하고, 효용성을 검증하기 위해 마이크로 테스트를 실행하며, 성공적인 구현을 유지하여 라이브러리에 피드백하여 복리식 개선 사이클을 만든다. 문제 식별부터 해결까지 AI 진단은 이제 연산자 정밀도 수준에서 작동하며 언어 경계를 초월하고 복리식 엔지니어링 이득을 가속화한다.

인프라 RSI의 미래는 AI 엔지니어가 숙련된 시스템 진단 능력을 갖추어 엔지니어링 레이어에서 더 빠르고 세분화된 방식으로 실행하는 모습을 상상한다. 반면 인간 엔지니어는 위험 관리 및 비즈니스 결정을 감독한다. 인프라 시스템은 고속 자동화 파이프라인으로 진화한다.

도구를 판매하는 것에서 효율성을 판매하는 것으로의 이러한 전환은 RSI가 시장 수요에 의해 어떻게 강요되었는지 강조한다. 역사적으로 지푸는 견고한 코딩 능력으로 인해 국내 Claude로 인정받아 중국 코딩 시장의 대부분을 차지했다. 그러나 올해는 기초 인프라로의 결정적인 전략적 회전을 의미하는 해였다. 왜 이런 큰 변화가 있었는가? 지푸의 9월 16일 투자자 전화 회의에서의 통찰력은 그 이유를 보여준다.

지푸 임원진은 GLM-5가 2월에 출시된 후 시장 수요가 폭발적으로 증가하여 API 호출량이 10배 늘어났고, 출시 첫 주 내에 컴퓨팅 예비 자원이 완전히 고갈되었다고 밝혔다. 컴퓨팅 부족으로 심각하게 제한된 지푸는 주요 수익 창출 제품인 Coding Plan을 긴급히 중단해야 했다. 급증하는 수요를 충족할 수 없자 지푸는 All-in-Infra 전략을 채택하고 Zhongke Jiahe를 신속하게 인수하여 전체 컴퓨팅 활용 효율을 2~3배 높였다. 그럼에도 불구하고 Coding Plan이 남긴 격차는 메울 수 없었다. 컴퓨팅은 지푸의 핵심 성장 제약으로 부상했다. 충분한 컴퓨팅이 있다면 회사는 제품의 가용성을 즉시 직접 수익으로 전환할 수 있다. 시장 검증은 빠르게 이루어졌다. 7월 40억 달러의 자금 조달 라운드 이후, 지푸는 6개월간의 중단 끝에 Coding Plan을 완전히 재개했으며, 매출이 15배 이상 뛰면서 이용 가능한 컴퓨팅 규모에 따라 수익 규모가 직접 비례한다는 원칙을 재확인했다.

지푸 경영진은 컴퓨팅 경제학을 신중하게 모델링했다. 모델 학습에는 40%, 추론에는 60%가 할당된 300억 위안의 포화 상태 초기 투자는 상당한 수익을 가져올 것이다. 60% 추론 할당량이 최대 용량으로 운영되고 GLM-5.3의 이론적 80% 총마진을 활용할 경우, 연간 매출은 400억 위안을 초과할 수 있다. 이는 컴퓨팅 지출을 단 1년 내에 상환하면서도 동시에 학습 및 R&D 비용을 커버할 것이다. 반면, 보수적인 100억 위안 투자는 필연적으로 R&D를 정체시키고 주문을 잃으며 양쪽 측면에서 기회를 놓치게 될 것이다. 대규모 모델 기업에게 컴퓨팅 확장 therefore 필수적이고 협상 불가한 궤적이다.

이를 실행하기 위해 지푸는 3단계 전략을 배치했다. 첫째, 컴퓨팅 가용성 문제를 해결하기 위해 1GW 초대형 컴퓨팅 데이터센터를 구축하고, 비용 통제 및 장기 공급망 리스크 완화를 위해 국산 칩만을 독점적으로 사용했다. 둘째, 클라우드 수익 공유 모델을 도입하여 오픈소스 모델을 상품화된 클라우드 서비스로 전환했다. 지푸는 여러 해외 클라우드 하이퍼스케일러 및 선도적인 국내 클라우드 제공업체와 수익 공유 계약을 체결했다. 10월부터 GLM 시리즈 오픈소스 모델은 이러한 플랫폼에서 호스팅 API로 리스팅될 예정이며, 이는 컴퓨팅 압력, 운영 비용 및 글로벌 배포를 아웃소싱하면서 경자산(light-asset) 모네타이즈를 추구하는 효과를 낸다. 셋째, 기업 협업(co-work) 부문에서 GLM-5.3은 사이버 보안 시나리오에서 조기 검증을 달성했다. 100개의 보안 기업이 이미 GLM 모델을 통합했으며, 여기에는 주요 벤더, 인터넷 거대 기업, 연구 기관 및 금융 섹터가 포함된다. 가트너(Gartner)가 2026년까지 글로벌 정보 보안 터미널 지출이 2,489억 달러, 2030년까지 3,726억 달러에 도달할 것으로 전망함에 따라, 지푸는 상당한 확장 잠재력을 앞두고 있다. 궁극적으로 지푸의 인프라에 대한 무거운 재투자는 Coding 수요 폭발 이후 필연적인 진화이다.

원문 보기