智谱部署其递归系统智能（RSI）框架以优化算力效率，赢得三百亿单位算力成本之战。
9月17日，唐杰罕见地发布了一篇长文，回应了业界最受关注的话题之一：RSI（推理系统基础设施）。智谱也在 quietly 推进其 RSI 战略，将其嵌入基础设施层，构建基于 GLM-5.3 的推理系统。正是这一基础设施使得 GLM-5.3-Flash——此前在全球范围内以匿名代号 Ox-Alpha 为人所知——在发布后一周内迅速成为在线部署最广泛的模型之一，仅在六天内就处理了超过 62 万亿个 token。更重要的是，整个运行过程完全依赖 10,000 张国产芯片。历史上，对 NVIDIA 的依赖源于国产芯片底层软件生态的薄弱，充斥着无数算子兼容性和通信挑战。在 10 万张芯片的规模下，复杂性呈指数级上升；每天可能有数百张卡出现硬件故障、网络断开或丢包。然而，正如唐杰所揭示的，智谱仅用两周时间就从首次成功的全规模运行过渡到路由所有现实生产流量——这一过程通常需要经验丰富的基础设施工程团队花费数周甚至数月才能完成。
面对不完美的硬件生态系统，智谱通过软件补丁修补硬件，并将优化推向极致。该系统不仅成功运行了大模型，还将端到端吞吐量提升了 3.2 倍。这反映了智谱的核心战略判断：在严格的外部算力限制下，中国能否实现 AGI 突破，不仅仅取决于拥有多少芯片，更取决于软件调动和利用算力的效率。通过利用 RSI，智谱旨在建立底层的解耦能力，使 AI 能够自主适应不同的硬件生态系统并克服兼容性障碍。本质上，智谱试图将行业普遍面临的“国产算力难用”挑战转化为技术主动权，即让 AI 自动挖掘硬件极限。结合国产芯片集群、AI 深度参与的基础设施系统以及全球认可的模型，唐杰表示：“我们距离 RSI 的最终目标还有很长的路要走，但‘模型优化系统，系统反馈给模型’的最小闭环确实已经开始转动。”
在 10 万张国产芯片上部署大模型绝非易事。唐杰指出了至少三大障碍，每一个都足以让经验丰富的工程团队感到不堪重负。首先，国产芯片在内存带宽和数据传输速度上 inherent 缺乏 NVIDIA 的优势，直接复制成熟的 NVIDIA 工作流是不可能的。其次，软件栈仍然高度不成熟，许多基础组件缺失。没有现成的操作手册，许多关键算子缺乏实现，大量的底层文档往往需要推测性推导和验证。第三，必须考虑模型自身的负载限制。GLM-5.3-Flash 采用了一种新颖的架构，旨在同时处理文本和图像，并支持 100 万 token 的超长上下文窗口。这导致 KV 缓存容量压力几何级飙升。
智谱的解决方案核心是一个由 GLM-5.3 驱动的 Infra Agent，它整合了关键技术，通过软件工程弥补硬件不足。例如，它通过采用节点内张量并行和层拆分来以通信换内存，按层划分模型，同时允许单个服务器内的多张芯片共同处理核心注意力机制和输出计算。它通过 ReplaySSM 策略以计算换内存：当内存不足时，数据被暂时丢弃并由芯片按需重新计算，以最小的计算时间换取宝贵的内存空间。它使用 W8A8 量化以精度换容量，将模型权重和激活值压缩至 8 位，从而将存储和带宽使用量减少一半以上。此外，内存消耗最大的 KV 缓存根据数据重要性动态混合 INT8、FP8 和 BF16 精度进行压缩，最大化每张卡的 VRAM 利用率。在此基础上，智谱进一步将编码、预填充和解码阶段解耦，以获得调度灵活性。配合 Infra Agent 的快速迭代，国产芯片的利用率和单 token 成本现已接近 NVIDIA 的水平。
然而，最关键的问题出现在 Infra Agent 停滞不前时——不是因为它不能写代码，而是因为它不理解情况为何恶化。现实世界的推理系统不是静态的代码库，而是动态交织的生态系统，涵盖底层芯片、网络通信、内存分配和上层服务。任何微小的偏差都会引发连锁反应，这种现象在系统工程中被称为稀疏反馈。系统仅报告结果，例如吞吐量下降 20%，工程师无法得知根本原因是否在于底层代码、内存调度或数据传输，也不知道是哪个具体更改导致了崩溃，或者下一步该往哪个方向前进。如果 AI 要手动排查故障，每次尝试都需要数小时的全周期测试，高昂的试错成本使得探索变得极其缓慢。传统的系统优化已经充斥着日志、测试和性能分析工具，但它们仍分散在不同的工程阶段。经验丰富的基础设施工程师依靠工程直觉来定位问题。智谱的目标是将这种直觉量化为一种反馈机制，使 AI 能够准确、经济且实时地追踪和验证问题。智谱认为，未来科技巨头之间的代际差距将由模型参与构建自身系统的深度决定。谁率先闭合模型训练基础设施的闭环，谁就能捕获复利式智力增长，在物理算力受限的情况下实现非线性飞跃。为解决这一问题，智谱开发了一个名为 Dense Feedback（密集反馈）的分层验证框架。
智谱将 Dense Feedback 分解为三个组成部分：正确性反馈、系统行为反馈和性能反馈。它们对应三个基本的基础设施问题：计算是否正确？瓶颈在哪里？哪种方案最优？理解这一系统最好通过三个展示如何将人类工程编码进 AI 能力的真实工程案例来说明。
案例一：长上下文准确性漂移（正确性反馈）。在处理跨多个芯片的长上下文时，系统将文本片段分区以进行并行处理，然后连接结果。这经常导致准确性漂移，增加输出偏差。资深基础设施工程师会逐步跟踪执行链，捕获中间结果并绘制误差曲线，以确定哪一步连接步骤破坏了数据。智谱将此逻辑编码为一个正确性反馈系统。像显微镜一样，AI 立即识别出 KDA 内核的默认底层精度导致舍入误差雪崩式放大。一旦锁定问题，AI 自动从开源仓库中匹配解决方案，将计算升级为更高精度的复合算法以解决漂移问题。
案例二：KV 传输并发瓶颈（系统行为反馈）。在大模型推理期间，预填充阶段处理用户提示并生成所需的缓存。理想情况下，系统应在 GPU 上计算的同时跨节点传输缓存数据。然而，组合执行时间比单独计算慢 20%，表明数据移动正在排队而非与处理重叠。传统上，解决此问题需要 painstakingly 审查庞大的全链路时序图，交叉引用如 DeepEP 等底层 C++ 源代码，并推测未释放的全局解释器锁（GIL）是否瘫痪了负责数据传输的 Python 线程。智谱将此工作流程转化为系统行为反馈机制，有效地为 AI 配备了全链路 X 光扫描仪。它自动拉取执行时间表以验证计算与通信的重叠，并以红色标记异常时间片。检测到异常后，AI 跨越 Python 和 C++ 边界追踪调用链，在最底层接口级别检查锁状态。一旦找到，它自动生成修复程序，并根据时序和性能指标进行验证，确保实际的重叠和端到端吞吐量的提升。以前需要几天才能解决的问题，现在只需几秒钟即可修复。
案例三：解码内核冗余计算（性能反馈）。文本生成依赖于一个核心计算模块——解码内核。如果效率低下，它会成为整体速度的瓶颈。资深工程师通常手动检查底层汇编或算子代码。为了最大化多芯片并行度，系统通常采用分块策略，将巨大任务拆分为四个并发块。这无意中迫使共享的初步步骤被重新计算四次，这是典型的“为了并行而并行”的情况。智谱将常见的内核优化模式提炼为一个可重用的优化模板库，并与性能反馈集成，赋予 AI 自动化搜索引擎的能力。性能反馈首先识别瓶颈；AI 随后查询模板库。该库通过分析来自 SGLang、Flash Linear Attention 和 DeepGEMM 等项目专家编写的内核整理而成。匹配场景后，AI 直接将优化模式应用于重构代码，运行微测试以验证有效性，保留成功的实现，并将其反馈回库中，形成复利改进循环。从问题识别到解决，AI 故障排除现在在算子精度层面运作，超越语言界限，并加速复利工程收益。
基础设施 RSI 的未来愿景是，AI 工程师拥有高级系统诊断能力，在工程层面执行得更快、更细致，而人类工程师则负责风险管理和业务决策。基础设施系统演变为高速、自动化的流水线。
从销售工具到销售效率的转变凸显了 RSI 是如何被市场需求所推动的。历史上，智谱因其强大的编码能力而被认可为“国内 Claude”，占据了大部分中国的编码市场。然而，今年标志着向基础基础设施的决定性战略转变。为何发生这一重大转变？智谱 9 月 16 日投资者电话会议的见解揭示了原因。
智谱高管披露，自 2 月推出 GLM-5 以来，市场需求激增，API 调用量上涨十倍，并在发布周内彻底耗尽了算力储备。受限于算力稀缺，智谱被迫紧急暂停其主要创收产品 Coding Plan。由于无法满足激增的需求，智谱采取了 All-in-Infra 战略，并迅速收购中科嘉禾，将整体算力利用效率提高两到三倍。即便如此，Coding Plan 留下的缺口仍无法填补。算力成为智谱的核心增长约束：只要有足够的算力，公司就可以立即将产品可用性转化为直接收入。市场验证来得很快。在 7 月完成 40 亿美元融资后，智谱在停摆六个月后全面重启 Coding Plan，销售额跃升超过 15 倍，再次证实了收入规模直接与可用算力挂钩的原则。
智谱管理层精心建模了算力经济学。前期饱和投资 300 亿人民币用于算力——40% 用于模型训练，60% 用于推理——将带来可观回报。如果 60% 的推理分配满负荷运行，利用 GLM-5.3 理论上的 80% 毛利率，年收入可能超过 400 亿人民币。这将在一年的时间内收回所有算力支出，同时覆盖培训和研发成本。相反，保守的 100 亿人民币投资将不可避免地阻碍研发，丢失订单，并在两方面错失机会。对于大模型公司而言，扩大算力因此是一条强制性的、不可协商的轨迹。
为了执行这一战略，智谱部署了三层次策略。首先，它建设了一个 1GW 超大规模算力数据中心以解决算力可用性，同时 exclusively 使用国产芯片以控制成本并降低长期供应链风险。其次，它实施了云收入分成模式，将开源模型转变为商品化的云服务。智谱与多家海外云超大规模提供商和领先的国内云提供商签署了收入分成协议。从 10 月开始，GLM 系列开源模型将在这些平台上作为托管 API 列出，有效外包算力压力、运营成本及全球分销，同时追求轻资产变现。第三，在企业协同办公领域，GLM-5.3 在网络安全场景中实现了早期验证。一百家安全公司已集成 GLM 模型，涵盖主流厂商、互联网巨头、研究机构和金融部门。随着 Gartner 预测全球信息安全终端支出将在 2026 年达到 2489 亿美元，2030 年达到 3726 亿美元，智谱面临着巨大的扩张潜力。最终，智谱对基础设施的重投入是 Coding 需求爆炸后的必然演变。