九章智算云展示了强化学习系统如何为GLM-5等模型落实训推一致，以应对纯预训练扩展收益递减的问题。
随着预训练边际收益递减，模型能力扩展正从单纯的预训练积累转向训练后强化学习（RL）。数学推理、代码生成、复杂决策和长周期智能体等高级能力，越来越依赖强化学习来释放其潜力。通过循环执行生成、执行、反馈和奖励机制，强化学习使模型能够持续优化其推理、规划和自我纠错能力。
因此，大模型开发已从“一次性训练”转变为“持续训练”，将能力扩展延伸至整个“生成-反馈-迭代”生命周期。SemiAnalysis指出，随着强化学习成为持续扩展的基石，竞争的关键不再仅是算法，而是支持持续生成、训练和更新的AI基础设施系统。
智谱宣布，GLM-5.3和GLM-5.2在同一基础模型上推进强化学习，通过训练后扩展不断提升模型智能的上限。以GLM-5.2为例，其在SWE-bench Pro上取得62.1分，在Terminal-Bench 3.0上取得81.0分，这主要得益于专为长周期、多步骤和工具耦合场景设计的强化学习训练。这凸显了一个更广泛的行业现实：复杂推理和智能体能力的进步日益依赖于强化学习。
这种范式转变也在重塑AI行业的分工。模型厂商不能再孤立地推进算法；他们必须与AI基础设施提供商合作，以实现“持续智能生产”。
目前，包括GLM-5系列和DeepSeek R系列在内的主流推理模型均部署于九天智能计算云上，进行规模化Token生产。超越传统的“模型+算力”关系，九天与模型厂商建立了算法与工程系统双向强化学习扩展的合作框架。厂商不断推动强化学习算法和策略的边界，而九天则优化适应性的算力调度、推理服务和状态管理，以支持工业级部署。随着大规模模型算法的演进，它们对基础设施提出了更高要求，进而为更大规模的强化学习实施创造了条件。
在这一生态系统中，模型厂商与AI基础设施成为一枚硬币的两面。强化学习已从模型训练中的一个离散算法步骤，演变为AI云必须具备的核心能力。模型、算力、数据、状态和推理不再是孤岛；它们共同构成了一条连续运行的智能生产线。
因此，核心问题已从“模型+算力”转变为：如何通过“单一智能生产线”，让算法与基础设施协同扩展，以更低的成本产出有效Token和模型能力。
强化学习与传统预训练的根本区别不在于增加了一种训练算法，而在于重构了训练系统本身。
一个完整的强化学习系统通常包含三个组件：生成器（Generator）、环境（Environment）和训练器（Trainer）。生成器接收提示并通过推理生成分支轨迹（rollouts）；环境执行代码、工具调用或任务模拟并返回奖励；训练器根据分支轨迹和奖励更新模型权重，然后将新权重反馈给生成器。这形成了一个连续循环：生成→奖励→训练→更新→生成。与依赖静态数据集的预训练不同，强化学习的数据由模型实时生成，标志着训练与推理之间真正的持续生产关系的建立。
这种架构引入了一个关键瓶颈。如果训练器每秒处理100个样本，而生成器仅产生60个，算力资源就会闲置。反之，如果生成器速度快于训练器，分支轨迹会堆积并过时，导致策略陈旧。
因此，强化学习基础设施优化的核心不再是孤立的GPU利用率，而是训练器吞吐量与有效生成器吞吐量之间的动态匹配。
利用这一机制，训练与推理最终建立了真正的持续生产关系。强化学习系统越来越类似于分布式生产架构：生成器充当生产者，训练器充当消费者，整个系统作为一个分布式管道，需要在吞吐量、数据新鲜度和资源利用率之间保持持续的平衡。
由九天智能计算云与中国人民大学STILL项目组联合发布的实证研究《激发和改进类R1推理模型的实证研究》验证了这一机制。研究表明，Qwen2.5-32B和DeepSeek-R1-Distill-Qwen-1.5B等模型可以通过持续的强化学习迭代释放潜在的推理能力，后者在AIME 2024上取得了39.33%的准确率。研究进一步指出，在线学习对于维持性能提升至关重要，而单纯奖励更长回复的风险在于“长度作弊”。Cooper方法通过动态更新奖励模型，有效缓解了奖励作弊问题，并改善了端到端的强化学习结果。
这证明强化学习远非简单的增量训练；它是一项涉及策略、生成、环境、训练和反馈的高度耦合的系统工程。
最容易被忽视的是生成器与训练器之间的动态匹配。如果生成器太慢，训练GPU就会停滞；如果太快，分支轨迹会堆积并老化。对于长周期智能体任务，单次生成分支涉及多次工具调用和超长上下文，使得生成器本身成为一个完整的实时推理系统。此外，这两个组件共享的不仅是GPU，还包括模型权重、分支轨迹、KV缓存、环境状态和任务队列。缓慢的权重更新会导致策略陈旧，而过频繁的更新则会推高模型加载和数据传输成本。
因此，强化学习基础设施必须解决的不仅仅是训练或推理吞吐量的孤立提升，而是在整个生命周期中维持生成器与训练器之间的高效匹配。
九天智能计算云正是围绕这一挑战构建其强化学习工程基础设施：将生成器、环境和训练器整合到统一的工作流中，使用全局动态调度以适应不同阶段的资源需求。当生成成为瓶颈时，增加推理资源；在训练高峰期，重新分配算力；当环境等待时，释放空闲GPU。因此，AI调度从“哪台机器有空闲GPU”转变为“模型、轨迹、状态和下一步计算应位于何处”。
直接的好处是加速了模型速度。在MiniMax M2.1 229B和Qwen3-Coder-Next 80B等前沿模型上，第一天初始速度提升了1.5倍；随着流量波动，与静态预测器相比，速度又提升了1.25倍。
同时，大多数部署方案冻结离线训练的推测解码器，导致部署缓慢，并在流量变化或目标模型改变时失效。九天将在线推测解码重新定义为在生产环境中运行的异步强化学习问题：被接受和被拒绝的Token作为奖励信号，训练服务器不断更新推测解码器，新权重可以实现热切换，达到零停机时间。
来自智能体交互的上下文和KV缓存、来自强化学习生成的轨迹数据和奖励信号，以及实时更新模型权重，共同构成了持续AI演化的状态资产。如果这些资源被锁定在单个GPU或节点上，跨节点传输、重复预填充和冗余计算将成为新的系统瓶颈。
传统数据路径通常经过存储、CPU内存、框架缓冲区和GPU显存，涉及多次复制和转发。在连续的强化学习循环中，这些非计算开销会累积并放大。为解决这一行业痛点，九天利用DingoFS分布式文件存储、DFKV分布式缓存、全域零拷贝链路和RDMA高速网络等底层技术，重组数据和状态流。
零拷贝缩短了数据传输路径，减少了CPU参与，并削减了强化学习闭环中的非计算开销。DFKV将KV缓存从单GPU临时缓冲区升级为可定位、可迁移且跨任务复用的状态资源，使先前生成的上下文能够继续创造价值。
因此，AI调度逻辑从“哪里有空闲GPU”演变为“模型、算力、上下文和状态应在何处结合”。如果智能体已在某个节点上进行了大量的预填充，后续请求可以复用现有的KV缓存，避免冗余计算。训练与推理之间的权重交换也利用高速数据路径以降低传输成本。
基于此，九天的“训推一致性”核心理念不仅仅是训练与推理共享算力，而是使两者共享一个统一的、能够同时感知算力、数据、状态和工作流的基础设施。在强化学习框架中，生成器本身就是训练循环的一部分；在智能体操作中，上下文和KV缓存是持续任务执行的核心状态，形成了自然的深度耦合。这意味着推理效率直接决定训练效率：每一次高效的Token生成、KV缓存复用和精确调度，都可以转化为更快的模型迭代。
SemiAnalysis专门的强化学习系统分析得出结论：只有实现训练/推理吞吐量与系统状态高度对齐的基础设施，才能充分释放强化学习的性能潜力并支持卓越的模型能力。九天通过精准聚焦于此，在中国市场实现了首次大规模、全场景的工程验证。
这种“训推一致性”系统能力作为强化学习的基础，带来了显著优势：加速推理优化技术达到生产级水平，从而提升训练效率，并推动Token成本的直线下降。
与MoE架构、推理优化、模型量化、模型架构设计和硬件协同设计的集成尤为关键。例如，预填充和解码具有不同的计算特征；PD分离将这些工作负载匹配到适当的资源池。分块预填充分解超长上下文，以缓解各阶段间的资源竞争。推测解码使用小模型生成候选Token，并由大模型批量验证，从而减少逐Token顺序计算的开销。
虽然看似独立，但这些技术本质上都在解决同一个问题：从有限的GPU中产出更多的有效Token。在九天的生态系统中，它们汇聚成一条单一的生产线——生成器产生的Token并非最终答案，而是下一轮训练的原材料。更高的生成器效率意味着单位算力下产生更多的分支轨迹；KV缓存复用消除了冗余预填充；PD分离和动态调度进一步优化了算力与带宽的匹配。
最终，训练和推理优化统一于生产级AI基础设施的目标之下：最大化单位算力的有效Token输出，并优化Token转化为模型智能的转化率。
这代表了九天强化学习技术路线图的核心价值：不是构建一个孤立的强化学习训练平台，而是将生成器、训练器、环境、模型权重、KV缓存和GPU算力整合到一个统一的AI运行时中。随着模型厂商加强强化学习训练，基础设施同时优化生成分支轨迹、状态复用和资源调度。二者共同决定了训练后扩展能走多远。
这种能力将超越大模型，延伸至具身智能。智能体工具调用、多轮决策以及机器人的感知、推理、行动和反馈，本质上是动态试错和持续学习的强化学习循环。虽然未来的迭代环境将从代码沙盒和工具调用场景扩展到模拟器、实体机器人和真实世界，但基础设施需求保持不变：弹性算力、实时推理、状态管理、高频反馈和持续迭代。
随着行业从大规模训练转向训练后强化学习，强化学习正从单一的模型训练算法演变为连接大模型、智能体和具身智能的通用技术基础。强化学习实现了模型能力的持续扩展；九天智能计算云确保这种扩展高效且规模化地进行。这标志着强化学习从一种算法向AI云原生基础设施核心科技栈的关键转变。