字节跳动投注超100万亿元人民币（超140亿美元）于种子模型开发，拒绝蒸馏捷径以与OpenAI基础模型竞争。

最近，《The Information》爆料称，在Seed的一次全员大会上，时间距今约两周前，创始人张一鸣做出了罕见的公开表态，明确反对使用蒸馏技术来追赶最前沿的大语言模型。他的立场毫不含糊："字节跳动应该愿意牺牲一些短期利益来换取长期目标。"

在最新的Artificial Analysis全球LLM排名中，月之暗面的Kimi K3 Max排名第二，阿里巴巴的Qwen 3.8 Max排名第四，智谱的GLM 5.2 Max和DeepSeek V4 Flash分别排名第七和第八，中国模型如今占据了全球前十的近一半。相比之下，字节跳动的Seed 2.1 Pro仅排名第21位，明显低于其他中国模型。

字节跳动拥有强大的资源。从资本看，这家公司是互联网巨头之列，年利润数百亿。从人才看，Seed团队汇集了通过字节跳动推荐和广告系统成长起来的顶级算法研究员。从算力看，数万块GPU集群分布在全国各地的智能计算中心正被逐步部署。从数据看，抖音和TikTok拥有全球最大的原生内容池。

据字节跳动员工透露，公司内部评估认为，字节跳动不愿采用蒸馏是其大语言模型落后于其他中国AI实验室的关键原因。

蒸馏，简单来说，就是用其他大模型生成的答案来训练自己的模型。这是业界公认的"捷径"。但根据公开报道，字节跳动内部至少经历过三次关于是否追求蒸馏的争议。

第一次冲突发生在2025年1月。当DeepSeek-R1问世并引发全球思维风潮时，Seed内部的研究员提议效仿采用蒸馏。张一鸣拒绝了这个主意。他想让Seed学会像人一样"思考"，而不是单纯模仿R1的"思维过程"。

第二次冲突出现在英伟达黑威尔芯片部署之后。随着算力差距拉大，竞争对手获得了英伟达最新芯片，而字节跳动只能用H20，蒸馏的支持者再次施压。但张一鸣再次说不，字节跳动承诺向乌兰察布和怀来投入2000亿元人民币用于建设额外的智能计算中心。

随后是来自Kimi K3成功跻身全球顶级模型行列的压力。国内每次发布新的开源模型都成了一次压力测试。内部焦虑达到顶点，但在张一鸣看来，排名是表面的，商业主权才是实在的。

张一鸣每次都坚持了下来。据消息人士透露，Seed内部禁止蒸馏开源模型的措施通过API检测等技术手段执行，明确禁止将GPT生成数据混入训练集的规定可以追溯到2023年4月。

"字节跳动最初也尝试过蒸馏，但张一鸣后来深思后认为我们要走长路。对于阿里、腾讯、字节跳动这个量级的公司，我们不能一直靠蒸馏别人的东西。"一位国内知名科技高管告诉《AI科技评论》。

大模型中的蒸馏可以比作"抄老师的答案"。这条路见效快。灌入几百万高质量指令样本，一个模型的基准分数可以在短短几周内大幅跳跃，迅速逼近被蒸馏模型的水平。在LLM竞赛的早期阶段，几乎所有参与者都尝试过这种做法。

但随着竞争进入深水区，争议爆发了。自2026年以来，Anthropic多次公开指控Minimax、月之暗面、DeepSeek和阿里通义实验室蒸馏其模型，直接将中国大模型的快速崛起归咎于"走捷径"。

讽刺的是，Anthropic本身也被曝出多次蒸馏OpenAI模型和使用盗版图书数据训练。

真正支撑张一鸣坚持"不走捷径"的，是一个更深层的技术判断：在数据见顶、算力稀缺、全球模型竞争加剧的阶段，蒸馏只能让你永远跟在别人后面，甚至可能在下一次智能跃升时被彻底甩开。

从技术角度看，字节跳动Seed坚持从零开始训练而不是加入"蒸馏派"，代表了一套完整的技术演进逻辑。从零开始训练虽然痛苦，但这是突破天花板的唯一路。

蒸馏的本质是用别人模型的输出作为"正确答案"来训练自己的模型。看起来高效，但隐藏着一个不可逆的致命缺陷：模型坍塌。

2024年7月，牛津大学、剑桥大学等机构的联合研究登上《Nature》封面，第一次系统地证明了如果模型反复在AI生成数据上训练，原始数据分布中的尾部信息会逐渐消失，最终导致不可逆的能力退化。

就像近亲繁殖，第一代看起来健康正常，但遗传多样性正在迅速侵蚀。经过几代后，隐性缺陷集中出现并突然显现。

Meta在ICLR 2025上的研究进一步证实，即使仅有0.1%的合成数据混入训练数据，也足以引发模型坍塌；更低的比例也会保留毒性效应。而且，模型参数越大，在特定阈值处坍塌效应的放大越明显，简单地堆砌参数解决不了问题。

现实世界中的知识分布不均匀。常见问题和标准答案只占据信息分布的"头部"，而罕见边界案例、反直觉问题、方言和俚语中的微妙语言差异、小众领域专业知识都潜伏在"长尾"中。这些长尾元素决定了一个模型处理未知问题的天花板，代表了真正的智能边界。

AI生成的"标准答案"天然会摊平这些长尾。模型输出会趋向最高概率回应，自动过滤掉小众、异常和不确定的内容，只留下最"正确"和最平庸的结果。反复在这样的数据上训练，模型变得越来越自信，同时越来越狭隘。基准分数可能仍在攀升，但其"世界观"正在悄然坍塌。

字节跳动最大的自信，恰恰就在数据。抖音每天产生超过8000万条短视频；头条日均推荐内容数以亿计；海外TikTok覆盖150多个国家和地区，这是全球最大的原生人类内容池。清洗和去噪PB级规模的真实视频、文本、评论和交互数据远比简单拿几百万条干净的GPT指令要难得多，但只有原生真实数据才能保留完整的现实分布，包括陌生、鲜活和不可预测的长尾。

缩放律的本质是通过更多高质量真实数据推高智能天花板。合成数据只能在既有边界内平滑，永远无法超越。字节跳动选择了一条定义自己天花板的路。

分词是模型的"眼睛"，决定了如何将文本分割成基础单位，每个单位对应一个向量表示。使用别人的词表就是接受他们的语言偏好和认知粒度。

比如，Llama的词表是英文优化的。遇到中文习语、网络用语或弹幕缩写，经常会碎裂成四五个散落的字符。这不仅大幅降低推理效率和成本，更关键的是语义关系被打破了，模型从输入层就没有真正理解中文表达逻辑。

字节跳动Seed的核心战场从来不是纯文本大模型，而是原生多模态能力。Seed 2.0已经实现了原生音视频同步视频生成，支持60秒2K分辨率视频和8种语言唇形对齐。这种能力的前提是模型在基础层实现文本、视频帧和音频信号的原子级映射，每个语义单元都必须与相应的视觉和声学单元在同一向量空间中对齐。

如果你蒸馏别人的模型，就继承了他们的编码基础。他们如何分词视频，你就如何分词视频；他们如何对齐音频文本时序，你就如何完全对齐。事后微调可以调整参数和效果，但无法改变底层的令牌空间和语义框架。

不蒸馏意味着字节跳动从零开始定义规则：什么粒度最优化地分词视频帧，如何将音频节奏编码到语言模型中，如何跨多模态信号执行联合注意力，所有这些基础决策都保留在内部。

对于字节跳动追求视频生成和多模态交互，对基础架构的控制远比短期文本排行榜排名更重要。

通过蒸馏训练模型本质上是轻量级的"微调"：站在别人现成的基础上做调整，数百块GPU运行数周就见效。见效快、成本低，是众多厂商追求快速追赶的选择。

但字节跳动的全量从零训练路径遵循完全不同的规则。训练一个200B+参数的MoE模型从零开始不是单个算法点的比较，而是整个系统的硬工程能力。这才是真正的AI"重工业"。

在超大规模预训练中，最关键的指标是MTBF（平均故障间隔时间）。一个完整的预训练周期往往跨越数月，协调数万块GPU并行计算。在这个过程中，任何一块GPU的内存错误、任何高速链路通信中断、任何运算精度溢出都可能中断整个任务，甚至让之前的所有计算投入付诸东流。

集群越大，故障概率越高。简单计算：假设单块GPU平均故障间隔时间为10万小时，万卡集群平均每10小时就会遇到一次硬件故障。没有毫秒级故障检测、精确的检查点重启和完整的容错恢复机制，大规模全量训练是不可能的。

对字节跳动来说，这个挑战进一步升级。受美国芯片出口管制约束，字节跳动无法采购英伟达最新的黑威尔旗舰，只能用性能受限的H20，单卡训练效率远低于海外领先平台。别人可以利用强大的单卡性能支撑训练效率，字节跳动必须通过更大集群规模、更高资源利用率和极限工程优化来弥补差距。

公开信息显示，字节跳动训练集群跨越内蒙古乌兰察布、山西大同、河北怀来和张北、安徽芜湖等地的多个智能计算中心，建立了跨数万卡的分布式计算网络。字节跳动2026年AI基础设施资本支出已增至200亿元以上，公司净利润显示明显同比下降，Q3-Q4核心原因就是算力采购和数据中心建设。

张一鸣本人把半数精力投入到Seed团队。这份数百亿元的资金承诺加上创始人级的注意力分配，赌的不仅是某个单一模型的性能，而是整个全栈工程系统稳定支撑超大规模训练的能力：从下而上的算子优化、集群通信调度、训练容错恢复、算力资源管理，都是自研。

这套能够持续支撑"万亿参数从零训练"的训练框架和基础设施，构成了字节跳动真正的技术护城河。追求蒸馏路线的厂商永远不需要破解万卡级稳定训练的工程难题，自然永远不会积累这种重工业级系统能力。

随着缩放律不断推进、模型参数规模持续攀升，竞争的门槛从算法转向工程。到那时，只有掌控完整基础设施的参与者才有话语权。

在别人模型输出上训练，你的模型学到的就是他们的输出分布，包括说话语气、应答模式，甚至RLHF阶段注入的价值偏好。它知道对什么问题该说什么，但不知道为什么；它能模仿结果，但不能复现背后的推理链。

更关键的是，模型的"灵魂"带着别人的烙印。什么是好答案、什么应该拒绝、什么情境用什么风格，这些基础偏好在蒸馏时被整体继承了。后续的RLHF或奖励模型调优只是别人基础上的装饰，很难从根本上改变模型行为模式。

抖音的推荐衡量完成率和参与度，电商衡量点击转化，短视频内容强调节奏和视觉冲击，这些独特的商业逻辑必须被深深嵌入奖励模型，让模型在RLHF时与字节跳动生态产品目标对齐。

如果你蒸馏了GPT-4，模型的"灵魂"就带着OpenAI的偏好逻辑。你怎么在后训练阶段调，都是在别人基础上做装饰。只有从零开始训练，从预训练到RLHF整条链路都在自己掌控下，字节跳动才能真正让模型与自己极致的商业逻辑对齐。这涉及的不仅是有效性，还有可控性。

据《金融时报》报道，字节跳动正在讨论训练一个100万亿参数的大模型，远超阿里Qwen 3.8 Max的24万亿参数和月之暗面K3的28万亿参数，是国内已知参数规模最大的模型计划。该项目仍处于早期探索阶段，由Seed基础模型负责人项梁主导，与预训练数据负责人沈珂协调，最终是否正式发布仍不确定。

这是一个典型的"字节跳动"选择：与其在等量级上苦苦追赶，不如直接按倍数放大规模，通过量级跃升寻求领先地位。

缩放律仍是当前大模型最可靠的进步路径。给定充分的数据质量和训练效率，参数规模提升会产生可预测的能力增益。当主流选手在2-3万亿参数范围内竞争时，字节跳动直接瞄准100万亿，本质上是用规模换时间，通过更大投入跳过中间追赶步骤，直接抵达下一档次的门槛。

参数规模翻倍，训练难度不是线性增长而是指数级增长。数据供应、算力稳定性、对齐难度、推理成本，每一项都构成巨大挑战。2000亿元资本支出、70%利润下滑、创始人半数精力，所有筹码都押在这条"更慢、更难"的路上。

当DeepSeek面临OpenAI蒸馏指控时，当美国立法将模型数据盗窃纳入国家安全范畴时，字节跳动的选择突然具有了预防性的战略意义。完全自研的全链路模型没有知识产权纠纷、没有合规包袱，在全球扩张和长期技术竞争中站在更安全的地面上。

未来三年，大模型技术的范式窗口正在快速收窄。今天领先者的技术路径选择将决定未来十年乃至更远的竞争格局。

蒸馏的诱人之处在于确定性：你知道目标在哪、怎样最快到达、投资回报清清楚楚。但代价是永久丧失了定义目标的权利。

在那场会议上，张一鸣明确表示，每个人都应该以智能的上界为目标，期待Seed模型能力达到世界第一档次。