Meta的AI代理Muse在推荐系统工作负载上相比生成式聊天实现100倍的成本效率优势。

Meta推荐研究主管德万什·坦顿认为，下一个大型消费类AI应用将不是聊天机器人，而是推荐信息流本身。在《AI工程师》播客中，坦顿阐述了Instagram、Facebook、TikTok和YouTube等内容信息流相比AI聊天应用为何具有决定性经济优势的结构性原因：这些平台解码指向内容的指针，而非生成每个输出令牌，这使得它们每小时消费者参与的成本最多便宜100倍。

这一论证的基础是坦顿所谓的"令牌输入、参与输出"飞轮模型：训练模型、运行推理、将更好的推荐转化为参与（日活用户和使用时长），然后通过广告或订阅进行变现，最后用收入资助下一轮训练。缩放曲线上的每一步升级都代表飞轮的一次循环。Instagram和ChatGPT都拥有数亿用户，都由大型模型驱动。但为这些用户提供服务的经济效益却截然不同。

坦顿论证的第一个支柱是推荐系统遵循与大型语言模型相同的缩放规律。在LLM浪潮之前，推荐模型是大科技公司最大的生产级机器学习系统，在日活用户超过十亿的规模上运行的模型中仍然是最大的。Meta 2024年和2026年发布的HSTU论文都表明，扩展模型规模、计算资源和数据能够在推荐质量上产生明确的离线收益。更具体地说，Meta最近的财报将Instagram Reels观看时长同比增长30%归功于简化排名架构以实现高效的模型扩展，并加倍增加了用于训练Instagram的用户交互序列长度，同时增强了每次交互的丰富性。他指出："这些缩放曲线不仅仅是学术研究。它们在全球一些最大的消费类企业中驱动真实的产品影响。"

第二个支柱涉及经济学最具决定性的因素：信息流与聊天应用输出之间的结构性成本差距。内容信息流的输出不是内容本身，而是语义ID——一个紧凑的令牌，充当指向创作者已上传的视频或帖子的地址。这类内容的供应实际上是免费的，由健康的创作者经济补贴。相比之下，AI聊天应用必须在推理时自己生成每个输出令牌。单次对话会输出数千个令牌，每个都需要昂贵的模型计算生成。内容信息流运行约10亿至100亿个活跃参数，输出语义ID令牌（指向现有内容的指针），每次交互数千个令牌。AI聊天应用运行100亿至1000亿个活跃参数，在推理时生成内容的每个令牌。结果是：通过信息流生成一小时的消费者参与成本最多比通过聊天界面相同的参与便宜100倍。

使这一切成为可能的关键技术是语义ID。许多团队只是在现有推荐模型中用语义ID取代传统哈希ID，就获得了显著的收益。哈希ID是一个任意数字，每当底层数据改变时都会改变，这意味着模型只能将其记忆。语义ID是一个学习到的表示，捕捉内容的实际含义，给模型真正可以学习的东西。更重要的是在经济上，语义ID压缩效果显著：一个三分钟的Instagram Reel如果以原始形式输入到模型的上下文窗口，将消耗约10,000个令牌——足以在单个项目中耗尽大多数上下文预算。语义ID将同一视频压缩到约10个令牌。它们采用层级结构：相似的Reel共享前三个语义令牌——第一个代表体育、接下来两个代表网球、最后一个区分具体视频。这种结构使模型能够在长期用户交互序列（数月或数年的浏览）上进行推理，而不会耗尽上下文。这正是使整个系统在经济上可行的原因：模型不是重新生成内容，而只是在创作者经济已经填充的空间中查找地址。

坦顿将构建过程简化为三个概念步骤：对内容进行令牌化以为该领域创建语言，调整LLM使其同时使用英语和该领域语言，然后用用户信息提示模型，使其能够直接从内容语料库解码推荐。他将其呈现为一个五层架构。底层是语义ID。上面是基础LLM基础模型，要么是开放权重模型，要么是内部第一方构建。然后是预训练以连接英语和推荐令牌——教导模型在两种语言之间进行翻译。上面是后训练以引导模型完成推荐任务，例如预测参与度。