2026年10月19日星期一
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

服务数十亿日活用户的中国应用通过跨云架构优化,GPU集群规模缩减75%,实现推理成本效率重大突破。

验证推理优化的多云架构能显著降低计算需求,有望改变AI基础设施经济格局,摆脱单体GPU中心设计。
行业媒体Slicast · 2026年8月4日 UTC 01:27 · 中国 · 来源: 量子位
重要度 91

微信、TikTok和Instagram这样的全球巨头主宰着十亿级用户应用的行列,但如今一款突破性的AI时尚造型和购物推荐出海应用真正加入了它们的行列。用户上传自拍,AI在锁屏上实时生成逼真的生活场景合成图像,并提供精确的购物推荐。

经济学讲述了一个残酷的故事。在新兴市场,当团队将广告和变现收入分散到整个用户基数时,ARPU(平均每用户收入)仅仅为2美元。

更多用户意味着更频繁的锁屏刷新,意味着更快的现金消耗——一个死亡螺旋。公司面临一个基本问题:云基础设施如何将一个十亿用户应用变成一场业务生存危机?

他们从全球前二的云巨头租赁GPU容量,在NVIDIA L4 GPU上部署开源图像生成模型。定价从0.70美元到8美元/小时,取决于配置。真实世界测试显示,使用L4生成一张AI高清图像需要整整12秒。

应用的锁屏自动刷新,用户上传自拍后,系统每天生成大约三次相当的推理。仅仅是这一项,每个用户每年的GPU租赁成本就约为2.55美元。

更糟的是闲置容量。2.55美元的数字假设了全天候满负荷GPU利用。任何流量低谷或GPU空闲时间都会将真实的单图像成本推高至3美元以上。

传统云定价通常只覆盖GPU和CPU。但图像必须全球送达用户,出站跨境流量产生额外费用。每张图像几兆字节似乎微不足道,直到乘以数十亿日活用户——之后跨境出口流量就变得天文数字。一位专注出海的AI高管苦笑着说:"在传统企业云中,行业规则是:计算成本1万美元,流量成本5千美元。"

许多出海应用将服务集中在少数几个中央数据中心,而用户分散在全球。光纤有物理限制。跨境往返延迟经常达到数百毫秒。行业测试表明,仅仅14毫秒的网络延迟就会将GPU利用率降低到70%,浪费30%的计算。昂贵的计算、飙升的流量、延迟导致的GPU闲置——三重负担压垮了出海AI团队。

面临死亡螺旋,公司拒绝放弃。在评估全球云提供商后,它做出了大胆的转向:切换到Akamai的推理云,并围绕NVIDIA RTX PRO 6000重建GPU选择。

这不是一张传统的旗舰级训练卡,但对于AI推理来说它是一件具有破坏性的"降维打击"武器。凭借RTX PRO 6000的先进架构和96GB的超大VRAM(完美处理大模型和高并发KV缓存),生成时间从12秒压缩到3-5秒。

计算时间下降了一半多。所需的服务器集群缩减了75%。虽然RTX PRO 6000的小时卡租赁费用高于L4,但生成速度快4倍,总卡数少3/4,所以单图像推理成本实际上低于L4。

秘密在于量化。H100架构不支持原生FP4精度——FP8是最低标准。RTX PRO 6000原生支持FP4,在几乎没有模型准确度损失的情况下将内存需求再减少50%。在纯推理工作负载上,RTX PRO 6000吞吐量达到H100的1.63倍,同时成本低14%。

一款亚太地区的情感陪伴应用在A100上运行多模态对话时,也陷入了同样的"体量越大亏损越大"的坑中。切换到Akamai的RTX PRO 6000并采用FP4量化后,总成本下降60%,使业务扭亏为盈。

除了计算,Akamai将流量成本降至$0.005/GB——不到传统企业云的二十分之一。结合Akamai全球部署的19个GPU数据中心和4,400多个边缘节点,95%的互联网用户在10毫秒内获得响应,完全解决了由光速极限造成的GPU闲置问题。

对于拥有庞大遗留系统的企业,完全迁移通常意味着高昂的测试成本和停机风险。这款出海应用采用了一个优雅的混合多云桥接架构:将数据库和核心应用保留在旧云上,只将最昂贵的AI推理层迁移到Akamai。

通过部署开源MultiQueue调度器,一个中央任务队列实时评估全局集群负载。例行推理请求首先路由到高价值的Akamai LKE集群,只有在流量尖峰期间才会弹性溢出到备份池——无需对核心应用代码进行任何更改。

同时,Akamai摒弃了强制长期承诺的企业模式。与公司合作,它设计了与应用实际流量曲线相符的分层弹性承诺选项。

韩国游戏工作室DevSisters(《Cookie Run》开发者)采用了相同的细粒度成本核算:RTX PRO 6000用于70B实时NPC对话,便宜的RTX 4000 Ada用于离线资产生成,确保每一分钱都物尽其用。

再加上Akamai的"无状态推理"(平台上不存储用户数据),它原生满足了GDPR等最严格的全球隐私法规。为了完全解决企业切换顾虑,Akamai为出海客户提供了高达5,000美元的迁移补贴、全流程迁移专属架构师以及原生24/7本地支持——真正零痛点切换。

从CDN分发静态网页的初心到如今的边缘安全、分布式云和AI推理基础设施,Akamai的核心逻辑从未改变:让计算和服务尽可能靠近用户。

大多数出海AI团队不需要花费数亿美元训练大型模型。他们真正需要的是:一旦模型离开实验室,就有一个稳定、超快速、全球化的平台,不会用天文数字的账单捅他们一刀。

许多出海公司失败不是因为产品弱——数十亿活跃用户证明了相反的情况。真正的背刺是基础设施在吸血你的现金流。

特定计算选择是否明智这一点从未改变:"只有脚知道鞋是否合脚。"

阅读原文
服务数十亿日活用户的中国应用通过跨云架构优化,GPU集群规模缩减75%,实现推理成本效率重大突… · Slicast