aws正在低调推进专有的高速网络架构，旨在降低大规模AI训练集群内的延迟和带宽成本。
许多数据中心网络的设计存在缺陷，而亚马逊的网络则不然。上个月，我在一个网络实验室里会见了AWS全球网络工程副总裁Matt Rehder。当我半开玩笑地提到笼型螺母很容易割伤手时，他面无表情地看着我。这种反应并不令人意外，不是因为玩笑没有道理，而是因为它所提及的手工组装流程在AWS已经不复存在。机架是预组装好的，技术人员不再在其设施内将硬件拧到位。这次互动让我们得以窥见支撑云计算的高度自动化基础设施——这一现实鲜有行业外人士充分理解。
我的同事Thomas Claburn此前曾参观过该设施，并发表了对AWS相关研究论文的详细分析。简而言之，该公司采用了一种扁平的单层网络，其布线配置故意接近随机。这种架构带来了显著更具弹性的网络，且运营成本远低于传统方案，这为读者提供了技术基础方面的背景信息。
然而，这一点受到的关注不足——这也促使我提出未经安排的AWS设施参观请求——那就是对客户产生的经济影响。他们新的网络方法实现了高达40%的能源效率提升。它已成为大多数新建数据中心的行业标准，AWS正在大规模部署这些标准，但该技术在内部和外部都 largely 隐形。
由此产生的节省和成本效益是巨大的。那么，这些资金去了哪里？17年前，亚马逊高级副总裁James Hamilton在一篇[PDF]文章中指出，传统网络供应商的利润率与大型机制造商相当，他用生动的比喻形容后者像“水槽边挨饿的猪”。虽然这个比喻是我提出的，但观察结果是真实的。Hamilton的核心挫折感很简单：“他们挡了我的路。”他和他的团队决定通过使用商用硬件从头重建整个网络堆栈来解决这个问题。
这一战略转变取得了显著成果。几年前，AWS的网络成本就已经远低于依赖传统供应商的成本。随后推出的弹性网络图（Resilient Network Graph）架构进一步削减了开支。鉴于这些累积的效率提升，人们不禁要问：近年来积累的储蓄去了哪里？我直接询问，说AWS保留了利润率的改进而没有将其传递给客户是否准确。他们的回答毫不含糊：“从成本角度来看？实际上，是的。”
虽然这个答案看似严厉，但必须考虑更广泛的行业趋势。与许多竞争对手不同，AWS并未提高现有库存单位（SKU）的价格。是的，GPU容量块的成本每季度都在上涨，其作用类似于Spot实例的较慢变体。此外，AWS几年前开始对公共IPv4地址收费。客户仍然可以以今天相同的价格部署2020年可用的完全相同的64 GB RAM实例——这个数字甚至没有计入通货膨胀。此外，虽然从基于Graviton4的c8g.2xlarge迁移到其Graviton5等效产品c9g.2xlarge会产生9%的价格上涨，但没有客户被迫升级。考虑到组件成本的上升，我认为AWS将涨幅控制在仅9%是非常了不起的。
尽管AWS的计费粒度很细，拥有数百万个SKU，但每个SKU背后都掩盖着相当大的复杂性。EC2实例按小时计费（或按秒计量），但这笔单一费用涵盖了CPU、内存、背板、功耗、物理建筑安全、身份和访问管理协议、运营人员以及庞大的网络基础设施。该基础设施的一个关键方面是，虽然跨可用区（AZ）数据传输会产生显著成本——主要地区之间每千兆字节约两美分——但在单个AZ内的数据移动则是免费的。
鉴于单个AZ通常跨越多个数据中心设施，这一点尤其令人印象深刻。随着AZ的扩展和数据量的增长，AWS继续吸收这些不断上升的成本，而不是将其转嫁给客户。相反，从AWS导出数据要昂贵得多。AWS的传统Snowball设备允许向云端和从云端物理运输数据。入站传输收取固定费用，而出站传输则按每千兆字节收费——这种安排让许多人感到繁琐。在过去一年中，AWS推出了Interconnect-multicloud，完全取消了每千兆字节费用，仅收取每小时端口费率。该产品包括一个免费层级，为每个提供商提供一个500 Mbps的端口，有效地消除了路由到Google Cloud Platform、Oracle以及最终Microsoft Azure的流量的AWS侧成本。作为参考，通过公共互联网每月饱和该端口的成本约为12,000美元。
这一举措代表了AWS定价模式的前所未有的转变。虽然这不是我讨论的重点，但我要求就这一变化发表官方声明：“我们知道客户不喜欢基于费率的网络收费，因为很难预测其成本，这就是为什么我们正在转向新网络产品的固定费率定价。”这一发展值得密切关注。值得注意的是，它出现在云价格普遍上涨而非下降的时期。
核心挑战在于AWS倾向于隐形运作。这就引出了一个相关问题：为什么是我在解释这一点，而不是AWS自己？该公司承认其在沟通自身成就方面存在历史不足，尽管它有明确的意愿去这样做。传统上，AWS依靠客户来阐述这些好处，假设这种倡导自然会为平台积累价值。考虑技术执行层面：在接近随机的网络中，最大的挑战不是布线，而是路由。BGP、OSPF和各种专有系统等标准协议计算最短路径，当任意两点之间存在数千条等效路由时，这一指标就失去了相关性。AWS通过一种名为可扩展意图驱动路由（SIDR，发音为“cider”）的自定义协议解决了这个问题，该协议管理控制平面。另一个名为Spraypoint的系统处理实际的数据转发路径。
AWS在2023年的re:Invent大会上公开介绍了SIDR，并在2024年的“周一晚间直播”主题演讲中再次提及。随后，他们发表了一篇关于其弹性网络图（RNG）架构的论文，其中未提及SIDR。据我所知，没有外部分析师将该协议与底层网络联系起来。我必须直接验证这一点，我的评估结论是：它不是商业秘密。AWS只是未能强调SIDR对系统功能的关键性。不幸的是，这种沟通差距正在损害AWS的市场感知。行业内许多人错误地认为，新云提供商和Nvidia参考架构提供更优越的网络。事实并非如此。即使缺乏网络专业知识也能构建新云，而且几家公司确实尝试过这样做。
我对此深有体会；我以前也是那些工程师中的一员，直到我意识到可以将这种复杂性委托给云提供商。AWS在掩盖网络复杂性方面变得如此熟练，以至于我们很少停下来思考，在他们的环境中任意两点之间实现近乎满线速率的连接是多么不可思议。在由个人或较小组织建造的数据中心中，工程师必须不断管理瓶颈，例如机架顶部交换机限制聚合流量，使得并非所有节点都能同时以全速通信。我从未遇到过适用于AWS内部的这种情况。因此，当组织试图建立自己的数据中心时，他们对这一代人已抽象化的挑战缺乏认识，带着对任务真正难度的敬畏感着手这项事业。