Stanford研究人员提出Homa协议,一个重新思考AI规模应用延迟和吞吐量的新型网络协议,旨在替代TCP。
据斯坦福大学计算机科学名誉教授约翰·乌斯特豪特(John Ousterhout)表示,TCP作为互联网和云计算底层的基础数据传输协议,从根本上不适合现代人工智能工作负载。为了弥补这一空缺,他正在倡导推广Homa——一种专为数据中心环境设计的新协议。
尽管TCP应用广泛,但将Homa集成到现有网络中所需的工作量极少。该协议可以从其开源仓库编译,并作为模块安装到客户端和服务器的Linux内核中——无需重启系统。关键是,Homa与TCP并行运行,使应用程序能够逐步迁移,无需全面更换基础设施。安装Homa实际上还会加速剩余TCP流量的传输。
Homa代表了网络流量管理的全新设计。该协议的开发工作始于贝赫南·蒙塔泽里(Behnam Montazeri)的博士学位论文,首次发表于2019年,蒙塔泽里现为谷歌职员工程师。乌斯特豪特从教学岗位退休后,已将推广Homa作为他的"终身使命"。
Homa与TCP之间的关键区别在于它们的基础架构。TCP是流式的;Homa是基于消息的,具有明确的消息长度,类似于远程过程调用。至关重要的是,Homa将拥塞控制的责任委托给接收端而非发送端。当接收端获得第一个数据包时,它可以了解传入数据的总大小,并可以明确安排后续数据包的传输。这种方法使用最短剩余处理时间算法优先处理较短的消息,使短消息的延迟降低一个数量级。在第99百分位,Homa对较短消息的延迟为92微秒——是TCP在100 Gbps网络80%利用率下1.2毫秒p99延迟的十三倍快。即使对于较长的消息,Homa也表现出两倍的延迟优势。
乌斯特豪特目前正在起草IETF标准化文件,并致力于将Homa上游化到Linux内核中。今年3月,该协议被反向移植到红帽企业Linux 8和9.5版本。他还在与大型金融服务公司合作进行该技术的原型设计。
并非所有网络架构师都赞成替代TCP的理由。2023年,知名网络架构师伊万·佩佩尼亚克(Ivan Pepelnjak)发表了一篇批评性文章,质疑乌斯特豪特的性能主张,并辩称Homa是一个在寻求解决问题的方案。
TCP的局限性超越了AI基础设施。高性能数据库社区使用DPDK(数据平面开发工具包)绕过TCP协议栈;存储网络已采用采用RDMA和光纤通道传输的NVMe-oF;谷歌开发了QUIC——现已成为HTTP/3的基础——以消除TCP的队头阻塞;高频交易和多人游戏社区长期以来一直受TCP延迟的困扰;而专用RDMA架构和亚马逊的可扩展可靠数据报则成为了替代方案。
TCP的限制源于其字节流模型。文特·瑟夫(Vint Cerf)及其同时代的人设计TCP是为了对网络流量施加顺序,提供流量控制、确保交付、连接握手和拥塞控制。然而这一设计混淆了两个独立的问题:防止网络饱和的拥塞控制和防止发送端淹没接收端的流量控制。由于缺乏消息边界,TCP将所有数据视为无差别的字节流。服务器可以通知发送端减少输入,但无法看到剩余的在途流量。发送端必须根据确认时序推断如何进行限流。
对于通用互联网流量或大型数据中心传输,适度的延迟增加是可以接受的。对于延迟敏感的AI工作负载,即使毫秒级延迟也会产生显著成本。大型语言模型训练需要持续的高带宽传输,包括权重梯度、模型权重、KV缓存条目和检查点。然而这些批量传输现在必须与来自代理的短突发以及元数据协调和缓存查询等控制任务共存。每毫秒的延迟都会导致昂贵的GPU处于空闲状态——乌斯特豪特将其描述为"无法接受"。"传统协议不适合这一环境,"他指出。
目前,TCP仍是主导协议,但其对数据中心工作负载而言已过时变得日益显著。