台积电高管表示集成系统将引领AI热潮,强调了向芯片组和先进封装架构的转变。
台积电(TSMC,台積電)人工智能与高性能计算业务发展总监李湘表示,随着行业进入“AI的真正工业化”阶段,下一阶段的人工智能增长将由集成计算系统的大规模部署驱动。她在台北举行的Semicon Taiwan IC论坛上发表主旨演讲时指出,AI智能体正日益融入企业工作流程,而对专用数据中心和物理AI的投资也在加速。“在这个新时代,市场领导者不会是那些仅仅制造更好模型的人,而是那些构建最集成系统的人。”她说。未来的人工智能基础设施将不再仅依赖单个芯片或模型的进步,而是需要在芯片、服务器机架乃至整个数据中心层面,实现计算、内存、互连、存储和电源管理的全面整合。
这一架构转变由对AI推理(即使用训练好的模型响应请求并执行任务的过程)的激增需求所推动。自2022年以来,全球推理令牌量已增加约500倍,而更复杂的推理和智能体AI系统消耗的令牌数量远超传统的单次查询。“推理不再是一项低开销的任务,”李说,并补充道,随着AI智能体在后台持续运行,它正成为系统级扩张的主要驱动力。这些不断增长的工作负载对四个关键领域施加了巨大压力:逻辑扩展、互连效率、内存性能以及供电和散热。在典型工作负载中,数据移动本身可能占系统活动的60%,导致加速器利用率低于40%。此外,到2030年,AI封装可能包含超过1万亿个晶体管,这使得多芯粒架构和异构集成变得至关重要。
为应对这些限制,台积电正在开发涵盖先进逻辑、封装和光互连的技术。李重点介绍了公司的3DFabric平台,该平台集成了系统级集成芯片(SoIC)3D堆叠和晶圆上基板上的先进封装技术,以及专为高速光数据传输设计的紧凑型通用光子引擎平台。台积电还在通过将先进逻辑技术应用到HBM基片上来提升高带宽内存的性能。在问答环节中,李强调,台积电必须培养对供应链“从硅片到数据中心再到令牌”的深刻理解,并与生态系统合作伙伴合作,尽早在整个链条中验证技术。这反映了台积电的角色已远远超出制造单个芯片的范围。“我们不能再只是把晶圆运过围墙的日子已经一去不复返了,”李说。
更广泛的基础设施发展凸显了行业的快速扩张。在中国贵州省的山丘地带,一组带有钟楼和多拱桥的欧式建筑发出低沉而持续的嗡嗡声——这是科技巨头华为最大数据中心的明显标志。虽然设计独特,但这个小镇般的综合体符合中国政府的一项更广泛战略,即将中国飞速发展的AI发展的许多数字基础设施从东部沿海地区转移到人口较少的西部农村地区。过去几年里,该省西南部已建成数十个此类设施,建设仍在继续。与此同时,对先进计算硬件的需求依然强劲。印度AI基础设施公司AM Intelligence订购了9,000套英伟达(Nvidia Corp)Vera Rubin系统,使其成为亚洲首批采用该平台的厂商之一。这家总部位于海得拉巴的公司表示,配备机架级系统的服务器将于明年在印度南部上线,服务于主要云服务提供商、AI实验室以及开发本土印度AI模型的组织。由于微软(Microsoft Corp)、谷歌母公司Alphabet Inc旗下的Google以及亚马逊(Amazon.com Inc)等数据中心和超大规模企业对AI模型训练的持续需求,高端英伟达计算集群的供应仍然紧张。
下一代连接和封装的重点在下周的Semicon Taiwan贸易展上得到进一步凸显。由SEMI主办的此次活动周三开幕,周五结束,地点在台北南港展览馆,技术论坛从今天开始举行。SEMI预计出席人数将创纪录,来自65个国家的1,300多家参展商将占据4,300个展位,吸引超过10万名与会者。硅光子和共封装光学(CPO)——被视为满足激增的AI带宽需求的关键技术——将成为主要主题之一,支撑AI基础设施的光互连预计将受到广泛关注。在封装方面,芯片封装服务提供商力成科技(Powertech Technology Inc)宣布,其先进的扇出型面板级封装(FOPLP)生产线已通过至2030年的产能利用率达到100%,早于其计划于明年开始的量产。经过六年的发展,该公司在公告中首次公开展示了其FOPLP能力。董事长蔡笃恭对长期订单管道表示强烈信心,指出强劲的市场需求已消除了客户获取方面的担忧。“我们的产能已被两大客户完全预订。直到2030年,客户都不是问题,”他在公司新竹工厂对记者说道。