DeepInfra在多伦多开设1.7MW AI推理数据中心,配备1000+块NVIDIA B300 GPU。
位于帕洛阿尔托的GPU推理平台DeepInfra在多伦多开设了一座1.7MW数据中心,容纳超过1,000个NVIDIA Blackwell B300 GPU。该设施于7月8日宣布,标志着该公司首次在美国以外部署数据中心,也是其第九座数据中心。
多伦多集群占用了一个未披露的第三方主机托管设施中的租赁容量。DeepInfra未披露合作的主机托管服务商名称,也未透露具体的冷却或网络配置。该部署旨在降低加拿大和国际企业客户的推理延迟,同时为需要在加拿大境内进行数据处理的企业客户提供服务。
DeepInfra成立于2022年,运营一个托管推理平台,支持超过200个开源AI模型,每周处理近5万亿个token。该公司持有SOC 2和ISO 27001认证,并对企业客户实施零数据保留政策。这次扩展在DeepInfra于2026年5月完成1.07亿美元B轮融资两个月后进行,该融资基于2025年4月完成的1,800万美元A轮融资。该公司未披露其总估值或年收入。
B300是NVIDIA最新的Blackwell架构加速器,与之前的Hopper一代硬件相比,设计用于实现更高的推理吞吐量和更优的能源效率。DeepInfra拥有并运营其GPU基础设施,但从其主机托管合作伙伴处租赁底层数据中心空间。
多伦多部署反映了行业从以训练为主的GPU需求向推理工作负载转变的更广泛趋势。DeepInfra公告中引用的麦肯锡研究预测,到2030年,推理将占总数据中心需求的40%以上,年复合增长率约为35%。对于GPU供应商来说,这一趋势意义重大——NVIDIA的Blackwell架构被定位为下一代推理基础设施的主要平台。NVIDIA股票在7月11日的交易价格为203.53美元,使该公司市值约为4.9万亿美元。
DeepInfra在托管推理市场中与Together AI、Fireworks AI和Groq等公司竞争。该公司表示正在评估额外的国际数据中心部署,但未披露具体位置或时间表。