Rackspace与Together AI达成一项协议,部署时间定于2027年,相关报道未披露更多条款。
2026年11月10日,Rackspace与Together AI宣布达成一项初步的多年期推理基础设施协议。该协议具有约束力,但部署计划于2027年进行,并以相关条件为前提。它并不意味着某项新研究服务已正式全面推出。
Rackspace在其公告中表示,预计将运营专用的NVIDIA GB300 NVL72系统,包括供电、液冷、网络和存储。Together AI预计将提供托管平台。GPU融资尚未最终确定;场地、电力和设备可用性也是前提条件。
两家公司还签署了一份不具约束力的意向书,拟探索联合开发企业级产品。这些产品仍需进一步协商达成一致。数据驻留、安全和合规功能将取决于具体产品及客户安排。
对于正在评估未来产品的科研机构而言,我们的看法是,服务安排需要明确数据流向和运营责任。仅有专用硬件并不能说明提示词、输出内容和日志将被存放在何处,也不能说明谁可以访问这些数据。这项评估应与机构的科研数据治理审查一并进行。
Together AI现有的隐私文档说明了为何需要分别考虑这些问题:提示词存储默认开启,而将数据用于模型训练则是单独的选择加入项,默认关闭。其组织设置适用于使用该组织API密钥发出的请求。这些已公开的设置可作为评估服务的背景信息,但并不能确认未来Rackspace的具体配置。
零数据保留文档还区分了请求内容与其他记录。启用该选项仅影响之后的请求;使用元数据仍会保留,而明确上传的微调或批处理文件在删除之前仍会被存储。高校应明确哪些设置、留存记录和删除安排适用于其拟议的工作负载。
美国国家标准与技术研究院(NIST)《AI风险管理框架》的"治理"(Govern)实践指南建议,将AI风险管理与数据治理、模型测试、监控和事件响应相结合。在此情境下应用该方法,意味着需要明确:谁批准该工作负载,谁审核模型输出,谁负责处理运营事件。NIST面向研究机构的框架以及AI治理框架模板可为划分这些责任提供进一步参考。以上均为机构审查时应考虑的事项,并非对所公布基础设施的合规性认定。