Cerebras为OpenAI的Ultrafast模式提供动力,GPT-5.6 Sol推理速度提升14倍,750代币/秒。
OpenAI正推出其新型"Ultrafast"(超快速)模式的预览版本,该模式可从其旗舰模型GPT-5.6 Sol每秒输出高达750个标记。推理加速来自Cerebras,该公司今年早些时候与OpenAI签署了一项价值100亿美元的合作协议。该服务最初仅通过OpenAI API提供GPT-5.6 Sol,并仅限于精选客户使用,但随着容量增加将逐步扩展。有兴趣获得早期访问权限的公司可以通过表单注册。
OpenAI表示Ultrafast的设计目标是结合较小模型的速度和大型推理模型的全部能力,实现该公司所称的"每秒更有用的工作"。例如,在事故响应期间,工程师可以在中断仍在发生时对日志、代码更改和报告进行分析,帮助他们快速定位原因并准备修复方案。OpenAI表示已在内部将该模型用于此目的。
OpenAI强调了另外几个应用场景。在金融领域,该模型可以在市场条件仍在变化时评估市场信号并标记可疑交易。在客户支持方面,即使解决答案需要多个步骤或系统,也可以实时解决复杂咨询。在电子商务中,它可以回答产品问题、检查库存水平并在犹豫的买家放弃购物车之前进行个性化推荐。
研究是OpenAI重点强调的另一个领域。以前作为批处理任务在夜间运行的实验可以转变为交互式工作会话,让团队测试想法、审查结果、调整方法并启动另一次运行,无需中断工作流。
OpenAI已经按分层方式将推理速度货币化。通过API,它为GPT-5.6 Sol提供"快速模式",承诺速度提升高达2.5倍、延迟降低,价格约为原来的两倍。Ultrafast增加了第三个、更快的层级——且价格可能更高。这个逻辑与AWS等云提供商相似,它们长期以来对更高性能级别的相同服务收取更高费用。如果速度在各行业成为瓶颈,这种分层模式使OpenAI可以直接获利于更快推理创造的收入增益。