ai&推出ai& inference,通过部署异构计算(定制硅和CPU)以低至80%的成本提供前沿AI推理。
ai&是一家垂直整合的全球AI技术公司,推出了ai&推理平台——一个高性能平台,以相当于可比专有推理成本的一小部分提供最先进的推理能力。该平台在单一优化推理服务层的基础上整合了AMD、NVIDIA和其他芯片架构,通过硬件-软件协同设计将成本优势转化为结构性竞争力,这是单一架构供应商无法匹敌的。
推理定义了生产AI的成本。随着推理模型和智能体系统将每项任务的令牌量推向更高水平,令牌经济学已成为关键因素。业界已开发出精细的优化技术——推测解码、预填充/解码分离、激进量化、KV缓存重用和模型级路由——以推进性能提升。然而,业界对单一硅源的依赖意味着每个供应商最终都会遇到相同的计算瓶颈。当前推理竞争集中于在固定性能范围内管理权衡。
ai&通过在异构基础设施上引入软件规程而竞争优势更深一层,将AMD、NVIDIA、Tenstorrent和其他架构与服务栈原生集成。该平台解耦了推理管道,在最适合处理每个计算步骤的处理器上执行它。由于ai&拥有并端到端运营硬件,它实现了令牌效率的倍增——将密集的软件优化与硬件协同设计相结合——达到单一架构供应商无法达到的系统级效率,且成本结构按每生成令牌数而优化。
在内部基准测试中,该方法在等效工作负载上的令牌效率大幅高于可比的单一架构系统。客户获得与领先端点相当的AI质量,混合成本相比在单一前沿模型上运行的每一步低至80%。这一结构性优势使ai&能够对专有模型供应商和推理供应商提供最具竞争力的定价。
该平台具有明显的能力优势。ai&在统一服务层下整合了AMD、NVIDIA、Tenstorrent和其他硬件架构;该公司运营日本最大的基于AMD的推理计算资源和全球最大的Tenstorrent部署。对于涉及数十个迭代式、多轮循环的智能体工作流——跨越规划、检索、工具使用和验证——该平台解耦推理管道,并优化每个硬件架构的执行,最大化令牌吞吐量,并大幅降低智能体执行的复合成本。服务基础设施完全运行在ai&直接管理的硬件上,消除了租赁云基础设施的需求。对于受监管行业的企业——金融服务、医疗保健和公共部门——推理严格在专有环境中的本地提供,以保证完整的数据驻留和合规性。在离终端用户更近的位置提供服务工作负载可消除长距离往返网络开销,为实时交互式应用和紧凑的智能体循环提供所需的一致、快速响应时间。现有与OpenAI或Anthropic API兼容的应用可通过单一配置更改直接指向ai&的端点;无需重新架构代码库。
ai&已获得超过20亿美元的资本融资,用于在未来三年内构建多个百兆瓦级AI数据中心。该平台在ai&运营的基础设施上端到端运行,为客户提供任何单层供应商都无法交付的性能、经济性和主权。
对于需要专有容量、定制服务级别协议、本地部署或专项工作负载调优的客户,ai&提供根据独特需求定制的灵活选项。
ai&推理平台即日起可在console.aiand.com获取。新用户可使用优惠代码UNITABETAI兑换50美元的免费额度。ai&是一家全球AI技术公司,创立于这一信念:拥有并优化完整堆栈的公司赢得市场。通过将下一代数据中心基础设施、异构计算和前沿模型服务整合到单一优化平台,ai&为企业和开发者提供任何单层供应商都无法匹配的性能、经济性和数据主权。ai&成立于日本,正在全球范围内扩展,致力于为AI原生时代奠定基础。