EvoChip通过AltiCore软件定义平台为低成本、GPU无关推理创建目标。
加州达纳角初创公司EvoChip正式推出AltiCore软件生态系统,该系统旨在大幅降低AI推理的能耗和成本。这项技术与传统神经网络方法有根本性的区别,改用标准处理器上的逻辑门来处理AI计算。公司首席技术官兼联合创始人Patrick O'Neill表示,AltiCore是专为AI量身定制的,而非改造通用计算基础设施来适应AI。
该核心创新将繁重的算术运算替换为以逻辑为主导的运算链。O'Neill表示:"我们想从零开始重新设计这整个技术栈。我们需要的是专为AI设计的方案,而不是把通用计算硬生生用于AI,同时在这个过程中找到一种有效的方式来降低对电力、计算力、内存、处理时间等各方面的需求。"
O'Neill解释称,该技术可扩展应用范围从微控制器单元(MCU)到大型服务器安装。与依赖复杂权重矩阵、系数和互连的传统神经网络(这些特性不太适合数字计算)不同,AltiCore采用数字逻辑的基本构件。"我们回到了基础,"他表示,"使用数字逻辑的基本构件——逻辑门、与门、或门、与非门、或非门,以及比特移位和各类原始操作,这些在数字硅晶体管基层中都是极快且轻量级的。"
效率提升幅度显著。传统数学方法需要数万个逻辑门;AltiCore只需6个。一个通常需要高端服务器运行的AI模型现在可以在意法半导体(STMicroelectronics)的MPU等较小芯片上直接运行,无需任何修改。
EvoChip与总部位于加州拉古纳山的Dell Technologies白金合作伙伴Sidepath合作,在戴尔服务器和笔记本电脑硬件上测试了该技术,使用加州大学尔湾分校的信用违约预测数据集。神经网络对比测试中,每次推理需要8,323次算术运算,而AltiCore仅需116次。第二轮测试中,差异为21,000次运算对110次。在戴尔笔记本上测试时,AltiCore实现的每秒推理次数超过了神经网络在价值6万美元服务器机架上的性能。虽然这些结果尚未经过第三方审计,O'Neill指出它们是可重现的,并提供了详细的测试报告供独立验证。
Sidepath合作伙伴Patrick Mulvee称该技术是行业变革者。在新款戴尔Pro Max笔记本和较早型号,以及最新戴尔R670服务器上进行测试(包括配置虚拟机和不配置虚拟机的情况),结果显示"使用EvoChip技术运行时,性能呈指数级提升,更快、更迅速,耗电更少。它让服务器的表现就像打了兴奋剂一样"。至关重要的是,无需任何硬件改动——只需添加EvoChip软件即可。
该技术具有广泛的商业应用前景。Sidepath解决方案架构师Matt Musial强调AltiCore大幅降低了AI采用的门槛。"现在我们可以把这项技术应用到各种场景,因为它不需要10万美元或百万美元的启动成本,"Musial表示。他指出传统方法通常导致95%的项目失败率,而这项技术使得客户能够在标准硬件上快速评估AI,从而"从笔记本开始。你可以从更小的初始投资开始,然后弄清楚什么方案有效、模型中需要什么。"
O'Neill承认该技术尚未应用于大规模模型。当前市场重点是微控制器领域,这是传统神经网络根本无法适应的领地。"最终,我们希望能替代英伟达GPU,"他说,"如果我们能让这套系统在台式电脑上的性能超过价值3,000美元的GPU,那就能在市场上创造真正的价值。"潜在收益可观:如果单个运行AltiCore的服务器能匹配27台使用传统算法服务器的吞吐量,节省的成本在电力、冷却和基础设施上会逐级增长。
EvoChip正在推进AltiCore向通用可用性发展,同时完善文档、改进用户体验并扩展平台支持。与系统供应商合作的渠道合作伙伴将发现众多增值机会,特别是在降低服务器数量或能耗能直接影响客户预算和运营约束的领域。