PrismML展示在边缘设备上运行1比特量化AI推理,为智能眼镜部署实现了4倍内存占用减少。
一个拥有20亿参数的AI模型现在已经小到足以装进一副眼镜里。2026年9月24日,在加州帕萨迪纳举行的高通骁龙峰会上,加州理工学院衍生公司PrismML和高通技术公司展示了他们的Bonsai语言模型的1-bit版本,完全在为智能眼镜设计的骁龙AR1 Gen 1平台上本地运行。无需云端往返,无需Wi-Fi依赖,数据不离开眼镜。据TechCrunch报道,该演示在相同的内存占用空间内压缩了大约四倍的参数,相比可比较的4-bit模型生成文本的速度快了两倍多。
从行业活动的标准来看,这是一个小公告,被安排在"周三演示"环节而非主旨演讲。但它出现的时机很关键——此时内存已成为消费硬件中最昂贵的成本项目,RAM在某些手机物料成本中占比高达60%,各大AI实验室都在竞相将可用的AI模型直接部署在芯片上而不是数据中心。PrismML的主张是,1-bit权重而非更大的电池或更好的天线,才是最终使始终在线的AI眼镜实用化的关键。
该旗舰模型是一个20亿参数的视觉语言系统,建立在PrismML现有的Bonsai 1.7B语言模型之上,配合一个较小的视觉编码器,使眼镜能够实时回答关于佩戴者所看内容的问题。语言部分以1-bit精度运行;PrismML和高通描述该结合系统的内存占用大约比等效的4-bit模型小四倍,同时在PrismML测试的基准套件上匹配了较大模型的性能。
据Android Headlines报道,高通高级副总裁Ziad Asghar将这项工作定位为在骁龙AR1 Gen 1平台上使用1-bit模型对保持视觉内容隐私和本地响应能力(而非发送到服务器)的意义。PrismML首席执行官Babak Hassibi在该公司自身发布材料中作出了类似的论述,主张在不损失模型推理能力的前提下压缩模型是PrismML多年工程的核心问题。两家公司都没有命名任何即将上市的眼镜产品。这是一场面向硬件合作伙伴和开发者的平台演示,而非零售产品发布。
根据该公司在骁龙AR1 Gen 1上的测试,PrismML的语言模型在1-bit精度下约为0.43GB,而量化至4-bit的可比模型约为1.66GB。这接近于模型占用内存的4倍缩减。在生成速度上,PrismML报告1-bit版本达到每秒15.36个token,而4-bit比较版本为每秒7.44个token,大约是2倍的加速。这些是供应商在特定测试配置下报告的数字——1024-token上下文窗口、4GB系统内存以及高通自身的QNN SDK加1-bit内核支持——不是独立复现的结果,读者应在第三方进行自己的基准测试之前将其视为此类性质。
PrismML表示其1.7B的1-bit语言模型在一系列标准评测中与量化至4-bit的Qwen 3 1.7B模型进行了基准测试:BFCL v3、HumanEval+、MMLU Redux、IFEval、IFBench、MuSR、GSM8K和GPQA Diamond。该公司的主张是两者在这些测试中的表现相当。公开披露中缺失的是完整的逐基准得分表,因此外部研究人员还无法逐个基准检验PrismML的数学。
PrismML由加州理工学院研究人员组成,由创始人兼首席执行官Babak Hassibi领导,他是加州理工学院教授,学术工作专注于压缩理论。TechCrunch的报道指出,该公司还得到了加州大学伯克利分校的Ion Stoica的建议,他在分布式系统和AI基础设施圈子中名声显赫,是Databricks和Anyscale的联合创始人。PrismML声称获得了来自Khosla Ventures、Cerberus Capital、Google计算补助以及加州理工学院的支持,加上继续来自三星的支持。目前尚未公开披露任何总融资额或估值。
Bonsai系列并非始于眼镜。PrismML在2026年3月发布了一个80亿参数的1-bit Bonsai模型,随后在9月中旬推出了Bonsai 2 27B,一个更大的模型,该公司将其宣传为强大AI无需专门存在于云中的证明。骁龙峰会演示将同样的设计理念压缩到一个没有风扇、没有电池组、几乎没有散热余量的外形尺寸中。
大多数生产语言模型仍以16-bit或8-bit精度运行,4-bit量化被视为消费硬件的激进端。转向1-bit权重是一个更大的跳跃,这并非新想法。微软研究院在2024年发布了BitNet b1.58架构,描述了一个三元权重方案,其中每个权重取值为-1、0或+1,每个权重需要大约1.58位信息而非16或32位。微软随后将该工作作为开放模型发布到Hugging Face上,并在arXiv上发布了基础研究。PrismML自身的材料将Bonsai简单描述为"1-bit"而非明确的三元形式,该公司还未发布足够的架构细节来明确其方案是严格二进制、类似BitNet的三元制或其他专有编码。
自2024年以来改变的不仅仅是研究,还有硬件。高通愿意在其用于Hexagon NPU的QNN SDK中直接构建1-bit内核支持,这将一篇研究论文转变为真实芯片上的每秒token数字。这与几年前4-bit和8-bit量化的发展轨迹相同:在手机和PC芯片制造商费力优化硅之前,数学已经存在。
PrismML并非唯一追求"本地运行、保持小体积"目标的公司,甚至不是今年第一个发布超出其大小预期性能的小型模型的公司。Google、Apple和Microsoft都有各自的紧凑本地设备工作:Google的Gemini Nano模型通过Google自身部署堆栈在支持的Android设备内部运行;Apple在Apple Intelligence的一部分中本地运行一系列紧凑基础模型,较重的工作被卸载到Apple的Private Cloud Compute而不是本地运行;Microsoft的Phi系列在Hugging Face上托管,针对类似的小而高效利基。这三家中没有一家发布过1-bit在可穿戴NPU上的部署,其特定的内存和速度数字如同PrismML和高通本周发布的那样,这是PrismML在更大参与者关闭之前试图声称的差距。