PrismML는 엣지 디바이스에서 1-bit 양자화 AI 추론을 시연하여 스마트 글래스 배포를 위해 4x 메모리 풋프린트 감소를 달성합니다.
2-billion-parameter AI 모델이 이제 안경 한 쌍에 들어갈 수 있을 만큼 작아졌다. 2026년 9월 24일, 캘리포니아 파사디나의 Qualcomm Snapdragon Summit에서 Caltech 스핀오프인 PrismML과 Qualcomm Technologies가 스마트 안경용으로 설계된 Snapdragon AR1 Gen 1 플랫폼에서 완전히 온디바이스로 실행되는 PrismML의 Bonsai 언어 모델의 1-bit 버전을 선보였다. 클라우드 왕복 없음, Wi-Fi 의존성 없음, 데이터가 안경을 떠나지 않음. TechCrunch에 따르면, 이 데모는 이전 안경 하드웨어가 처리할 수 있던 동일한 메모리 공간에 대략 4배 많은 매개변수를 압축했으며, 비교 가능한 4-bit 모델보다 2배 이상 빠르게 텍스트를 생성했다.
업계 이벤트 기준으로 이는 작은 발표이며, 기조연설 대신 '수요일 데모' 시간에 배정되었다. 하지만 이 발표는 메모리가 소비자 하드웨어의 가장 비싼 항목이 된 시점에 나타났다. 일부 휴대폰의 부품 비용에서 RAM이 최대 60%를 차지하고 있으며, 모든 주요 AI 연구실이 데이터 센터 대신 칩에 직접 사용 가능한 모델을 탑재하려고 경쟁 중이다. PrismML의 주장은 더 큰 배터리나 더 나은 안테나가 아니라 1-bit 가중치가 드디어 항상 켜진 상태의 AI 안경을 실용화할 수 있게 해주는 핵심이라는 것이다.
표제 모델은 PrismML의 기존 Bonsai 1.7B 언어 모델을 기반으로 구축된 2-billion-parameter 비전-언어 시스템으로, 더 작은 비전 인코더와 짝을 이루어 안경이 착용자가 보고 있는 것에 대해 실시간으로 질문에 답할 수 있다. 언어 구성 요소는 1-bit 정밀도로 실행된다. PrismML과 Qualcomm은 이 통합 시스템이 4-bit 모델보다 대략 4배 작은 메모리를 사용하면서 PrismML이 테스트한 벤치마크 제품군에서 더 큰 모델과 동등한 성능을 낸다고 설명한다.
Qualcomm 부사장 Ziad Asghar는 Android Headlines에 따르면, Snapdragon AR1 Gen 1 플랫폼에 1-bit 모델을 가져오는 것이 시각적 맥락을 서버로 송신하지 않고 온디바이스에서 비공개로 유지하면서 신속하게 처리하는 것을 의미한다는 맥락에서 이 작업을 설명했다. PrismML 최고경영자 Babak Hassibi는 회사의 공식 발표자료에서도 유사한 주장을 하면서, 모델의 추론 능력을 손상시키지 않으면서 압축하는 것이 PrismML이 해결하도록 설립된 수년간의 공학 과제라고 강조했다. 어느 회사도 출시 예정인 안경 제품을 명시하지 않았다. 이것은 소매 발표가 아니라 하드웨어 파트너와 개발자를 대상으로 한 플랫폼 데모였다.
PrismML의 언어 모델은 1-bit 정밀도에서 대략 0.43GB의 크기인 반면, 4-bit로 양자화된 동등한 모델은 약 1.66GB이다. 이는 Snapdragon AR1 Gen 1에 대한 회사의 자체 테스트 결과이다. 이는 모델이 차지하는 메모리의 거의 4배 감소를 나타낸다. 생성 속도 측면에서 PrismML은 1-bit 버전에서 초당 15.36 토큰, 4-bit 비교 모델에서 초당 7.44 토큰을 보고했으며, 이는 대략 2배의 속도 향상이다. 이들은 특정 테스트 구성(1,024-token 컨텍스트 윈도우, 4GB 시스템 메모리, Qualcomm의 QNN SDK 1-bit 커널 지원)에서의 공급업체 보고 수치이며, 제3자가 자체 벤치마크를 실행할 때까지는 독립적으로 재현된 결과가 아니므로 독자들은 이를 그 수준의 신뢰성을 가지고 해석해야 한다.
PrismML은 1.7B 1-bit 언어 모델을 BFCL v3, HumanEval+, MMLU Redux, IFEval, IFBench, MuSR, GSM8K, GPQA Diamond를 포함한 표준 평가 모음 전반에서 4-bit로 양자화된 Qwen 3 1.7B 모델과 비교했다고 밝혔다. 회사의 주장은 두 모델이 이러한 테스트에서 비슷한 수준에 있다는 것이다. 공개 공개사항에서 부족한 것은 벤치마크별 완전한 점수 표이므로, 외부 연구자들은 아직 PrismML의 계산을 벤치마크별로 검증할 수 없다.
PrismML은 Caltech 연구자 그룹에 의해 설립되었으며, 설립자 겸 최고경영자 Babak Hassibi가 이끌고 있다. Babak Hassibi는 압축 이론 연구에 중심을 두고 있는 Caltech 교수이다. TechCrunch의 보도에 따르면, 회사는 분산 시스템 및 AI 인프라 분야에서 잘 알려진 인물인 UC Berkeley의 Ion Stoica의 자문도 받고 있으며, 그는 Databricks와 Anyscale의 공동 창립자이다. PrismML은 Khosla Ventures, Cerberus Capital, Google 계산 보조금, Caltech의 지원을 받았으며, Samsung으로부터 지속적인 지원을 받고 있다. 총 자금 규모나 기업 가치는 공개되지 않았다.
Bonsai 제품군은 안경에서 시작되지 않았다. PrismML은 2026년 3월에 8-billion-parameter 1-bit Bonsai 모델을 출시했고, 9월 중순에는 더 큰 모델인 Bonsai 2 27B를 출시했으며, 회사는 이를 강력한 AI가 클라우드에만 존재할 필요가 없다는 증거로 제시했다. Snapdragon Summit 데모는 동일한 설계 철학을 선풍기도 없고, 배터리 팩도 없으며, 열 여유 공간도 거의 없는 폼 팩터로 압축했다.
대부분의 프로덕션 언어 모델은 여전히 16-bit 또는 8-bit 정밀도에서 실행되며, 4-bit 양자화는 소비자 하드웨어의 적극적인 끝으로 간주된다. 1-bit 가중치로 가는 것은 훨씬 더 큰 변화이며, 새로운 개념이 아니다. Microsoft Research는 2024년에 BitNet b1.58 아키텍처를 발표했으며, 각 가중치가 -1, 0 또는 +1의 값을 취하는 3진 가중치 구성표를 설명했으며, 가중치당 약 1.58비트의 정보가 필요하다. Microsoft는 나중에 이 작업을 Hugging Face에서 오픈 모델로 출시했고 arXiv에 기본 연구를 발표했다. PrismML의 자체 자료는 Bonsai를 명시적으로 3진이 아닌 '1-bit'로 단순히 설명하며, 회사는 자신의 구성표가 순전히 바이너리인지, BitNet 같은 3진인지, 또는 다른 독점 인코딩인지 명확히 할 수 있을 만큼 충분한 아키텍처 세부사항을 공개하지 않았다.
2024년 이후로 변한 것은 단순한 연구만이 아니라 하드웨어이다. Qualcomm이 1-bit 커널 지원을 Hexagon NPU용 QNN SDK에 직접 구축하려는 의지는 연구 논문을 실제 칩에서의 토큰당초 수치로 전환한다. 이것은 수년 전 4-bit 및 8-bit 양자화에서 벌어진 동일한 패턴이다: 수학은 휴대폰 및 PC 칩메이커가 이를 위해 실리콘을 최적화하려고 신경 쓰기 훨씬 이전부터 존재했다.
PrismML이 '로컬에서 실행하면서 작게 유지'라는 목표를 추구하는 유일한 회사가 아니며, 올해 이러한 목표를 달성하기 위해 크기에 비해 기대를 초과하는 작은 모델을 발표한 첫 번째도 아니다. Google, Apple, Microsoft는 모두 자신의 컴팩트 온디바이스 노력을 가지고 있다: Google의 Gemini Nano 모델은 Google의 자체 배포 스택을 통해 지원되는 Android 기기 내에 탑재된다. Apple은 Apple Intelligence의 일부로 온디바이스에서 컴팩트 기초 모델 패밀리를 실행하며, 더 무거운 작업은 로컬에서 실행되지 않고 Apple의 Private Cloud Compute로 오프로드된다. Microsoft의 Phi 제품군은 Hugging Face에서 호스팅되며 비슷한 작고 효율적인 틈새 시장을 목표로 한다. 이 세 회사 모두 PrismML과 Qualcomm이 이번 주에 제시한 특정 메모리 및 속도 수치를 가진 웨어러블 NPU에 1-bit 배포를 발표하지 않았으며, 이것이 더 큰 업체가 이를 따라잡기 전에 PrismML이 차지하려고 하는 틈새이다.