반도체·하드웨어 · 리포트

SK hynix와 TetraMem이 USC와 협력하여 엣지 AI 디바이스용 멤리스터 기반 인메모리 컴퓨팅 시스템온칩(SoC)을 개발했다.

신규 인메모리 아키텍처는 엣지에서의 데이터 이동 에너지 오버헤드를 감소시켜, 배터리 제약 기기용 새로운 추론 최적화 칩 클래스를 가능하게 한다.

업계 전문지Slicast · 2026년 7월 10일 16:58 UTC · 글로벌 · 출처: Tom's Hardware

중요도 50

SK hynix, TetraMem, 그리고 University of Southern California의 연구자들이 AI 엣지 장치를 위한 멤리스터 기반 인메모리 컴퓨팅(IMC) 시스템온칩(SoC)을 개발했습니다. 이 장치는 가벼운 AI 모델의 신경망 추론을 가속화하도록 설계되었으며, 고급 GPU 또는 NPU가 소비하는 전력의 극히 일부만을 사용합니다. 상당한 정도로 이 SoC는 개념 증명 칩이며, 이론적 최선의 시나리오에서 약 2.54 TOPS의 성능을 발휘하는데, 이는 Microsoft Copilot+ 요구사항보다 16배 낮습니다.

멤리스터 기반 인메모리 컴퓨팅은 메모리 어레이 내에서 직접 아날로그 연산을 수행하여 신경망을 가속화하며, 이는 데이터 이동과 전력 소비를 줄입니다. 그러나 depthwise convolution(DWC)—MobileNet과 같은 가벼운 네트워크의 핵심 연산—은 채널당 독립적 필터링을 수행하며 제한된 데이터 재사용으로 인해 기존 crossbar 어레이에 제대로 매핑되지 않습니다. 이 제한을 해결하기 위해 SK hynix, TetraMem, USC의 연구자들은 기존 IMC crossbar와 DWC에 최적화된 멤리스터 기반 IMC 아키텍처를 모두 갖춘 SoC를 개발했습니다.

공동 개발된 SoC는 워크로드를 스케줄링하는 embedded RISC-V 프로세서를 기반으로 하며 10개의 neural processing units(NPUs)를 갖추고 있습니다. 10개 중 1개 NPU는 depthwise convolution에 전용되며, 나머지 9개는 pointwise 및 dense 연산을 실행합니다. 10개 중 9개 NPU는 아날로그 벡터-행렬 곱셈(VMM)을 수행하는 256 × 256 멤리스터 crossbar를 포함하고, 디지털 활성화를 아날로그 전압으로 변환하는 256개의 8비트 DAC, 아날로그 출력을 다시 디지털 값으로 변환하는 256개의 8비트 ADC, 그리고 crossbar 읽기, 쓰기, 프로그래밍, 제어용 추가 주변 회로를 갖추고 있습니다. DWC 최적화 NPU는 기존 어레이를 8개의 특수한 252 × 28 지그재그 crossbar 블록으로 교체하지만 DAC와 ADC는 유지합니다. SK hynix는 멤리스터 장치를 개발하고 제조했으며, 역엔드 공정을 사용하여 저항 전환 셀을 65nm CMOS 회로 위에 통합했습니다.

DWC 최적화 NPU는 전체 SoC의 핵심 기능입니다. Depthwise convolution을 가속화하기 위해 TetraMem은 기존 1T1R crossbar의 직선 선택 라인을 지그재그 위상으로 교체했습니다. 결과적으로 NPU는 8개의 252 × 28 crossbar 블록을 포함하며, 그 대각선 선택 라인은 28개 열 전체에서 252개의 메모리 셀을 활성화하여 28개의 독립적인 3 × 3 convolution이 어레이의 100%를 가중치 저장에 사용하면서 병렬로 실행될 수 있게 합니다. 나머지 9개 NPU는 1×1 pointwise 및 dense 레이어를 위해 기존 1T1R crossbar를 유지하고 기존 인메모리 컴퓨팅의 처리량과 에너지 효율을 보존합니다.

아키텍처를 입증하기 위해 연구자들은 Visual Wake Words 벤치마크를 위해 맞춤형 MobileNetV1Small 신경망을 배포했습니다. 이 네트워크는 약 36,000개의 매개변수를 포함하며, 모든 depthwise 레이어는 전용 NPU에 매핑되었고, pointwise 레이어는 나머지 NPU에 매핑되었습니다.

멤리스터 기반 IMC 하드웨어가 본래 unsigned 아날로그 벡터-행렬 곱셈을 수행하기 때문에, 입력과 가중치는 실행 전에 unsigned 8비트 값으로 양자화됩니다. 각 멤리스터 장치는 2비트보다 약간 많은 유효 정밀도로만 프로그래밍될 수 있으므로, 설계는 유효 가중치 정밀도를 대략 4비트로 향상시키는 2중 서브어레이 보상 기법을 사용합니다. 개념적으로 이 접근 방식은 Nvidia NVFP4 철학과 어느 정도 유사합니다. 둘 다 저정밀도 하드웨어에서 더 높은 유효 정밀도를 달성하려고 시도하기 때문입니다. 그러나 구현은 근본적으로 다릅니다: NVFP4는 디지털 부동소수점 표현과 스케일링 팩터에 의존하는 반면, 멤리스터 SoC는 두 개의 프로그래밍된 서브어레이를 사용하여 아날로그 프로그래밍 오류를 보상함으로써 정밀도를 개선합니다.

정확도 측면에서 SoC는 80.36%의 end-to-end 추론 정확도를 달성했으며, 이는 해당하는 4비트 소프트웨어 모델과 일치합니다. 성능 측면에서 SoC는 NPU당 0.254 TOPS의 피크 처리량을 제공하고 100MHz에서 21.3 TOPS/W, 400MHz에서 11.9 TOPS/W의 에너지 효율에 도달합니다. 저자들에 따르면, 이는 더 오래된 65nm 공정에서 제조되었음에도 불구하고 발표된 SRAM 기반 compute-in-memory 가속기와 유리하게 비교됩니다. SoC는 또한 Nvidia A100 INT8 에너지 효율을 한 자리 수 수준 초과한다고 공동 논문에서 주장합니다.

그러나 MobileNet 실증은 10개 NPU를 모두 사용하지 않습니다. 1개의 전용 DWC NPU, pointwise 레이어용 5개의 표준 NPU를 사용하고 4개의 표준 NPU는 유휴 상태로 두었습니다. 실증은 따라서 총 SoC 처리량(TOPS), 실제 네트워크를 실행하는 지속적인 처리량, 또는 10개 NPU 모두가 동시에 포화될 때의 처리량을 공개하지 않습니다. 실제로 논문은 10개 NPU 모두가 동시에 사용될 수 있는지 여부도 공개하지 않습니다. 이런 의미에서 2.54 TOPS 수치는 매우 이론적입니다.

SK hynix, TetraMem, 그리고 University of Southern California의 연구자들이 가벼운 AI 워크로드에 대한 crossbar 이용률을 개선하는 새로운 depthwise convolution 가속기를 갖춘 멤리스터 기반 IMC SoC를 개발했습니다. 파트너들은 오래된 65nm 공정 기술을 사용하여 이를 제조하고 작동하게 했으며, 21.3 TOPS/W 에너지 효율과 멤리스터가 약 2비트 정밀도로 프로그래밍될 수 있다는 사실에도 불구하고 4비트 소프트웨어 모델과 비교할 수 있는 추론 정확도를 달성했습니다. 아키텍처는 접근 방식이 작동함을 검증하지만, 논문은 SoC의 전체 성능을 공개하지 않으며, 칩의 10개 NPU를 모두 포화시킬 수 있는지 여부는 명확하지 않습니다.

원문 보기