반도체·하드웨어 · 리포트

SK Hynix와 SanDisk가 데이터 이동 가속화를 통해 AI 컴퓨팅 병목을 해결하도록 설계된 고대역폭 플래시 메모리 기술을 공개했다.

플래시 기반 스토리지 혁신이 GPU 중심 컴퓨팅 플랫폼의 AI 워크로드 지연시간과 메모리 압력을 감소시킵니다.

업계 전문지Slicast · 2026년 8월 4일 18:45 UTC · 미국 · 출처: HotHardware

중요도 68

산타클라라에서 열린 Future of Memory and Storage (FMS) 2026 컨퍼런스에서 SK hynix와 SanDisk는 Open Compute Project를 통해 High-Bandwidth Flash (HBF)의 첫 번째 오픈 기술 사양을 공식적으로 발표했다. Google DeepMind 및 Tenstorrent 등 주요 생태계 파트너들과 함께 개발된 이 사양은 엔터프라이즈 인공지능 인프라를 제약하는 메모리 월(Memory Wall) 문제를 해결하는 것을 목표로 한다.

최첨단 신경망의 파라미터 수가 수천억 개에서 수조 개로 확장됨에 따라, 가속기 패키지의 Raw High Bandwidth Memory (HBM) 용량은 중요한 병목 현상으로 대두되었다. HBM은 현대 텐서 처리 유닛(TPU)에 데이터를 공급하기 위해 필요한 초당 테라바이트급의 극한의 스루풋을 제공하지만, 그 prohibitive한 비용과 물리적 인터포저 면적은 GPU에 연결될 수 있는 총 용량을 엄격히 제한한다. High-Bandwidth Flash는 전력 밀도가 높은 HBM과 표준 PCIe 연결 SSD 사이에 중간 계층의 고밀도 메모리 티어를 삽입함으로써 이러한 경제적 제약을 해소한다.

HBF는 조밀한 8단 또는 16단 적층 다이 구성으로 포장된 고밀도 3D 및 4D NAND 플래시 기술을 사용하며, 스택당 최대 512GB의 near-compute 용량을 제공한다. 이 NAND 어레이를 전통적인 블록 저장소가 아닌 near-memory로 설계함으로써 AI 가속기는 PCIe 버스의 심각한 지연 시간 및 스루풋 페널티를 감수하지 않고서도 HBM 한계를 초과하는 방대한 파라미터 세트를 오프로드할 수 있다.

이 패러다임은 Mixture of Experts (MoE) 토폴로지나 레이어별 임베딩 오프로딩을 사용하는 AI 추론 워크로드에 특히 적합하다. MoE 아키텍처에서는 모든 토큰에 대해 전체 네트워크 파라미터 중 일부만 활성화되며, 이로 인해 조건부 라우팅된 전문가 가중치의 거대한 저장고가 빠른 메모리에 상주하게 된다. AI 모델 서빙은 행렬 곱셈 동안 정적 모델 가중치를 반복적으로 검색하므로 읽기 작업이 압도적으로 많기 때문에, NAND 플래시의 쓰기 내구성 제약은 가속기의 운영 수명 동안 사실상 무의미해진다.

near-RAM 클래스의 지연 시간과 막대한 인터커넥트 스루풋을 달성하기 위해 HBF 사양은 물리적 및 프로토콜 레벨 호스트 인터페이스로 Universal Chiplet Interconnect Express (UCIe)를 의무화한다. AMD, Intel, TSMC, Arm 등을 포함한 광범위한 컨소시엄이 관리하는 이 표준은 현재 칩렛 상호 운용성을 제한하는 독점 인터커넥트를 대체한다. HBF 다이 스택은 보드 레벨 트레이스나 PCIe 레인 대신 UCIe 칩렛 패키징을 활용함으로써 호스트 GPU나 맞춤형 ASIC과 동일한 실리콘 인터포저 또는 고밀도 기판 위에 직접 배치될 수 있다.

초기 OCP 기술 사양은 약 400GB/s에서 3TB/s 범위의 호스트 인터페이스 대역폭을 제공할 수 있는 세 가지 확장 가능한 대역폭 등급(Grade 1부터 Grade 3까지)을 명시하고 있다. SK hynix의 375층 V10 4D NAND와 같은 최첨단 플래시 아키텍처와 통합될 때 HBF는 표준 서버 플래시 대비 최대 2.5배 더 높은 전력 효율성을 약속한다.

High-Bandwidth Flash는 엔터프라이즈 데이터 센터와 맞춤형 가속기 보드에 국한될 것이다. HBF가 요구하는 고급 3D 이종 패키징, 실리콘 인터포저 및 전용 UCIe 물리 레이어는 초대규모(Hyperscale) 규모에서만 경제적으로 실현 가능하여 소비자 채택은 불가능하다. 애호가용 GPU가 이론적으로 방대한 게임 자산 캐시를 위해 온보드 NAND 오프로딩을 활용할 수는 있지만, HBF의 비용 구조는 이미 비싼 그래픽 카드를 감당할 수 없을 정도로 비싸게 만들 것이다. 대신 HBF는 서버 환경에서 LLM 컨텍스트 윈도우와 멀티 에이전트 AI 시스템을 확장하도록 엄격히 설계되었다.

원문 보기