Epoch AI의 새로운 추론 지수에 따르면 GB300 NVL72는 H100을 크게 앞선다.
Epoch AI가 AI 칩을 평가하는 새로운 방식을 내놓았는데, 이 평가에서 엔비디아의 최신 하드웨어가 매우 좋은 성적을 거두었습니다. 이 연구 단체가 2026년 11월 9일 공개한 추론 성능 지수(Inference Performance Index)에 따르면, 엔비디아의 Blackwell Ultra 기반 GB300은 추론에서 H100보다 10배 앞섭니다. 이 지수는 칩이 몇 명의 사용자를 동시에 처리할 수 있는지를 기준으로 측정하며, 이 기준에서는 최고 FLOP/s 수치가 그다지 유용하지 않아 보입니다.
## 추론 성능 지수가 실제로 측정하는 것
Epoch AI의 지수는 세 가지 요소를 결합합니다. 연산 능력, 메모리 대역폭, 그리고 칩 간 통신입니다.
결과는 실용적인 질문을 중심으로 구성됩니다. 고정된 출력 속도를 유지하면서 동시에 몇 명이 이 하드웨어를 사용할 수 있는가입니다.
이러한 틀이 중요한 이유는 추론이 AI 모델이 실제로 프롬프트에 답하며 유료 사용자를 만나는 단계이기 때문입니다. 학습은 한 번 이루어지지만, 추론은 누군가 질문을 입력할 때마다 일어납니다.
## GB300이 크게 앞서는 이유
핵심 결과는 이 지수가 GB300에 부여한 H100 대비 10배의 추론 우위입니다. H100은 엔비디아의 Hopper 세대 주력 제품입니다.
Epoch AI의 연구 결과에 따르면, 이 결과는 오늘날 AI에서 가장 중요한 작업 부하에서 FLOP/s 수치가 최신 칩 설계의 성능을 과소평가한다는 우려를 뒷받침합니다.
메모리는 이 이야기의 큰 부분을 차지합니다. GB300 시스템은 GPU당 288GB의 HBM3e 메모리와 약 8TB/s의 메모리 대역폭을 갖추고 있습니다. H100은 약 3.35TB/s를 제공하며, 이는 GB300보다 대역폭이 약 2.4배 낮은 수준입니다.
GB300은 일반적으로 GB300 NVL72의 일부로 공급되는데, 이는 업그레이드된 NVLink 상호연결로 72개의 GPU를 연결하는 랙입니다. 시스템 수준에서 이 랙은 최대 약 20~40TB의 통합 메모리를 지원합니다.
이 설계는 텐서 병렬화를 통해 모델을 칩 사이에서 나누어야 하는 정도를 줄여 줍니다. 또한 추론 작업에 맞게 조정된 저정밀도 연산에도 의존합니다.
다른 곳에서 보고된 랙 규모 수치도 Epoch AI의 지수와 같은 방향을 가리킵니다. GB300 NVL72는 DeepSeek R1과 기타 대규모 전문가 혼합(MoE) 아키텍처를 포함한 여러 AI 모델에서 H100 대비 처리량, 토큰당 비용, 동시 처리 능력이 5~20배 향상된 것으로 보고되었습니다.
MLPerf 테스트에서는 GB300 NVL72가 Hopper 플랫폼 대비 처리량과 총소유비용(TCO)에서 5~7배 우위를 보였습니다.
엔비디아는 랙 규모에서 GB300 NVL72가 Hopper 대비 사용자당 초당 토큰 수에서 최대 10배, 메가와트당 초당 토큰 수에서 5배를 달성한다고 주장합니다.
## 칩에서 시스템으로의 전환
Epoch AI의 지수는 2025년과 2026년에 걸쳐 나타난 더 넓은 흐름에 부합합니다. AI 하드웨어의 발전은 단일 GPU 사양보다 통합 시스템과 최적화된 인프라에서 점점 더 많이 나오고 있습니다.
GB300 NVL72가 그 대표적인 예입니다. 이 제품은 칩이라기보다 메모리, 네트워킹, 연산이 함께 설계된 랙 규모의 기계로 판매됩니다.
추론 성능 지수는 원시 연산 능력과 함께 메모리 대역폭과 칩 간 통신에 가중치를 둠으로써, 눈에 덜 띄는 이런 인프라 작업에 능한 아키텍처에 높은 점수를 줍니다.
## 구매자, 개발자, 엔비디아에게 의미하는 바
엔비디아에게 이 결과는 제3자가 검증한 깔끔한 성과입니다. 회사는 지난 세대 동안 단독 칩보다 랙 규모 시스템을 내세워 왔으며, 메모리와 상호연결을 중시하는 지표는 이러한 전략에 직접적으로 부합합니다.
물론 한계도 있습니다. 어떤 지수든 설계자가 무엇을 얼마나 중요하게 볼지 선택한 결과를 반영하며, 작업 부하에 따라 하드웨어에 가해지는 부담은 서로 다릅니다. 모델 전반에서 보고된 5~20배라는 범위 자체가 결과가 실행 대상에 크게 좌우된다는 것을 보여 줍니다.
*공개: 이 기사는 Diego Almada Lopez가 편집했습니다. 콘텐츠 제작 및 검토 방식에 대한 자세한 내용은 편집 정책을 참고하십시오.*