AMD는 AI 모델 가중치를 추론 실리콘에 직접 하드코딩하는 스타트업 Taalas를 인수했으며, 데모 칩에서 사용자당 16K+ tokens/sec을 달성합니다.

3월 GTC 2026에서 엔비디아(Nvidia) CEO 젠슨 황(Jensen Huang)은 중요한 한계를 공개했다. 에이전트 AI 애플리케이션을 위한 저지연 추론을 추구하는 기업들은 GPU 아키텍처만으로는 목표를 달성할 수 없다는 것이다. 다양한 지연 시간 프로필 전반에 걸쳐 최적의 성능을 제공하기 위해 황은 기업들이 AI 추론 워크로드를 두 단계로 분할해야 한다고 시연했다. 첫 번째는 프리필(prefill) 단계로, 입력 토큰이 이 작업에 탁월한 GPU 클러스터에서 처리된다. 두 번째는 디코드(decode) 단계로, 모델이 응답을 생성하는데, 이는 그록(Grok), 삼바노바 시스템즈(SambaNova Systems), 세라브라스(Cerebras)와 같은 대용량 병렬 결정론적 SRAM 기반 행렬 연산 엔진이 요구하는 단계이다.

근본적인 문제는 간단하다. GPU는 우수한 고대역폭 병렬 프로세서이지만 추론의 디코드 단계에서는 이상적이지 않은 성능을 보인다. 황의 GTC 발표에 따르면, 엔비디아의 그레이스 CG100 CPU와 호퍼 H100 GPU를 결합한 시스템은 성능이 저하되기 전까지 사용자당 초당 약 100개의 토큰(tokens per second, TPS)을 처리할 수 있었는데, 이를 그는 '미드 미드(medium tier)' 성능이라고 불렀다. 18개의 그레이스 CPU와 36개의 블랙웰 B300 GPU를 탑재한 NVL72 하이브리드 플랫폼은 메가와트당 토큰 수로 측정된 100 TPS 상호작용에서 3.5배 더 나은 성능을 제공했다. 곧 출시될 베라 CV100 CPU와 루빈 R200 GPU를 페어링한 NVL72 시스템은 그레이스-블랙웰 구성 대비 약 2배의 TPS/MW를 제공하며, 이는 그레이스-호퍼 시스템 대비 7배 향상된 성능을 의미한다.

그레이스-호퍼 설정은 이러한 상호작용 임계값을 초과하지 못했지만, 그레이스-블랙웰 시스템은 합리적인 처리량으로 사용자당 200 TPS를 지원하는 '하이(high) 티어'에 도달할 수 있었고, 베라-루빈 NVL72는 3배 더 나은 결과를 달성할 수 있었다. '프리미엄(premium) 티어'인 400 TPS 상호작용 수준에서 그레이스-블랙웰 시스템의 TPS/MW는 거의 제로에 가까워진 반면, 베라-루빈은 합리적인 효율성으로 10배 더 나은 성능을 제공할 수 있었다.

이러한 결과는 프리필과 디코드 모두에 GPU를 사용했을 때의 결과이다. 그러나 황이 추론 부하를 분할하여 프리필은 GPU에, 디코드는 현재 세대 그록 LP30 가속기에 배치했을 때 완전히 새로운 '울트라(Ultra) 티어'가 등장했으며, 이는 사용자당 1,000 TPS 이상의 성능을 제공했다. 이는 아마도 에이전트 워크로드의 기본 요구사항일 것이다. 더욱 주목할 만한 점은, 그록 가속화 없이 그레이스-블랙웰 NVL72 시스템 대비 10배 향상에 불과했던 것과 비교하여, 그록이 탑재된 베라-루빈 NVL72의 프리미엄 티어가 35배의 성능을 달성했다는 사실이다. GPU 가속기만으로는 합리적인 시스템 처리량에서 사용자당 400 TPS 이상을 지속할 수 없다.

물론 그록 클러스터에도 디코드 측면에서의 자체 확장 한계가 있다. 무제한적으로 수백만 개의 장치를 연결하여 임의로 높은 상호작용을 유도할 수는 없지만, 아키텍처상의 우위는 명확하다. 이러한 발견들은 12월 엔비디아의 그록 팀 인수에 대한 200억 달러의 대규모 인수를 설명하고, AMD가 독자적인 경로를 추구하는 이유를 설명한다. AMD는 disaggregated 추론을 위해 세라브라스와 파트너십을 맺고 이번 주 AI 추론 스타트업 타알라스(Taalas)를 인수했다. AMD의 GPU는 엔비디아와 동일한 추론-디코드 한계에 직면해 있다.

세라브라스와의 파트너십은 양사 모두에게 이익이 되며, 세라브라스의 차세대 웨이퍼스케일 컴퓨팅 엔진(WSE-4)을 AMD의 헬리오스(Helios) 클러스터—베라노 Epyc CPU와 알타이르 MI455X GPU를 특징으로 함—와 함께 배치하여 엔비디아의 향후 베라-루빈-LPU 조합과 비교 가능한 disaggregated 추론을 제공한다. 그러나 과제는 AMD가 세라브라스 기술을 통제할 수 없다는 점이다. 상당한 자금 조달과 최근 IPO 이후 세라브라스는 509억 달러의 시가총액을 자랑하며, 분기 매출이 2억 달러 미만임에도 불구하고 AMD가 이를 인수하려면 600억 달러 이상이 소요될 수 있다. 이는 일반적으로 10배의 프리미엄으로 평가되는 시장에서 300배의 수익률 곱수로, 상당한 위험을 내포한다.

현재 AMD는 세라브라스와 파트너십을 맺었다. 그래프프로(Graphcore)는 소프트뱅크(ARM의 소유주)에 인수되었고, 엔비디아는 사실상 그록을 매수했으며, 삼바노바는 인텔과 파트너십을 맺었기 때문에 이것이 유일한 실행 가능한 옵션이었다. 이제 회사는 미래 로드맵을 위한 추론 가속화를 위한 대체 접근 방식을 모색하고 있다.

최근 인수된 스타트업 타알라스(Taalas)는 텐스토렌트(Tenstorrent) 출신 엔지니어들에 의해 설립되었으며, 혁신적인 원리를 기반으로 한다. 즉, AI 추론 모델과 해당 가중치를 ROM 회로에 직접 임베딩하고, 온칩 KV 캐시 역할을 하는 대용량 SRAM 블록에 연결하는 방식이다. 현재 HC1 세대는 80억 파라미터 모델을 저장할 수 있으며, 차세대 HC2는 200억 파라미터를 지원한다. 수십 개의 상호 연결된 칩은 이론적으로 트릴리언 파라미터 규모의 추론 모델을 보유할 수 있다. 초기 벤치마크는 엔비디아의 블랙웰 B200 GPU에 비해 극도로 낮은 지연 시간과 토큰당 훨씬 낮은 비용을 보여준다.

타알라스의 접근 방식은 모델별 칩 변형을 필요로 한다. SRAM 아키텍처는 일정하게 유지되지만, 모델과 가중치를 인코딩하는 두 개의 금속 레이어는 각 모델마다 변경되어야 한다. 그러나 타알라스는 HC 칩을 맞춤화하고 합리적인 물량(추정치 수십만 개 단위)을 구매하는 데 드는 비용이 제로부터 새로운 생성형 AI 모델을 학습시키는 것보다 약 100배 저렴하다고 주장한다.

AMD는 타알라스 계획에 대해 "기술을 가속기 로드맵에 통합하고 AMD 인스턴트(Instinct) GPU와 함께 시스템 레벨 솔루션을 개발할 것"이라고 밝힌 것을 제외하고는 최소한의 세부 사항만 공유했다. 여기서 드러나는 것은 모델별 아키텍처의 새로운 시대이다.