AMD는 캐나다 AI 칩 스타트업 Taalas를 인수해 AI 추론 역량을 강화하고 NVIDIA의 지배력에 도전합니다.

어드밴스드 마이크로 디바이시스(AMD)는 목요일 토론토에 기반을 둔 혁신적인 AI 칩 스타트업인 타알라스(Taalas)를 인수한다고 발표했으며, 이는 AI 하드웨어 시장에서 엔비디아(NVIDIA)의 지배력에 도전하기 위한 전략적 조치다. 인수 관련 재무 세부 사항은 공개되지 않았다.

2023년에 설립된 타알라스는 기존 GPU와 데이터플로우 아키텍처와는 근본적으로 다른 차원의 AI 추론 방식을 개발했다. 이 회사의 기술은 모델 가중치를 고대역폭 메모리(HBM)에 저장하는 대신 실리콘에 직접 새긴다. 이러한 모델 전용 집적 회로(MSIC)는 외부 메모리 접근과 관련된 지연 시간과 에너지 비용을 제거함으로써 추론 성능을 크게 향상시킨다.

이 회사의 돌파구는 지난 2월 TSMC의 6nm 공정 기술로 제작된 첫 테스트 칩 HC1을 공개하며 세상에 알려졌다. HC1은 놀라운 성능을 입증했으며, 메타(Meta)의 Llama 3.1 8B 모델을 초당 16,960개의 토큰으로 처리했다. 이는 공개 당시 엔비디아의 GPU보다 48배 빠르고, 세레브라스(Cerebras)의 가속기보다 8.5배 빠른 속도였다.

두 번째 세대인 HC2 칩을 위해 타알라스는 여러 가속기 간 파이프라인 병렬화를 통해 파라미터 용량을 200억 개까지 늘릴 계획이다. AMD의 랙 규모 컴퓨팅 플랫폼과 자체 시스템 설계 팀은 이러한 아키텍처를 쉽게 확장할 수 있는 역량을 갖추고 있다. 통합 전략에는 인스턴트(Instinct) 기반 헬리오스(Helios) 랙과 타알라스 기반 가속기를 결합하는 것이 포함될 가능성이 높으며, 연산 집약적인 프롬프트 처리는 GPU가 담당하고 토큰 생성은 전용 실리콘으로 오프로드될 것이다.

이번 인수는 AI 모델 개발에 중대한 영향을 미칠 전망이다. 개발자들은 이미 테스트 타임 스케일링(test-time scaling)이라는 기법을 통해 환각 현상을 해결해 왔는데, 이는 추가적인 토큰 소비를 통해 추론 시간을 정확도와 교환하는 방식이다. 이러한 접근 방식은 비용을 증가시키고 챗봇 및 코드 어시스턴트의 응답을 지연시킨다. 만약 AMD의 인수가 토큰 비용의 상당한 절감과 출력 속도 향상을 가능하게 한다면, 이는 개발자들이 추론 시간을 더욱 연장하도록 유도하여 AI 시스템이 정확성과 성능 간의 균형을 맞추는 방식을 재편할 수 있다.