AMD가 추론 칩에 AI 모델 가중치를 직접 하드코딩하여 극도의 속도를 달성하는 스타트업 Taalas를 인수했다.

AMD가 전문화된 추론 칩을 설계하는 캐나다 AI 스타트업 Taalas를 인수합니다. 2023년 토론토에서 설립된 Taalas는 2월에 베일을 벗고 독특한 접근 방식을 선보였습니다: 모델의 아키텍처와 학습된 매개변수를 실리콘에 직접 임베드하는 것입니다. 이 설계는 매우 빠른 추론을 가능하게 하지만 각 칩을 단일 모델에 제약합니다. 회사의 시연 칩은 Llama 3.1-8B를 실행할 때 사용자당 초당 16,000개 이상의 토큰을 달성했으며, 이는 경쟁 하드웨어보다 훨씬 빠릅니다. Google은 유사한 아키텍처를 Gemini를 위해 추구하고 있는 것으로 알려져 있습니다.

AMD는 이 기술을 가속기 제품 로드맵에 통합할 계획이며, Instinct GPU와 함께 보완적인 시스템 수준의 솔루션으로 위치시킵니다. AMD AI 부문의 부사장 Vamsi Boppana는 이 인수가 회사의 AI 포트폴리오를 강화한다고 밝혔습니다. Taalas 공동 창립자 Ljubisa Bajic은 AMD가 스타트업의 성장에 필수적인 규모와 시장 도달력을 제공한다고 언급했습니다. 이 인수는 표준 규제 승인을 받아야 합니다.