OpenAI가 Broadcom과 공동 개발한 커스텀 AI 추론 가속기 Jalapeño 공개, 기가와트 규모 배포용으로 설계

오픈AI는 반도체 거대 기업 브로드컴(Broadcom)과 협력하여 자체적으로 개발한 최초의 맞춤형 AI 추론 프로세서를 공개했다. '할라페뇨(Jalapeño)'라는 이름을 가진 이 칩은 실시간 사용자 요청에 따라 사전 훈련된 AI 모델을 실행하는 추론 작업을 처리하도록 특별히 설계되었으며, 오픈AI의 자체 AI 모델들의 도움을 받아 개발되었다.

아직 테스트 단계에 있지만 초기 결과는 현재 대안들에 비해 와트당 성능이 현저히 더 높음을 나타낸다. 칩 발표에서는 실시간 코딩 모델을 실행할 때의 효율성이 강조되었으며, 비용 절감이 주요 목표 중 하나로 꼽혔다.

이러한 움직임은 오픈AI를 구글(Google)과 아마존(Amazon)과 함께 위치시켰는데, 이 두 기업 역시 엔비디아 GPU에 대한 의존도를 줄이기 위해 자체적인 AI 가속기를 개발해 왔다. 그렉 브로크만(Greg Brockman) 사장은 이전에 기존 하드웨어가 충분히 지원하지 않는 특정 워크로드를 식별하고, 해당 워크로드가 요구하는 작업을 가속화할 수 있는 실리콘을 구축하는 데 초점을 맞추겠다는 회사의 논리를 설명한 바 있다.

오픈AI는 할라페뇨를 칩 아키텍처, 메모리 시스템, 네트워킹, 스케줄링, 배포를 아우르는 전체 AI 인프라 스택을 소유하겠다는 광범위한 전략의 일환으로 제시했다. 이를 통해 각 레이어가 단일 목표, 즉 모델의 실행 속도를 높이고 신뢰성을 강화하며 비용을 절감하는 방향으로 최적화될 수 있도록 한다는 것이다.

예전 훈련(pre-training)과 같이 더 많은 컴퓨팅 자원이 필요한 작업들은 당분간 계속 엔비디아 하드웨어에 의존할 것으로 예상된다.