OpenAI와 Broadcom이 기가와트급 AI 데이터센터 배포에 최적화된 맞춤형 추론 프로세서 Jalapeño를 공개했으며, 프로덕션 규모의 대규모 언어 모델 추론 워크로드 처리용으로 설계되었습니다.

OpenAI와 Broadcom은 대규모 AI 데이터 센터 배포를 위해 설계된 커스텀 추론 프로세서인 Jalapeño를 발표했습니다. 이 칩은 ChatGPT와 같은 서비스를 지원하는 프로덕션 추론 워크로드를 목표로 합니다.

Jalapeño는 기가와트 규모의 AI 데이터 센터 환경에 최적화되어 있으며, 학습된 모델이 사용자 요청을 처리하는 추론 단계에 특히 초점을 맞춥니다. OpenAI는 범용 GPU에만 의존하기보다는 이 워크로드에 맞춘 커스텀 칩을 구축함으로써 프로덕션 규모의 추론 실행에서 주요 효율성 병목을 해결합니다.

이 움직임은 Meta와 Google 같은 경쟁사들과 함께 전용 실리콘을 개발하는 데 있어 OpenAI의 인프라 스택 수직화 전략을 나타냅니다. 광범위한 AI 구축을 위해, 커스텀 추론 칩은 운영 비용과 지연 시간을 줄이고, 수요가 계속 증가함에 따라 최첨단 모델을 더욱 효율적으로 제공할 수 있도록 합니다.