OpenAI가 Broadcom과 공동 개발한 첫 맞춤형 AI 추론 칩 Jalapeño 공개, 최적화된 전력 효율로 더 빠른 LLM 추론 제공 목표.

OpenAI가 Broadcom과의 파트너십으로 개발한 첫 번째 커스텀 AI 추론 칩인 Jalapeño를 공개했습니다. 이 움직임은 Groq, Cerebras와 같은 기존 플레이어들과 경쟁이 치열한 추론 실리콘 시장으로의 OpenAI 진입을 의미합니다.

이 칩은 속도와 전력 효율에 중점을 두고 LLM 추론 작업을 위해 맞춤형으로 설계되었습니다. 훈련이 아닌 추론에 최적화함으로써 OpenAI는 배포된 AI 시스템에서 가장 높은 볼륨의 워크로드 중 하나를 목표로 하고 있으며, 여기서 지연시간과 운영 비용은 서비스 마진에 직접적인 영향을 미칩니다.

Broadcom과의 협력은 OpenAI가 제조 및 설계 규모를 확보할 수 있도록 위치시켜 잠재적으로 전체 제품 스택에 걸쳐 추론 비용을 낮출 수 있게 합니다. 커스텀 추론 하드웨어는 일반적으로 더 엄격한 지연시간 예산과 더 나은 토큰당 전력 경제학을 가능하게 하며, 이러한 요소들은 AI 배포가 확장됨에 따라 추론 실리콘 공급망의 경쟁을 심화시킵니다.