OpenAI와 Broadcom이 Nvidia의 지배력에 대항하기 위해 9개월 개발 스프린트로 설계된 OpenAI의 첫 맞춤 AI 추론 ASIC 칩인 Jalapeño를 발표했습니다.

OpenAI와 Broadcom이 Jalapeno라는 AI 추론 서버 칩을 공동 개발했으며, 두 회사는 6월 24일 이를 발표했습니다. 이 맞춤형 칩은 OpenAI가 Nvidia에 대한 의존도를 줄이고 자체 하드웨어를 확보하려는 전략의 일부입니다.

SiliconANGLE에 따르면, OpenAI는 올해 말까지 첫 번째 Jalapeno 서버를 가동할 계획이며, 그 후 이 칩의 사용을 확대할 예정입니다. 훈련과 추론을 모두 처리하는 Nvidia의 플래그십 GPU와 달리, Jalapeno는 추론 전용으로 설계되었습니다. 초기 테스트에서 Jalapeno는 "현재 최첨단" 제품보다 와트당 성능이 훨씬 더 높았다고 OpenAI가 말했습니다.

OpenAI는 칩의 설계에 대해 제한된 세부 사항만 공개했으며, 기본 아키텍처가 데이터 이동을 줄이도록 최적화되었다는 점만 언급했습니다. Jalapeno 기반 추론 클러스터는 Broadcom의 Tomahawk 시리즈 네트워킹 기술을 사용하며, 이는 같은 랙 내 및 랙 간 서버 간의 데이터 이동을 관리하는 이더넷 스위치용 칩입니다. 최신 Tomahawk 6은 초당 1.6테라비트의 트래픽을 처리할 수 있으며, 내장된 혼잡 관리 엔진으로 네트워크 병목 현상을 줄입니다.

OpenAI는 또한 Jalapeno와 Broadcom 네트워킹 장비로 장착된 맞춤형 서버 랙을 개발 중입니다. 이 작업을 위해 토론토 기반 데이터 센터 장비 설계 서비스 회사인 Celestica와 협력하고 있습니다.