OpenAI가 Broadcom과 공동 설계한 맞춤형 AI 추론 칩 Jalapeño를 공개했으며, 이는 최적화된 데이터 이동을 위한 것으로 OpenAI의 맞춤형 실리콘 진출과 LLM 가속기 통합을 의미함

OpenAI는 Broadcom과의 파트너십으로 개발한 첫 번째 맞춤형 칩을 공개했습니다. "Jalapeño"라고 명명된 이 반도체는 외부 칩 공급업체에 대한 의존도를 줄이려는 회사의 첫 발걸음입니다. Broadcom의 CEO Hock Tan과 president Charlie Kawwas는 이번 주 OpenAI의 Sam Altman과 Greg Brockman에게 이 가속기를 선보였습니다.

이 칩은 AI 워크로드를 위해 특별히 최적화된 추론 하드웨어의 "백지 상태 설계"를 나타냅니다. 그 아키텍처는 컴퓨트, 메모리, 네트워킹 리소스의 균형을 맞추면서 데이터 이동을 최소화하도록 설계되었으며, 이는 AI 인프라에서 핵심 제약 사항입니다. 이 프로젝트는 초기 설계에서 제조 테이프 아웃까지 단 9개월 만에 진행되었으며, 이는 맞춤형 실리콘 개발에서 가속화된 일정입니다.

"Jalapeño는 컴퓨트를 더욱 풍부하게 만들어 더 빠르고, 더 신뢰할 수 있으며, 사람과 비즈니스에 더 저렴한 AI를 실현하고, 더 중요한 문제를 해결하는 데 사용할 수 있게 하려는 우리의 장기 풀스택 인프라 전략의 일부입니다"라고 Sam Altman은 성명서에서 말했습니다. "스택의 더 많은 부분을 우리가 직접 설계함으로써, 우리는 더 큰 효율성으로 더 많은 지능을 제공할 수 있고, 고급 AI를 더 광범위한 접근으로 계속 추진할 수 있습니다."

10월에 발표된 이 파트너십은 상용 솔루션에만 의존하기보다는 자신의 컴퓨트 인프라를 더 많이 소유하려는 OpenAI의 더 광범위한 야망을 반영합니다. 칩 설계는 훈련된 모델이 대규모로 배포되는 단계인 AI 추론의 근본적인 문제들을 해결하며, 시스템을 통한 데이터 흐름을 최적화하여 지연 시간과 전력 소비를 감소시킵니다.