OpenAI가 Broadcom과의 협력으로 개발한 커스텀 AI 추론 칩 Jalapeno를 공개, OpenAI의 독점 실리콘 설계 진출을 표시

OpenAI는 Broadcom과의 파트너십으로 개발한 첫 번째 자체 제작 AI 추론 칩인 Jalapeño를 공개했다. 이는 AI 시스템이 더욱 발전하고 사용자 기반이 확대됨에 따라 제3자 칩 제조업체에 대한 의존도를 줄이기 위한 의미 있는 진전을 나타낸다.

OpenAI만이 이러한 전환을 추진하는 것은 아니다. Meta도 Meta Training and Inference Accelerator (MTIA) 프로그램을 통해 자체 실리콘 목표를 유사하게 추진하고 있다. Meta의 MTIA 칩과 마찬가지로 Jalapeño는 모델 학습보다는 AI 추론을 주로 위해 설계되었다.

추론은 AI 모델이 요청을 처리하고 응답을 생성하는 단계이다. 누군가 ChatGPT에 질문할 때마다 뒤에서 추론 시스템이 작동한다. 이러한 요청이 계속해서 발생하기 때문에 대규모 AI 서비스를 운영하려면 막대한 컴퓨팅 성능이 필요하며, 이는 산업 최대의 운영 비용 중 하나가 된다.

CPU와 GPU와 같은 전통적 프로세서, 특히 Nvidia, AMD, Intel이 공급하는 제품들은 이러한 작업 부하를 처리할 수 있을 정도로 강력하지만, 광범위한 컴퓨팅 작업을 위해 설계되었다. 이러한 유연성은 금전적으로나 에너지 소비 측면에서 대가를 치르게 한다. 추론 칩은 다른 접근 방식을 취한다. 이들은 AI 모델을 더 효율적으로 실행하도록 목적으로 설계되어 전력 소비를 줄이고, 운영 비용을 낮추며, 높은 부하 상황에서 더 빠른 응답을 제공한다. OpenAI와 같은 회사들은 전문화된 하드웨어를 개발함으로써 성능을 최적화하는 동시에 외부 칩 공급자에 대한 의존도를 줄일 수 있다.

클라우드 규모의 추론 프로세서는 소비자 전자제품에서 찾아볼 수 있는 칩과 근본적으로 다르다. 이들은 데이터 센터를 위해 설계되었으며, 수백 와트의 전력을 소비하고 효율적으로 작동하기 위해 정교한 냉각 시스템이 필요하다. 반면, 스마트폰과 노트북은 이미 Neural Processing Units (NPUs) 형태의 자체 AI 가속기를 포함하고 있으며, 얼굴 인식, 음성 처리, 이미지 향상, 텍스트 생성 등 온디바이스 AI 기능을 포함한 작업들을 처리한다. NPU는 CPU나 GPU의 대체품이 아니라 이들과 함께 작동하며, 각 프로세서는 가장 적합한 작업을 처리한다.

2026년에 출시된 Galaxy S26 시리즈와 같은 플래그십 스마트폰에서 NPU는 CPU 및 GPU와 동일한 System-on-Chip (SoC)에 통합되어 클라우드 처리에 완전히 의존하지 않으면서도 더 빠르고 효율적인 온디바이스 AI를 가능하게 한다. 추론 칩의 대두가 산업의 메모리 수요 증가를 해결할 가능성은 낮다. AI 모델은 계속해서 데이터 센터에서 막대한 메모리를 필요로 하며, 소비자 기기도 제조업체들이 점점 더 정교한 AI 기능을 추가함에 따라 더 많은 메모리가 필요하다. 결과적으로 고용량 메모리에 대한 수요는 계속 높을 것으로 예상되며, 부품 비용에 지속적인 압력을 가할 것이다.

그럼에도 불구하고 전용 추론 프로세서는 AI 기반 서비스의 미래에서 핵심적인 역할을 할 것으로 예상된다. 자율 물류 및 예측 제조에서 로봇공학 및 대규모 AI 어시스턴트에 이르기까지, 이들은 더 빠른 성능, 더 낮은 운영 비용 및 개선된 에너지 효율을 약속한다. 대부분의 소비자는 Jalapeño와 같은 칩을 직접 보거나 상호작용할 일은 없겠지만, 이러한 프로세서가 구동하도록 설계된 더 빠르고 저렴하며 반응성이 높은 AI 서비스로부터 혜택을 받을 것이다.