DeepInfra가 1,000개 이상의 NVIDIA B300 GPU가 탑재된 1.7 MW 토론토 AI 추론 데이터센터를 개설했다.

Palo Alto 기반의 GPU 추론 플랫폼 DeepInfra가 1,000개 이상의 NVIDIA Blackwell B300 GPU를 탑재한 1.7MW 규모의 데이터 센터를 Toronto에 개설했습니다. July 8에 발표된 이 시설은 미국 외 지역에서의 첫 배포이자 전체 9번째 데이터 센터입니다.

Toronto 클러스터는 미공개 제3자 코로케이션 시설의 임차 용량을 점유하고 있습니다. DeepInfra는 코로케이션 파트너를 명시하지 않았으며 구체적인 냉각 및 네트워킹 구성도 공개하지 않았습니다. 이 배포는 Canadian 및 국제 엔터프라이즈 고객의 추론 지연 시간을 단축하고, Canadian 국경 내 처리를 의무로 하는 데이터 거주 요구 사항이 있는 엔터프라이즈를 지원하기 위해 설계되었습니다.

2022년에 설립된 DeepInfra는 200개 이상의 오픈 소스 AI 모델을 지원하고 주당 거의 5조 개의 토큰을 처리하는 관리형 추론 플랫폼을 운영하고 있습니다. 회사는 SOC 2 및 ISO 27001 인증을 보유하고 있으며 엔터프라이즈 고객을 위해 제로 데이터 보유 정책을 유지합니다. 이 확장은 DeepInfra가 May 2026에 $107 million Series B 펀딩을 완료한 2개월 후에 이루어졌으며, April 2025에 모금한 $18 million Series A를 기반으로 합니다. 회사는 전체 기업 가치평가 또는 연간 수익을 공개하지 않았습니다.

B300은 NVIDIA의 최신 Blackwell 아키텍처 가속기로, 이전 Hopper 세대 하드웨어와 비교하여 더 높은 추론 처리량과 개선된 에너지 효율을 제공하도록 설계되었습니다. DeepInfra는 GPU 인프라를 소유하고 운영하지만 기본이 되는 데이터 센터 공간은 코로케이션 파트너로부터 임차합니다.

Toronto 배포는 훈련 중심의 GPU 수요에서 추론 워크로드로의 광범위한 산업 전환을 보여줍니다. DeepInfra의 발표에서 인용한 McKinsey 연구는 추론이 2030년까지 전체 데이터 센터 수요의 40% 이상을 차지할 것으로 전망하며, 연간 약 35%의 복합 성장률로 증가할 것으로 예측합니다. GPU 공급업체에게 이 추세는 중요합니다. NVIDIA의 Blackwell 아키텍처는 차세대 추론 인프라의 주요 플랫폼으로 자리잡고 있습니다. NVIDIA 주식은 July 11에 $203.53에 거래되어 회사의 시가총액이 약 $4.9 trillion에 달했습니다.

DeepInfra는 Together AI, Fireworks AI, Groq 등의 기업들과 함께 관리형 추론 시장에서 경쟁합니다. 회사는 추가 국제 데이터 센터 배포를 평가 중임을 시사했으나, 구체적인 위치나 일정은 공개되지 않았습니다.