컴퓨트·클라우드 · 리포트

ai&가 ai& inference를 출시했으며, 커스텀 실리콘과 CPU로 구성된 이질적 컴퓨팅을 배포하여 최첨단 AI 추론을 최대 80% 낮은 비용으로 제공합니다.

비용 최적화된 이질적 아키텍처를 갖춘 특화된 추론 제공업체가 GPU 중심 모델을 교란하고, 추론 분야에서 Nvidia의 가격 결정력을 압박하고 있다.

통신사Slicast · 2026년 8월 4일 18:13 UTC · 미국 · 출처: The National Law Review

중요도 75

ai&는 수직 통합된 글로벌 AI 기술 기업으로, ai& inference를 출시했습니다. 이는 비교 가능한 독점 추론 비용의 극히 일부로 최첨단 추론 성능을 제공하는 고성능 플랫폼입니다. 이 플랫폼은 AMD, NVIDIA 및 기타 실리콘 아키텍처를 단일 최적화된 추론 서빙 레이어 아래에 통합하여, 단일 아키텍처 제공업체가 따라할 수 없는 구조적 비용 우위로 이어지는 하드웨어-소프트웨어 공동 설계(Software-Hardware Co-design)를 구현하도록 엔지니어링되었습니다.

추론은 생산용 AI의 비용을 정의합니다. 추론 모델과 에이전트 시스템이 작업당 토큰 볼륨을 증가시킴에 따라 토큰 경제학(Tokenomics)이 핵심 요소로 부상했습니다. 업계는 스펜크티브 디코딩(Speculative Decoding), 프리필/디코드 분리(Pre-fill/Decode Disaggregation), 공격적 양자화(Aggressive Quantization), KV 캐시 재사용(KV-cache Reuse), 모델 수준 라우팅(Model-level Routing) 등 정교한 최적화 기법을 개발하여 성능을 끌어올렸습니다. 그러나 업계가 단일 소스의 실리콘에 의존한다는 점은 모든 제공자가 결국 동일한 컴퓨팅 한계에 부딪힌다는 것을 의미합니다. 현재의 추론 경쟁은 고정된 성능 범위 내에서의 트레이드오프 관리에 집중되어 있습니다.

ai&는 소프트웨어의 엄격함을 이종(Heterogeneous) 기반(substrates)에 적용함으로써 한 단계 더 깊이 경쟁하며, AMD, NVIDIA, Tenstorrent 및 기타 아키텍처를 서빙 스택과 네이티브하게 통합합니다. 이 플랫폼은 추론 파이프라인을 분리하여 각 계산 단계를 해당 작업에 가장 적합한 프로세서에서 실행합니다. ai&가 하드웨어를 종단간(E2E)으로 소유하고 운영하기 때문에, 하드웨어 공동 설계와 결합된 강력한 소프트웨어 최적화를 통해 토큰 효율성을 극대화합니다. 이는 단일 아키텍처 제공업체가 달성할 수 없는 시스템 수준의 효율성과, 생성되는 토큰마다 유리하게 누적되는 비용 구조를 제공합니다.

내부 벤치마크 결과, 이 접근 방식은 동등한 워크로드에서 비교 가능한 단일 아키텍처 시스템보다 훨씬 높은 토큰 효율성을 보여줍니다. 고객은 선도적인 엔드포인트와 비교할 만한 AI 품질을 얻으며, 모든 단계를 단일 프론티어(Frontier) 모델에서 실행하는 것보다 블렌디드(Blended) 비용을 최대 80%까지 절감할 수 있습니다. 이러한 구조적 우위는 ai&가 독점 모델 제공업체 및 다른 추론 제공업체 대비 가장 경쟁력 있는 가격을 제공할 수 있게 합니다.

이 플랫폼은 뚜렷한 기능을 갖추고 있습니다. ai&는 AMD, NVIDIA, Tenstorrent 및 기타 하드웨어 아키텍처를 통합된 서빙 레이어 아래에 통합하며, 일본에서 가장 큰 AMD 기반 추론 인프라를 운영하고 전 세계에서 가장 큰 Tenstorrent 배포망을 보유하고 있습니다. 계획, 검색, 도구 사용 및 검증을 위한 수십 번의 반복적이고 다중 턴(Multi-turn) 루프가 포함된 에이전트 워크플로우의 경우, 플랫폼은 추론 파이프라인을 분리하고 각 하드웨어 아키텍처에 맞게 실행을 최적화하여 토큰 처리량을 극대화하고 에이전트 실행의 누적 비용을 대폭 낮춥니다. 서빙 인프라는 ai&가 직접 관리하는 하드웨어 위에서 완전히 실행되므로 임대형 클라우드 인프라가 필요 없습니다. 금융 서비스, 헬스케어, 공공 부문 등 규제 산업에 속한 기업의 경우, 데이터 거주(Data Residency)와 규정 준수를 보장하기 위해 전용 환경 내에서 인리전(In-region)으로만 추론이 제공됩니다. 최종 사용자 근처에서 서빙 워크로드를 처리하면 장거리 왕복 네트워크 오버헤드가 제거되어 실시간 상호작용 애플리케이션과 긴밀한 에이전트 루프에 필요한 일관되고 빠른 응답 시간을 제공합니다. 기존 OpenAI 또는 Anthropic API 호환 애플리케이션은 단일 구성 변경만으로 ai&의 엔드포인트를 직접 지시할 수 있으며, 코드베이스 재아키텍처링이 필요하지 않습니다.

ai&는 향후 3년 동안 여러 개의 100메가와트급 AI 데이터센터를 구축하기 위해 20억 달러 이상의 자본 조달을 확보했습니다. 이 플랫폼은 ai&가 운영하는 인프라 위에서 종단간(E2E)으로 실행되어, 고객에게 단일 레이어 제공업체가 제공할 수 없는 성능, 경제적 효율성 및 주권(Sovereignty)을 제공합니다.

전용 용량, 맞춤형 서비스 수준 계약(SLA), 온프레미스 배포 또는 특수 워크로드 튜닝이 필요한 고객의 경우, ai&는 고유한 선호도에 맞춘 맞춤형 옵션을 제공합니다.

ai& Inference는 현재 console.aiand.com에서 이용 가능합니다. 신규 사용자는 쿠폰 코드 UNITABETAI를 사용하여 50달러 상당의 무료 크레딧을 받을 수 있습니다. ai&는 풀 스택(Full Stack)을 소유하고 최적화하는 자가 승리한다는 확신 하에 설립된 글로벌 AI 기술 기업입니다. 차세대 데이터센터 인프라, 이종 컴퓨팅(Heterogeneous Compute), 프론티어 모델 서비스를 단일 최적화된 플랫폼으로 통합함으로써, ai&는 기업과 개발자에게 단일 레이어 제공업체가 따라할 수 없는 성능, 경제적 효율성 및 데이터 주권을 제공합니다. 일본에서 설립되어 전 세계로 확장 중인 ai&는 AI 네이티브(AI-Native) 미래의 기반을 구축하고 있습니다.

원문 보기