SemiAnalysis와 Sequoia Capital이 AI 인프라 구축을 100배 가치창출 잠재력의 풀스택 협력설계 기회로 제시.

시큐어이어의 시언은 세미애널리시스(SemiAnalysis)의 딜런 파텔을 소개하며, 동사를 반도체 분야의 최고 독립 연구 기관으로 칭찬한다. 세미애널리시스는 서구에서 반도체가 대중적인 인기를 largely 상실한 시기에 기술적 세부 사항, 공급망, 그리고 더 넓은 산업 맥락을 다루고 있다. 최근 루머에 따르면, 이 회사는 1억 달러 이상의 매출을 달성했으며 잠재적으로 벤처 펀드 설립을 고려하고 있는 것으로 알려졌다. 이는 딜런이 구축해 온 신뢰할 수 있는 브랜드를 입증하는 사례다.

딜런은 가족이 운영하는 모텔과 주유소 사업에서 자랐으며, 그곳에서 나중에 그의 전문성을 정의하게 될 기술적 세부 사항, 경제성, 마진 등을 이해하는 법을 배웠다. 그는 8세 생일 직후 콘솔이 발표된 크리스마스 선물로 엑스박스 360(Xbox 360)을 받았다. 해당 기기가 하드웨어 고장인 '데스의 레드 링(Red Ring of Death)' 증상을 보이자, 다른 방법들이 실패한 후 온도 센서를 단락시켜 성공적으로 수리했다. 이 결정적인 순간은 "판도라의 상자를 열었"으며, 그가 평생 하드웨어 조립에 매료되게 만드는 계기가 되었다. 12세가 되자 그는 하드웨어 커뮤니티와 포럼에서 활발히 활동하며 이후의 커리어를 위한 기반을 닦았다.

딜런은 반도체와 무관한 학위를 취득했고, 작은 리스크 관리 회사에서 퀀트(quant)로 2년간 일했다. 그러나 2020년 초 일련의 개인적 역경이 그의 길을 재설정하도록 했다. 직장 내 문제, 치매로 인한 할머니의 사망, 그리고 코로나19 봉쇄는 그를 나슈빌에 사는 형과 함께 살도록 이끌었다. 이 기간 동안 그는 온라인에 더 자주 게시했으며, 코로나19 팬데믹과 반도체 부족 상황을 이용해 주식 거래에서 수익을 올렸고, 결국 신원 노출(doxed)되기도 했다. 스물네 번째 생일에 그는 자신의 실명으로 작성한 두 편의 상세한 공개 블로그 게시물을 통해 세미애널리시스를 시작했으며, 이는 빠르게 상당한 반향을 일으켜 컨설팅 업무로 이어졌다.

이 혼란스러운 시기를 거친 후, 딜런은 미국 전역의 국립공원을 방문하며 6개월간 트럭과 텐트에서 생활했다. 그는 평일에는 저렴한 모텔 방을 협상하고 주말에는 반도체와 인공지능(AI) 관련 교과서를 읽으며 시간을 보냈다. 그는 여행 내내 상세한 블로그를 계속 발행했으며, 이후 라틴 아메리카에서도 시간을 보냈다. 그는 NeurIPS와 같은 주요 AI 행사부터 SPIE 리소그래피 회의와 같이 매우 기술적인 전시회까지 전 세계 연 40회 이상의 컨퍼런스에 참석하기 시작했다. 이러한 행사에서 전문가들과의 직접적인 대화를 통해 그는 다른 곳에서는 거의 출판되지 않는 희귀한 공급망 세부 사항을 습득했으며, 이로 인해 그의 전문성이 극적으로 심화되었다. 다만 2020년 중반 이후 효과적으로 노숙 상태에 있었다.

InferenceX는 딜런이 근본적인 문제에 대한 대응책으로 제시한 것이다. 전통적인 시점(point-in-time) 벤치마크는 빠른 모델 출시와 지속적인 소프트웨어 최적화로 인해 빠르게 낡아간다. 이 플랫폼은 Nvidia, AMD, Google, Amazon 등 제공업체로부터 기부받은 5,000만 달러 이상의 하드웨어 위에서 최신 모델들에 대해 자동화된 일일 벤치마크를 실행한다. 이는 중요한 처리량-상호작용성 곡선에 초점을 맞추며, 누구나 최대 성능에 가까운 결과를 얻을 수 있도록 최적 구성을 공개한다. 이 프로젝트는 비용 및 전력 효율성을 추적하여 와트당 및 달러당 지능이 연간 약 40~60배 향상되는 것을 보여준다. 딜런은 추론(inference)이 eventually 유류보다 경제적 영향력이 큰 지구상 최대 시장 중 하나가 될 것이라고 믿는다.

하드웨어-모델 공동 설계(Hardware-model co-design)는 최전선 AI 개발의 중심 주제로 부상한다. OpenAI의 모델은 희소성(sparsity)을 지향하는 반면, Anthropic의 모델은 상대적으로 밀도가 높아 근본적으로 다른 최적화 요구사항을 생성한다. 이러한 아키텍처 차이는 모델이 GPU versus TPU와 같은 특정 하드웨어에 어떻게 매핑되는지에 영향을 미치며, 행렬 곱셈 형태, 어텐션 메커니즘, 전문가 라우팅(expert routing) 등에 영향을 준다. 하드웨어 인터커넥트 및 네트워크 토폴로지는 이러한 분화를 더욱 강화하여, 모델 아키텍처와 기반 하드웨어 간의 공동 설계가 최대 성능을 위해 필수적이게 만든다.

Nvidia의 NVLink는 전용 스위치를 통해 최대 72개의 GPU를 연결하는 반면, Google의 ICI는 스위치 없이 다른 칩을 경유하여 최대 8,000개의 칩이 높은 대역폭으로 통신할 수 있게 한다. 이러한 상충되는 인터커넥트 설계는 서로 다른 지연 시간, 대역폭 및 확장 특성을 생성한다. 하드웨어의 물리적 형태와 연결성은 각 플랫폼에서 어떤 모델 아키텍처가 가장 잘 수행되는지에 직접적인 영향을 미친다. 모델 기업들은 주로 사용하는 특정 인터커넥트를 위해 아키텍처를 최적화하므로, 각 생태계는 강력한 경로 의존성(path dependence)을 갖게 된다.

전통적인 CUDA 모ats는 최전선 모델 연구소들이 이제 대체 칩용 커스텀 커널을 작성하기 위해 AI 코딩 도구를 사용하기 때문에 부분적으로 침식되고 있다. 소수의 주요 모델 개발자들만 존재하기 때문에, 수천 명의 고객 전반에 걸친 광범위한 프로그래밍 가능성의 필요성은 감소했다. 그러나 하위 생태계 효과는 지속된다: Nvidia 하드웨어와 강하게 공동 최적화된 모델은 다른 플랫폼에서 비최적으로 실행된다. 대형 연구소들은 오픈소스 프레임워크를 포크하거나 자체 스택을 구축하여 표준 CUDA 도구 사용에 대한 의존도를 줄이고 있다. 모ats는 원시 프로그래밍 가능성에서 풀스택 공동 설계 이점으로 이동하고 있다.

중국 연구소들은 Nvidia GPU를 명시적으로 공동 설계한 모델을 생산했으며, 이로 인해 TPUs 및 기타 아키텍처에서는 덜 효율적이다. 주요 서방 연구소들도 마찬가지로 모델 아키텍처, 인프라 소프트웨어, 대상 하드웨어 전반에 걸쳐 공동 최적화를 수행하여 승수적 이득(multiplicative gains)을 달성한다. 최적화가 모든 레이어에 동시에 걸쳐 있을 때, 개별 레이어에서의 단순 가법적 또는 승수적 이득이 아닌 100배에 달하는 개선 효과를 얻을 수 있다. 소규모 팀들은 여전히 vLLM 및 SGLang과 같은 오픈소스 도구에 크게 의존하는 반면, 최전선 연구소는 모든 것을 사용자 지정할 자원을 보유하고 있다. 풀스택 공동 설계가 경쟁 우위의 주요 원천이 되고 있다.

Cerebras는 매우 빠른 추론 속도로 뛰어나며, 세미애널리시스 역시 속도 프리미엄이 가격 책정을 정당화하는 고부가가치 작업에 이를 광범위하게 사용한다. 회사의 SRAM 기반 아키텍처는 긴 컨텍스트 길이를 가진 매우 대규모 모델로의 확장에는 어려움을 겪는다. 선도적인 연구소의 대부분 수익과 사용량은 여전히 그들의 최고(최대) 모델에서 발생하며, 여기서 빠른 추론 모드는 명확한 ROI를 제공한다. 딜런은 빠른 모드가 비용 대비 가치가 있는지 여부를 결정하기 위해 모든 작업에 대한 토큰 지출과 ROI를 엄격하게 추적한다. Cerebras는 모든 워크로드를 위한 범용 GPU 또는 TPU 클러스터를 대체하기보다는 가치 있지만 특수화된 틈새 시장을 차지하고 있다.

딜런은 AI에 ROI가 없거나 모델 진전이 정체되었다는 주장에 특히 분노한다. 그는 기능(capabilities)이 지속적으로 우상향하고 있으며, 구형 벤치마크는 포화 상태에 도달하고 새로운更难한 벤치마크는 급격한 개선을 보이고 있다고 지적한다. 반도체는 수천 개의 복잡한 레이어로 구성되어 있으며, 심지어 전문가들도 매일 화학 물질, 공정, 공급망에 대한 새로운 세부 사항을 학습한다. 사람들은 종종 정확한 사실을 가지고 있으나, 추상화 레이어 간의 맥락 부재로 인해 완전히 잘못된 결론에 도달하기도 한다. 그는 데이터와 직접적인 관찰 모두에 근거하여 지속적인 모델 개선과 경제적 가치 창출을 부정할 수 없는 사실로 본다.

앞으로 딜런은 우주 기반 데이터 센터와 SpaceX가 제공하는 기회를 향후 10년 동안 매우 기대하고 있다. 그는 콤팩트 패키징 옵틱스(co-packaged optics)가 decade 말에 등장할 것으로 예상하며, 논쟁은 주로 정확한 타이밍에 집중되어 있다. Nvidia와 몇몇 초거대 클라우드 공급자(hiperscaler) ASICs가 시장의 대부분을 지배함에도 불구하고, 특수 칩들은 수익성 있는 틈새 시장을 확보할 것이다. 유용한 AI 작업에 대한 수요가 신규 기가와트(GW) 용량이 가동되는 속도보다 빠르게 확장되면서 컴퓨팅 부족 현상은 지속된다. 분기별로 설치된 전력량이 증가하고 있음에도 불구하고, 최전선 연구소의 높은 총마진은 추가 컴퓨팅에 상당한 프리미엄을 지불하면서도 수익성을 해치지 않도록 하여, 산업이 인프라 투자와 AI 가치 창출을 바라보는 방식을 근본적으로 재편하고 있다.