Celestial AI가 데이터센터를 위한 포토닉 패브릭 상호연결 기술 플랫폼을 확대하기 위해 1억 달러를 조달했습니다.
광학 상호연결 기술 개발업체인 Celestial AI가 Photonic Fabric 기술 플랫폼을 위해 $100 million을 조성한 성공적인 Series B 펀딩 라운드를 발표했다. 이번 라운드는 IAG Capital Partners, Koch Disruptive Technologies (KDT), Temasek의 Xora Innovation 펀드가 주도했다. 추가 참여자로는 Samsung Catalyst, Smart Global Holdings (SGH), Porsche Automobil Holding SE, The Engine Fund, ImecXpand, M Ventures, Tyche Partners가 포함되었다. 이로써 Celestial AI의 총 펀딩액은 Seed부터 Series B까지 $165 million에 이르렀다.
GPT-4와 추천 엔진 같은 첨단 인공지능 모델들은 기하급수적으로 증가하는 메모리 용량과 대역폭을 요구하며, 클라우드 서비스 제공자와 하이퍼스케일 데이터 센터에 "메모리 월(memory-wall)" 문제로 알려진 과제를 초래한다. 제한된 대역폭, 높은 지연시간, 높은 전력 소비를 포함한 전기적 상호연결의 한계는 AI 비즈니스 모델의 성장과 해당 분야의 발전을 저해한다. Celestial AI의 CEO Dave Lazovsky는 VentureBeat에 "앞으로의 핵심 문제는 대규모 언어 모델(LLM)과 추천 엔진 워크로드를 위한 메모리 용량, 대역폭, 데이터 이동(칩 간 상호연결성)"이라고 설명했다.
이러한 과제를 해결하기 위해 Celestial AI는 분산 컴퓨팅 및 엑사스케일 메모리 클러스터를 위해 설계된 광학 상호연결인 Photonic Fabric을 개발했다. 회사의 독점 기술인 Optical Compute Interconnect (OCI)는 확장 가능한 데이터 센터 메모리와 가속화된 컴퓨팅의 분산을 가능하게 한다. Lazovsky에 따르면, "당사의 Photonic Fabric 기술은 포토닉스를 실리콘 다이에 직접 통합할 수 있게 해준다. 핵심 장점은 당사 솔루션이 실리콘 다이의 어느 지점에서든 데이터를 컴퓨팅이 발생하는 지점으로 전달할 수 있다는 것이다. Co-Packaged Optics (CPO)와 같은 경쟁 솔루션은 다이의 가장자리에만 데이터를 전달하므로 이를 할 수 없다."고 말했다. Photonic Fabric은 1.8 Tbps/mm²의 패키지 대역폭을 나노초 지연시간으로 제공하며, 이는 CPO보다 25배 더 큰 대역폭이고 지연시간은 10배 더 낮다. 이 플랫폼은 CXL 및 JEDEC (HBM)을 포함한 업계 표준 프로토콜을 지원하며, PCIe, UCIe, 독점 상호연결 등의 인터페이스와 호환된다.
Celestial AI는 GPT-4 및 PaLM과 같은 LLM을 위한 엔터프라이즈 컴퓨팅, 그리고 100억에서 1조 개 이상의 매개변수를 가진 심층 학습 추천 모델(DLRM)을 목표로 한다. Lazovsky는 VentureBeat에 서버 DRAM 메모리의 비효율적 사용은 "하이퍼스케일러와 엔터프라이즈 전반에 걸쳐 수억 달러(아마도 수십억 달러)의 낭비"를 야기한다고 말했지만, Photonic Fabric은 메모리 분산과 풀링을 가능하게 하여 메모리 지출을 줄이고 사용률을 개선한다. 그는 "높은 대역폭에서 각 프로세서의 주소 지정 가능 메모리 용량을 증가시킴으로써, Photonic Fabric은 각 프로세서가 더 큰 데이터 덩어리를 저장하고 처리할 수 있게 하여 필요한 프로세서 수를 줄인다. 빠른 칩 간 링크를 제공함으로써 연결된 프로세서가 모델을 더 빠르게 처리할 수 있고, 처리량을 증가시키면서 비용을 줄인다"고 설명했다.
Broadcom은 Celestial AI의 설계를 기반으로 Photonic Fabric 프로토타입 개발에 협력하고 있으며, 프로토타입이 향후 18개월 내에 고객에게 배송될 준비가 될 것으로 예상된다. 펀딩은 Celestial AI의 엔지니어링, 영업, 기술 마케팅 팀을 확대하여 Photonic Fabric 기술 플랫폼의 제품화와 상용화를 가속화하는 데 사용될 것이다.