반도체·하드웨어 · 리포트

Lumai는 영국 연구소에서 광학 AI 서버를 시험하며, 추론의 프리필(prefill) 작업을 GPU에서 분리하는 방식이 데이터센터의 전력 제약을 완화할 수 있는지 검증하고 있다.

광학 가속기가 GPU의 프리필(prefill) 작업을 대신할 수 있다면 토큰당 랙 단위 전력 소비를 낮출 수 있을 것으로 기대된다. 다만 이 접근법은 아직 실험실 테스트 단계에 머물러 있다.

업계 전문지Slicast · 2026년 11월 6일 17:13 UTC · 글로벌 · 출처: Data Center Knowledge

중요도 40

데이터 센터에서 전력은 언제나 제약 요인이며, AI 추론은 그 부담을 그 어느 때보다 가중시키고 있습니다. 2021년 옥스퍼드 대학교에서 분사한 광 컴퓨팅 기업 Lumai는 트랜지스터 대신 빛을 사용해 추론의 핵심 연산을 수행함으로써 이 압박을 완화할 수 있다고 주장합니다.

이 회사는 이제 그 주장을 실제 환경에서 검증하려 하고 있습니다. Lumai는 실제 상용 환경에서 실제 작업 부하를 기준으로 새로운 AI 하드웨어를 평가하는 영국 시설인 Scaling Inference Lab에 자사의 Iris Nova 서버를 배치하고 있습니다. Iris Nova는 Lumai의 첫 번째 서버이자 데이터 센터 추론을 위해 설계된 광 AI 가속기이며, 이 연구소에 배치되는 첫 번째 광 추론 플랫폼이 될 것입니다.

정부 지원 연구개발 자금 지원 기관인 영국의 Advanced Research and Invention Agency(ARIA)가 이 연구소를 지원하고 있으며, 공동 AI 개발을 목표로 하는 비영리 단체 CommonAI CIC가 이를 운영합니다. 연구자들은 이번 배치를 통해 광 컴퓨팅이 상업용 데이터 센터 환경에서 어떻게 작동하는지 평가할 예정입니다.

이 하드웨어가 해결하도록 설계된 문제는 전력입니다.

Lumai의 제품 디렉터 Phillip Burr는 Data Center Knowledge와의 인터뷰에서 "전력이 가장 큰 과제입니다."라고 말했습니다. "데이터 센터에는 고정된 전력 예산이 있는데, 추론 수요는 가용 전력보다 빠르게 증가하고 있습니다."

**광 추론이 데이터 센터의 전력 제약을 어떻게 완화할 수 있는가**

대규모 숫자 격자를 서로 곱하는 과정인 행렬 곱셈은 AI 추론의 중심에 있습니다. Burr에 따르면, 광 컴퓨팅은 이 영역에서 매우 효율적으로 작동할 수 있습니다.

광 하드웨어가 이점을 가질 수 있는 이유를 이해하려면, GPU와 광 시스템이 이 산술 연산을 어떻게 다르게 수행하는지 살펴볼 필요가 있습니다.

Burr는 "GPU는 AI 추론의 핵심인 행렬 곱셈을 수행하기 위해 트랜지스터를 사용하는 실리콘 칩입니다."라고 설명했습니다. "광 컴퓨팅은 빛의 특성을 이용해 같은 행렬 곱셈을 수행하며, 단일 광학 사이클에서 수백만 개의 연산을 완료합니다."

Lumai는 Iris가 숫자를 빛의 세기로 인코딩하고, 렌즈와 같은 수동 광학 부품을 사용해 연산을 수행한다고 밝혔습니다. 이 회사는 연산 자체가 무시할 만한 수준의 에너지만 사용하며, 성능이 확장되어도 전력 사용량은 최소한으로만 증가한다고 설명했습니다.

그렇다고 이 시스템이 기존의 전자 부품을 완전히 버리는 것은 아닙니다. Burr는 Lumai의 아키텍처가 하이브리드 방식이라고 말했습니다. 행렬 곱셈은 광학이 처리하고, 메모리, 제어 및 비선형 기능은 전자적으로 수행됩니다.

추론에는 두 가지 주요 단계가 있으며, 광 컴퓨팅은 그중 하나를 겨냥합니다. Burr는 프리필(prefill) 단계에서 프롬프트와 문맥이 처리된다고 말했습니다. 두 번째 단계인 디코드(decode)에서는 출력 토큰이 생성됩니다.

Burr는 "프리필은 연산 중심적입니다. 각 모델 가중치가 프롬프트의 모든 토큰에 걸쳐 재사용되므로 산술 연산이 지배적입니다."라며 "바로 이 지점에서 광 컴퓨팅이 성능을 높입니다."라고 말했습니다.

실제로 연산 중심적이라는 것은 전체 성능이 산술 연산의 속도에 의해 결정된다는 뜻입니다. 토큰은 단어 또는 단어의 일부와 같은 작은 텍스트 단위입니다.

디코드는 토큰이 한 번에 하나씩 생성되기 때문에 다르게 작동합니다. Burr는 디코드가 메모리 대역폭에 의해 제한되므로, 더 빠른 산술 연산이 같은 이점을 제공하지 않는다고 말했습니다. 그는 또한 모델 학습은 더 높은 정밀도와 지속적인 가중치 업데이트가 필요하기 때문에 오늘날 광 컴퓨팅과 잘 맞지 않는다고 덧붙였습니다.

Burr는 "GPU는 여전히 학습과 디코드에 적합합니다."라고 말했습니다.

Lumai Iris Nova 서버는 프리필 단계를 처리하고 디코드는 다른 하드웨어에 맡기도록 설계되었습니다.

Burr는 "Iris는 프리필 단계를 위해 설계되었고, 디코드에는 GPU나 디코드에 최적화된 다른 하드웨어가 사용됩니다."라고 말했습니다. "프리필을 GPU에서 분리하면 그 GPU 용량을 디코드에 사용할 수 있습니다."

**Iris Nova가 기존 데이터 센터 인프라에 맞물리는 방식**

Iris Nova에서 프리필을, GPU에서 디코드를 실행해 추론을 나누는 운영자에게는 이 작업들을 서로 다른 하드웨어로 라우팅하는 소프트웨어가 필요합니다. 이 방식은 분리형 서빙(disaggregated serving)으로 알려져 있으며, Burr는 Iris Nova가 이를 지원하는 프레임워크와 함께 작동하도록 설계되었다고 말했습니다.

Burr는 "통합과 관련해, Iris는 PyTorch와 같은 표준 소프트웨어 프레임워크, 표준 네트워킹 인터페이스, 그리고 vLLM 및 SGLang과 같은 분리형 추론 서빙 프레임워크와 함께 작동합니다."라고 말했습니다.

이러한 분할이 효과가 있는지는 데이터 센터가 처리하는 작업에 따라 달라집니다.

Burr는 "운영자에게 결정적인 요소는 컴퓨팅 자원 중 얼마나 많은 부분이 프리필에 쓰이는가입니다."라고 말했습니다. "모델이 대용량 문맥을 반복적으로 처리하는 긴 프롬프트와 에이전트형 작업에서는 프리필이 지배적입니다. 바로 이 지점에서 광 컴퓨팅이 가장 큰 효과를 냅니다."

또 다른 실질적인 고려 사항은 시설 요건이며, Burr는 이 하드웨어가 익숙한 부품으로 만들어졌다고 말했습니다.

Burr는 "Lumai Iris 서버는 새로운 소재나 주문형 제작 공정이 아니라, 데이터 센터 통신용으로 이미 대량 생산되는 부품으로 만들어집니다."라고 말했습니다.

냉각 요건 역시 기존 방식과 유사합니다. Iris Nova가 배치되는 Scaling Inference Lab은 표준 전력, 냉각 및 랙 통합을 갖춘 실제 상용 환경에서 하드웨어를 테스트하므로, Lumai는 일반적인 데이터 센터 조건에서 시험할 수 있습니다.

Burr는 "Iris Nova는 표준 공랭식 랙에서 작동하며 액체 냉각이 필요하지 않습니다."라고 말했습니다.

Lumai는 ARIA의 지원을 받는 이번 배치의 목표가 시스템을 더 철저히 검증하고, 프로덕션 배치를 위한 차기 제품을 설계하는 데 도움이 되는 데이터를 생성하는 것이라고 밝혔습니다.

Burr는 "ARIA 배치는 Iris Nova 서버 클러스터를 독립적으로 운영되는 연구소인 ARIA의 Scaling Inference Lab에 설치하게 됩니다."라며 "이를 통해 광 컴퓨팅이 연구 환경 밖에서도 실제 AI 작업을 실행할 수 있음을 보여주고, 시스템 수준의 성능 데이터를 제공하게 될 것입니다."라고 말했습니다.

원문 보기