iPronics와 같은 포토닉스 스타트업들은 기존 전기 라우팅보다 더 빠르고 밀도 높으며 저렴한 네트워킹을 약속하는 광 회로 스위치를 개발하기 위해 수억 달러의 자금을 조달하고 있다.

랙당 72개의 GPU가 밀집되어 있다고 생각했다면, 엔비디아(Nvidia) 및 기타 기업의 차세대 설계는 수백 개, 심지어 수천 개의 가속기를 단일 대형 시스템에 집약할 것이다. 하지만 이러한 일이 발생하려면, 이들은 과거의 전화 교환기 방식을 연상시키는 많은 양의 광학 기술과 장치가 필요하다.

이러한 현실은 초기 단계 스타트업부터 확립된 광학 장비 및 섬유 제조사에 이르기까지 광자(photonics) 부문 전반에 걸친 활발한 투자를 촉발시켰다. 특히 3월 한 달 동안 엔비디아는 코히어런트(Coherent), 루멘텀(Lumentum), 마벨(Marvell)에 각각 20억 달러씩 총 60억 달러를 투자하여 이들의 광학 기술 개발을 가속화했다.

이 자금의 일부는 특별히 광 회로 스위칭(OCS) 기술을 목표로 하고 있다. 수요일, 엔비디아는 매버릭 실리콘(Maverick Silicon)과 라이트 스트리트 캐피탈(Light Street Capital)과 파트너십을 맺어, 아이프론닉스(iPronics)의 두 번째 세대 OCS 아키텍처 개발을 위해 추가로 1억 2,500만 달러를 기여하기로 했다.

광 회로 스위치는 문자 그대로의 의미에서만 스위치 역할을 한다. 브로드컴(Broadcom) 토마호크(Tomahawk)나 마벨 테라린кс(Teralynx) ASIC와 달리, OCS 장치는 패킷을 스위칭할 수 없다. 대신 이러한 광전기 장치는 현대적인 전화 교환기의 역할에 해당한다. 인간 운영자가 수동으로 연결을 구성하는 데 의존하는 대신, 고속 액추에이터(미세 거울, 압전 메커니즘, LCD 또는 유사 기술을 활용함)가 네트워크를 거의 즉시 재구성한다.

OCS는 현대 GPU 배포에서는 아직 흔하지 않지만, 특수화된 AI 클러스터에서는 오랫동안 사용되어 왔다. 예를 들어, 구글(Google)은 수년간 TPU 클러스터 내에서 OCS 기술을 활용해 왔다.

전통적으로 구글의 TPO 파드는 2차원 및 3차원 토러스(topology) 토폴로지를 사용하여, 패킷 스위칭 기반 네트워크에 의존하기보다는 대규모 메시(mesh)를 통해 가속기가 통신할 수 있도록 했다. 메시 네트워크의 대가는 칩 간 지연 시간이 더 길고 구조적 경직성이 발생할 수 있다는 점이다. 이러한 네트워크는 본질적인 유연성이 부족하며, 실패한 가속기를 추가, 제거 또는 교체하려면 의도적인 네트워크 재구성이 필요하다.

구글의 경우 그 해결책은 광 회로 스위칭이다. OCS 장치를 통해 TPU 클러스터 트래픽을 광학적으로 전송함으로써, 회사는 파드 크기를 동적으로 조정하고 실패한 가속기를 사실상 핫 스왑(hot-swap)할 수 있다. 광 회로 스위칭은 구글이 업계에서 가장 큰 단일 컴퓨팅 도메인 중 일부를 운영할 수 있게 하는 핵심 요소로, 전통적인 패킷 스위칭 라디우스(radix) 제한으로부터 네트워크 아키텍처를 자유롭게 만든다.

그러나 기존 OCS 장치에는 상당한 한계가 있다. 많은 장치가 미세 전자기계 시스템(MEMS)을 사용하여 미세 거울을 물리적으로 이동시켜 연결을 라우팅한다. 이는 기능적이지만 속도가 느려, 일반적인 재구성 시간은 약 100밀리초 수준이다. 또한 OCS 장치는 내부 메커니즘과 커넥터 요구 사항으로 인해 물리적으로 부피가 큰 경향이 있다.

광자 스타트업인 아이프론닉스는 자신의 '두 번째 세대' OCS를 통해 이러한 단점을 극복하려 한다. 새로운 설계는 MEMS 및 LCD 기반 시스템을 포기하고 움직이는 부품이 없는 실리콘 포토닉스 아키텍처를 채택했다. 회사는 자사 기술이 1밀리초 미만의 재구성 시간을 달성하여, 활성 컴퓨팅 사이클 내에 지연 시간을 숨김으로써 워크로드 중간에 토폴로지 변경이 가능해진다고 주장한다.

이프론닉스는 첫 번째 세대 설계 대비 더 높은 포트 밀도를 보고한다. 예를 들어 아이프론닉스 원(iPronics One) 칩은 32개의 포트를 지원한다. 회사는 현재 72포트 및 144포트 변형을 개발 중이다. 실리콘 포토닉스로 제작된 이러한 칩은 훨씬 적은 공간을 차지한다. 아이프론닉스는 멀티 칩 모듈과 고밀도 커넥터를 활용하면 단일 랙 유닛(rack unit)에 최대 720개의 포트 쌍을 밀집시킬 수 있다고 전망한다. 비교하자면, 코히어런트의 300포트 장치와 같은 기존 고라디우스 OCS 스위치는 일반적으로 8개 이상의 랙 유닛을 차지한다.

1밀리초 미만의 지연 시간에도 불구하고, OCS는 네트워크 경로가 비교적 안정적인 환경에서 가장 잘 작동한다. 이는 단일 홉(single-hop) 모든-대-모든(all-to-all) 연결성과 극단적인 경로 다양성을 우선시하는 엔비디아 NVL72나 AMD 헬리오스(Helios)와 같은 현대 랙 아키텍처와 sharply 대비된다. 두 접근 방식은 상호 배타적이지 않다. 아이프론닉스는 고객이 구체적으로 어떤 토폴로지를 배포하는지 공개하기를 거부하지만, 메시 네트워크와 스위칭 파브릭(switched fabrics)을 결합하는 등 여러 하이브리드 사용 사례가 나타나고 있다.

엔비디아가 2024년 첫 랙 규모 컴퓨팅 플랫폼을 발표했을 때, 젠슨 황(Jensen Huang) CEO는 72-GPU 시스템을 단일 모놀리식(monolithic) 가속기로 묘사했다. 이 시스템은 모든-대-모든 구성으로 배선된 18개의 초고속 NVLink 스위치 칩을 통해 이를 달성하며, 어떤 GPU도 다른 GPU로부터 정확히 하나의 홉 거리에만 있도록 보장한다. 처음 보기에는 이 아키텍처가 OCS와 호환되지 않는 것처럼 보이지만, 통합은 가능하다: 구리 기반 스위칭 파브릭은 랙 내 통신을 처리하고, OCS 관리 하의 메시는 랙 간 트래픽을 처리할 수 있다.

그러나 더 즉각적인 응용 분야는 엔비디아의 빠르게 확장 중인 대형 처리 장치(Large Processing Unit, LPU) 클러스터를 관리하는 데 있다. 앞서 언급했듯이, 각 1조 파라미터(trillion parameters)는 2,000개 이상의 가속기를 수용하는 8개의 LPX 랙을 필요로 한다. 이러한 칩은 주로 파이프라인 병렬성(pipeline parallelism)을 활용하여 칩 간에 데이터를 순차적으로 처리하므로, 자연스럽게 OCS 오케스트레이션 메시 토폴로지에 적합하다. 이는 다양한 모델 크기를 배포할 때 네비우스(Nebius)와 같은新興 클라우드 제공업체의 클러스터 크기 조정을 크게 단순화할 것이다.

이러한 광범위한 시스템을 연결하려면 막대한 양의 광섬유 케이블이 필요하다. 이에 대응하여 또 다른 스타트업인 믹스 테크놀로지스(Mixx Technologies)는 단일 랙 내에서 수만 개의 광섬유를 종단할 수 있는 새로운 커넥터를 최근 발표했다. 믹스의 SxC 커넥터는 케이블당 64개의 광섬유를 수용하여, 표준 MPO 제한인 8~24개를 초과한다. 회사는 SXC 커넥터를 사용하면 400Gbps SerDes 속도를 기준으로 614TB/s의 집계 대역폭을 제공하는 단일 OCP 랙 유닛에 384개의 64-광섬유 포트를 배치할 수 있다고 추정한다. ®