Broadcom은 네트워킹 칩의 버퍼 깊이가 단일 데이터센터를 넘어 다중 사이트 AI 클러스터의 확장에 어떤 영향을 미치는지 다룬 뉴스룸 기사를 게재했다.

AI 학습은 그것이 시작된 건물의 규모를 넘어서고 있습니다. GPU 클러스터가 캠퍼스와 지역 전반으로 확산되면서, 건물 내부 네트워크가 의존해 온 반응형 혼잡 제어는 한계에 부딪히기 시작합니다. 광섬유는 10킬로미터마다 약 100마이크로초의 왕복 지연 시간을 더하므로, 왕복 시간은 수백 마이크로초로 늘어나고, 패킷 하나가 유실되면 그로 인한 지연보다 훨씬 긴 시간 동안 작업이 멈출 수 있습니다. Broadcom은 10, 30, 100km 링크, 두 가지 혼잡 제어 프로토콜, 50MB에서 500MB까지의 메시지 크기를 아우르는 버퍼 크기 시뮬레이션을 구축하여, 링크의 대역폭-지연 곱(BDP)의 배수로 어느 정도의 버퍼 깊이가 필요한지 알아보았습니다. 우리가 살펴본 모든 조건에서 그 결과는 일관되게 유지되었습니다.

**1.5×BDP**: 10, 30, 100km 모든 거리에서 완료 시간을 이상적인 수준에 가깝게 유지하고 재전송을 0으로 만드는 버퍼 임계값입니다.

**0%**: 해당 임계값에서의 재전송률로, 시험한 50MB에서 500MB까지 모든 메시지 크기에서 동일합니다.

**CC 무관성**: 이 임계값은 NSCC(UEC 기본값)와 Broadcom의 RCCC 모두에서 유지되며, 이는 단순한 튜닝 기법이 아니라 버퍼 크기 설정의 특성임을 보여 줍니다.

## Broadcom의 시험 방법

우리는 신뢰하기 쉽도록 버퍼 크기 스윕을 설계했습니다. 2:1 과다 구독된 장거리 링크를 통한 직접적인 DC 간 트래픽을 사용했고, 상황을 복잡하게 만드는 로컬 트래픽은 없앴습니다. 버퍼 크기는 10km, 30km, 100km에서 각각 독립적으로 3×BDP에서 0.005×BDP까지 줄여 가며 측정했으며, 두 가지 혼잡 제어 프로토콜인 NSCC(UEC 기본값)와 RCCC(Broadcom 제품)에서, 각각 기본 파라미터와 튜닝된 파라미터를 적용했습니다. 별도의 스윕에서는 메시지 크기를 50MB에서 500MB까지 변화시켜, 임계값이 특정 크기에서 나온 인공물이 아님을 확인했습니다.

혼잡은 추가적인 경쟁 흐름에서 오는 것이 아니라, 의도적으로 설정한 2:1 과다 구독에서 발생합니다. 장거리 링크는 송신 포트가 밀어낼 수 있는 속도의 절반으로 동작하므로, 버퍼 크기와 무관하게 수요가 설계상 용량을 초과합니다. 이처럼 지속적으로 발생하는 격차가 이 스윕이 측정하는 큐를 만들어 냅니다.

## 확인된 결과

시험한 모든 거리, 프로토콜, 메시지 크기에서 일관되게 나타난 결과가 하나 있습니다. 스위치 버퍼를 1.5×BDP 이상으로 설정하면 흐름 완료 시간(FCT)이 이상적인 값에서 몇 퍼센트 이내로 유지되고, 재전송은 0이 됩니다. 스위치 처리량이 100T일 때, 1.5×BDP는 대략 10km에서 1.9GB, 30km에서 5.6GB, 100km에서 18.8GB에 해당합니다. 1.5×BDP 미만에서는 두 지표 모두 나빠지며, 재전송이 먼저 악화되고 완료 시간이 그 뒤를 바짝 따릅니다. 그림 1(10km, NSCC)에서 0.1×BDP의 50MB 흐름은 오버헤드로 인해 이상적인 완료 시간의 31.5%를 잃으며, 재전송률은 55.1%입니다.

*그림 1. 10km, NSCC 조건에서 스위치 버퍼 크기를 1.5×BDP에서 0.1×BDP까지 줄였을 때의 FCT 오버헤드와 재전송률. 1.5×BDP 선 위에서는 시험한 모든 메시지 크기에 대해 두 지표가 평탄하고 0에 가깝습니다. Broadcom 내부 데이터 기준.*

Broadcom은 결과가 더 큰 메시지에도 유효한지 확인하기 위해, 10km, NSCC 조건에서 메시지 크기 스윕을 50MB에서 500MB까지 확장했습니다. 시험한 메시지 크기와 버퍼 지점의 152개 조합 전체에서, 재전송은 메시지 크기가 커질수록 예외 없이 단조 감소했습니다. 1.5×BDP에서는 해당 범위의 모든 메시지 크기에 대해 재전송이 0%였습니다.

## 범위에 대한 유의 사항

이 스윕은 버퍼 깊이 문제만을 분리해 살펴보았습니다. 즉, 단일 장거리 링크를 통한 DC 간 트래픽이며, 의도적으로 경쟁하는 로컬 트래픽은 배제했습니다. AI 집합 통신에서 전형적으로 나타나는 다대일 패턴인 팬인(fan-in) 버스트는 이 스윕에 포함되지 않았습니다. 동시 송신자가 늘어날수록 버퍼가 흡수해야 할 실효 버스트가 커지므로, 같은 임계값이 인캐스트(incast) 상황에서도 유지되거나 더 엄격해질 것으로 예상됩니다. 이는 여기서 보고된 결과가 아니라, 이 연구의 다음 단계입니다.

## 결론

데이터는 명확합니다. 거리가 10km를 넘는 순간, 깊은 버퍼는 선택 사항이 아닙니다. 이는 시뮬레이션에서 예외 없이 혼잡 제어 프로토콜이나 메시지 크기와 무관하게 성립합니다. 이 임계값은 다중 사이트 AI 클러스터가 기가와트급 배치로 나아가는 가운데, 네트워크 설계자에게 단순하고 신뢰할 수 있는 설계 규칙을 제공합니다. 즉, 10km 이상에서는 깊은 버퍼링을 확보하면 시스템이 안정적으로 동작한다는 것입니다.

실제로는 계층적 하이브리드 버퍼링 모델이 필요합니다. 가능한 곳에는 빠르고 얕은 온칩 버퍼를 배치하고, 혼잡과 장애가 과도한 재전송을 유발할 수 있는 곳에는 표적 보험으로서 깊은 HBM 버퍼링을 함께 두는 방식입니다. Broadcom의 Jericho 스위치가 이 이중 계층 아키텍처를 구현하며, Thor NIC은 엔드포인트에서 고급 혼잡 제어를 담당합니다.

## 추가 읽을거리

- Broadcom: What Is Scale-Across Networking for AI Clusters

- Arista: The Many Facets of AI Fabrics