Clockwork.io가 $31 million 자금 조달을 발표했으며, LinkedIn과 Together AI에서 새로운 배포를 시작했고, 코드 변경 없이 GPU 워크로드 진행을 보존하는 도구를 제공합니다.
AI 학습, 강화학습, 추론 워크로드를 인프라 장애를 통해 계속 실행하는 결함 허용 소프트웨어를 개발하는 Clockwork.io가 3,100만 달러의 신규 펀딩을 발표했습니다. LinkedIn과 Together AI에서의 프로덕션 배포, WhiteFiber의 채택 확대도 이루어졌으며, TorchPass 솔루션을 위한 두 가지 새로운 기능도 소개했습니다. 멀티노드 플랫폼 스냅샷은 학습을 위한 업계 최초 기능으로, 학습 코드를 수정하지 않고도 실행 중인 전체 작업을 모든 노드에 걸쳐 저장하고 복구용으로 보존합니다. 빠른 비동기 애플리케이션 체크포인트는 작업 실행 중 백그라운드에서 수행되어 강화학습을 가속화하며, 롤아웃을 생성하는 추론 복제본에 업데이트된 모델 가중치를 전달하므로 이들 복제본이 대기 시간을 줄이거나 구식 모델로 작동하지 않아도 됩니다.
대규모 분산 AI 워크로드는 수천 개의 GPU에 걸쳐 있으며 모두 동기화된 상태를 유지해야 합니다. 하나의 GPU 장애, 연결 끊김, 또는 서버 정지는 전체 작업을 중단시킬 수 있습니다. Meta는 16,384개 GPU에서 54일간 Llama 3 학습 중 대략 3시간마다 예기치 않은 중단이 발생했다고 보고했습니다. 일반적인 대응은 작업의 진행 상황을 저장한 체크포인트를 다시 로드하는 것입니다. 복구에는 최대 90분이 걸릴 수 있으며, 정상인 GPU들이 대기하게 되고, 해당 체크포인트 이후 완료된 작업을 반복해야 합니다. 고객은 유휴 GPU와 반복된 계산에 대해 비용을 지불하고, 모델 완성이 더 오래 걸립니다. 작업이 커질수록 각 재시작은 더 많은 GPU 시간을 위험에 빠뜨립니다.
Clockwork.io는 하드웨어와 워크로드 사이의 계층으로 배포되는 결함 허용 스위트를 통해 이 인프라 요구사항을 충족합니다. LinkPass는 실패한 링크 주변의 트래픽을 재지향하여 작업이 장애를 인식하지 못하도록 합니다. TorchPass는 실패한 GPU에서 정상 GPU로 작업을 이동하여 학습이 롤백되지 않고 계속됩니다. 둘 다 프로덕션 상태입니다. TorchPass의 새로운 플랫폼 스냅샷은 실행 중인 분산 작업의 상태를 캡처하여 마이그레이션으로 처리할 수 없는 장애 발생 시 전체 작업을 복구합니다.
Clockwork.io의 CEO Suresh Vasudevan은 "AI 규모에서 장애는 불가피합니다. 그로 인해 유용한 작업이 손실되어서는 안 됩니다"라고 말했습니다. "결함 허용은 좋은 처리량의 배수입니다. GPU가 복구 대기나 이미 완료된 작업 반복 대신 유용한 작업을 수행하도록 유지합니다. 우리는 가장 큰 GPU 플릿을 운영하는 기업 및 클라우드 제공자와 함께 소프트웨어를 구축했으므로, 실제로 경험하는 장애를 처리합니다. 이 보호는 기업과 클라우드 제공자가 매일 의존하는 인프라에 있어야 합니다."
LinkedIn은 AI 인프라 플릿 전반에 LinkPass 네트워크 결함 허용을 배포했으며 매달 수만 시간의 GPU 다운타임을 방지합니다. LinkedIn의 인프라 부사장 CTO Raghu Hiremagalur는 "AI 인프라 규모에서 단일 네트워크 문제가 정상 GPU를 중단시키거나 실행 중인 워크로드를 방해해서는 안 됩니다. Clockwork.io 이전에는 하나의 InfiniBand NIC 플랍이 8-GPU 서버를 서비스에서 제거할 수 있었고, 스위치 포트 플랍이 두 번째 서버를 드레인하여 영향을 16개 GPU로 두 배로 늘렸습니다"라고 말했습니다. "Clockwork.io는 그 운영 모델을 혁신하는 데 도움을 주었습니다. 네트워크 결함 허용 기술은 트래픽을 정상 경로로 자동으로 재지향하여 링크, 광학, 케이블 또는 NIC 장애를 수리하는 동안 작업이 중단 없이 계속됩니다. 종합적으로 Clockwork.io는 우리 플릿 전체에서 매달 수만 시간의 GPU 다운타임을 방지합니다. 한때 파괴적이었던 운영 사건을 관리 가능한 유지보수 이벤트로 전환함으로써 Clockwork.io는 인프라 이용률과 운영 효율성 개선을 도왔습니다."
Together AI는 TorchPass를 GPU Clusters에서 서비스로 시장에 출시하고 있습니다. PyTorch Conference에서 두 회사는 주입된 네트워크 및 GPU 장애를 통해 재시작 없이 계속되는 실시간 멀티노드 학습 작업을 시연할 것입니다. Together AI의 제품 책임자 Pavneet Ahluwalia는 "우리 고객들은 우리를 좋은 처리량, 즉 실제로 모델을 전진시키는 GPU 시간의 비율로 평가합니다"라고 말했습니다. "노드 복구는 이미 장애를 감지하고 대체 용량을 자동으로 프로비저닝합니다. Clockwork.io의 TorchPass와 LinkPass는 이 기반 위에 구축되었으며 GPU 장애 및 링크 장애를 통해 작업을 계속하고 진행률을 보존하도록 설계되었습니다. 우리는 이들을 플랫폼의 다음 단계 복원력으로 시장에 출시하고 있습니다."
기존 고객인 WhiteFiber는 증가하는 글로벌 GPU 애즈 어 서비스 풋프린트 전체에서 Clockwork.io 소프트웨어 사용을 확대하고 있습니다. WhiteFiber의 최고 기술 책임자 Tom Sanfilippo는 "클러스터의 안정성을 프로덕션 이전에 철저히 검증하는 것은 중요합니다. 숨겨진 패브릭 장애를 상속한 고객이 나중에 실패한 작업과 손실된 GPU 시간으로 대가를 치르기 때문입니다"라고 말했습니다. "한계 광학, 잘못 구성된 NIC, 기본 테스트는 통과하지만 부하 하에서 저하되는 링크는 빠져나갈 수 있습니다. Clockwork.io의 자동화된 플릿 감사는 모든 링크와 노드를 한 번에 검증하고, 몇 분 안에 장애를 로컬화하며, 수락 전에 이를 수정합니다. 우리는 클러스터를 더 빠르게 구축하고, 고객의 첫 학습 실행은 단순히 전원이 켜진 것이 아니라 엔드 투 엔드로 검증된 패브릭에 착륙합니다. 시장 수요가 빠르게 증가하고 있으므로, 검증된 용량을 고객에게 신속하게 제공하는 것이 우리 비즈니스에 중요하며, 이것이 우리가 클러스터 전체에서 Clockwork.io를 확장하는 이유입니다."
Clockwork.io는 GPU 마이그레이션을 넘어 TorchPass를 확장했으며, 플랫폼 팀이 보유하지 않은 두 가지 기능을 제공합니다. 전체 분산 작업의 스냅샷을 직접 캡처할 수 있으며, 백그라운드에서 실행할 만큼 빠른 애플리케이션 체크포인트입니다. 학습의 경우 플랫폼 스냅샷은 중단 후 작업을 복구할 수 있도록 모든 노드에 걸쳐 실행 중인 작업의 실행 상태를 저장합니다. 플랫폼 팀과 AI 인프라 엔지니어는 애플리케이션 소유자가 코드를 수정하거나 체크포인팅 로직을 추가할 때까지 기다리지 않고 지원되는 워크로드에 이를 배포합니다. 엔터프라이즈 팀은 하나의 메커니즘으로 플릿 전체에서 학습 작업을 보호할 수 있으며, 클라우드 제공자는 코드를 제어할 수 없는 고객 작업을 보호할 수 있습니다. 팀이 애플리케이션 수준에서 체크포인트할 때, TorchPass의 빠른 체크포인트는 더 자주 캡처되므로 진행률 손실이 적고 장애 후 반복된 계산이 적습니다.
추론의 경우, 대형 모델은 두 개 이상의 서버에 걸쳐 실행되므로 하나의 나쁜 링크가 전체 복제본을 중단시키고 사용자 세션이나 에이전트 작업을 중간에 끊을 수 있습니다. LinkPass는 링크 장애를 통해 멀티 서버 복제본이 계속 서비스되도록 유지합니다. 강화학습은 학습과 추론 모두에 의존합니다. 모델 복사본이 롤아웃을 생성하고, 학습자가 그로부터 학습하며, 업데이트된 가중치가 최신 버전으로 생성할 수 있도록 복사본에 도달해야 합니다. TorchPass의 애플리케이션 체크포인트는 업데이트된 가중치를 롤아웃 복제본에 더 빨리 전달하는 한편, LinkPass는 링크 장애를 통해 이들 복제본이 계속 서비스되도록 유지합니다.
SemiAnalysis의 설립자, CEO, 수석 분석가인 Dylan Patel은 GPU 클라우드 제공자를 벤치마킹하는 ClusterMAX 등급의 저자이며 "클러스터 결함 허용은 학습 문제였지만 이제 추론 문제이기도 합니다"라고 말했습니다. "우리의 ClusterMAX에서 TorchPass는 골드 등급 neocloud의 학습 좋은 처리량 손실을 14%에서 3% 미만으로 줄입니다. 강화학습은 둘을 함께 묶습니다. 추론 복제본이 롤아웃을 생성하고, 학습자가 그로부터 학습하며, 업데이트된 가중치가 복제본으로 돌아갑니다. Clockwork.io는 링크 플랍과 네트워크 장애를 통해 복제본을 계속 서비스하도록 유지합니다. 극도로 빠른 체크포인트는 롤아웃 플릿으로 가중치 전송을 가속화하므로, 어느 방향도 실행을 정체시키지 않습니다. 학습, 추론, RL의 결함 허용 계층 하나는 여기서 해결해야 하는 곳입니다."
Clockwork.io는 소프트웨어 기반 AI 패브릭을 개척하며, 이는 하드웨어와 워크로드 사이의 프로그래밍 가능한 계층으로 GPU 클러스터를 관찰 가능하고, 결함 허용 가능하고, 모든 액셀러레이터, 네트워크, 클라우드에 걸쳐 완전히 활용할 수 있게 만듭니다. AI 워크로드는 전체 클러스터가 하나의 머신처럼 작동해야 하지만 장애와 병목은 GPU를 유휴 상태로 유지합니다. Clockwork.io의 FleetLens 플랫폼은 손실된 용량을 복구합니다. 나노초 정확도의 텔레메트리는 작업을 느리게 하거나 정지시키는 GPU, 노드, 링크를 정확히 지적하고, 출시 전 클러스터를 검증하며, LinkPass 및 TorchPass와 함께 학습에서 추론까지 인프라 장애와 저하를 통해 워크로드를 계속 실행합니다. SemiAnalysis는 TorchPass를 체크포인트 재시작보다 더 빠르게 장애에서 복구하고 주요 오픈소스 프레임워크를 능가하는 것으로 독립적으로 벤치마킹했습니다. LinkedIn, Together AI, WhiteFiber, Wells Fargo, Nebius, NScale, DCAI가 Clockwork.io를 신뢰하여 AI 인프라를 구축합니다.