중단된 작업, 인스턴스 및 볼륨은 무한정 실행될 수 있어 FinOps 도구는 GPU 시대의 AI 워크로드 환경에 특화된 새로운 좀비 탐지 방식을 진화시켜야 한다.
기업들은 드물게 “좀비 워크로드 헌터”라는 직책을 광고하지만, 그 수요는 존재한다. 기술이 진화할 때마다 버려진 라이브러리, 애플리케이션, 서비스, 스토리지 볼륨의 잔해들이 남아 자원을 계속 소모한다. 결국 실용성에 따라 이러한 자산들을 식별하고 줄여야 한다는 결론에 도달하게 된다. 실행 상태로 남겨둔 것은 비용으로 돌아오지만, 이를 찾아내려면 체계적인 사냥이 필요하다.
오늘날 클라우드 FinOps 엔지니어, 비용 최적화 전문가, 인벤토리 관리자들이 이러한 탐색 및 제거 작업을 수행한다. 이 새롭게 부상하는 집단은 관찰 가능성 플랫폼, CloudOps 관행, FinOps 자동화를 활용하여 고아(stray), 유령(zombie) 등 다양한 이름으로 불리는 자원들을 추적한다. 이들은 용량 요구사항을 예측하고 유휴 인프라의 해체를 자동화하여, 이상적으로는 이러한 미사용 리소스가 클라우드 청구서에 나타나지 않도록 방지한다.
효율성 추구는 그 어느 때보다 중요해졌다. 새로운 인공지능(AI) 물결은 데이터 센터 산업을 국가적 주목받게 했고, GPU 가속 생성형 및 에이전트 AI 모델은 자원 소비에 대한 대중의 감시를 강화했다. 동시에 기업 팀들은 컴퓨팅 비용에 다시 한번 중점을 두고 있다.
좀비 워크로드는 멀티클라우드 및 온프레미스 환경 전반에서 전력, 랙 공간, 예산을 조용히 잠식한다. IDCA의 수석 연구 책임자 로저 스트루코프(Roger Strukhoff)에 따르면, 이는 일반적으로 예측 가능한 패턴을 따른다. Data Center Knowledge와의 인터뷰에서 스트루코프는 클라우드 좀비가 종종 “앱 사용은 중단했지만 삭제하지 않는 개인이나 부서”에서 비롯된다고 지적했다. 그는 “내부 조직이 통합되거나 기업이 인수될 때, 미사용 클라우드 인스턴스와 애플리케이션을 정리할 담당자가 없을 때 이러한 좀비들이 나타난다”고 덧붙였다.
IDCA의 연구에 따르면 미국 클라우드 사용량의 최대 13%가 이러한 휴면 워크로드에서 기인한다. Broadcom(VMware Aria Cost, 구 CloudHealth)과 AWS(Cost Explorer, Compute Optimizer)와 같은 FinOps 도구 벤더들은 낭비를 시정하는 데 종종 관여하며, 전체 클라우드 비효율성을 더 높게 추정하는데, 보통 25~30% 사이이며 고아 스토리지 볼륨과 잊혀진 컴퓨팅 인스턴스가 크게 기여한다. 이 문제는 뿌리 깊게 자리 잡고 있으며, 진화하는 애플리케이션 아키텍처는 상황을 더욱 복잡하게 만든다.
현재 클라우드 클러터(clutter)를 관리하기 위한 전략은 대부분 유닉스의 kill 명령어로 거슬러 올라간다. 서버리스 아키텍처에서는 제로 스케일(scale-to-zero) 구성이 런타임 경계를 강제하여 유휴 서비스가 자원 소모를 중단하고 요금이 부과되는 것을 멈추도록 한다. 그러나 이러한 접근 방식에는 트레이드오프가 따른다. 활성 서비스를 잘못 식별하면 콜드 시작(cold starts)이 트리거되어 인스턴스 초기화 동안 원치 않는 지연이 발생할 수 있는데, 이는 급격한 트래픽 패턴을 경험하는 애플리케이션에 있어 큰 단점이다.
확장되는 클라우드 네이티브 및 플랫폼 개선 사항들의 일괄은 이러한 격차를 메우기 위해 등장하고 있다. Google, Flexera, Datadog, IBM과 같은 벤더들은 청구 데이터와 성능 데이터를 상관관계 분석하여 미사용 리소스에 대한 활성 요금을 플래그 처리하는 솔루션을 제공한다. 이러한 플랫폼은 지속적으로 자산을 인덱싱하여 비활성 상태와 분절된 부모-자식 의존성을 식별하며, 자동화된 정책 집행은 데이터 센터 환경 내에서 탐지되지 않고 linger(머무는) 프로세스들을 체계적으로 해체한다.
오랜 시간 동안 무한히 실행되는 프로그램은 클라우드 이전부터 존재했으며, 메인프레임에서 기원하여 클라이언트/서버 및 가상화 시대를 거쳐 생존해 왔다. Intellyx의 애널리스트이자 미들웨어 및 분산 컴퓨팅 베테랑인 에릭 뉴커머(Eric Newcomer)는 전통적인 운영 접근 방식이 단순히 “플러그를 뽑고 누군가가 비명을 지를 때까지 기다리는 것”이었다고 관찰했다.
이 패러다임은 클라우드 네이티브 마이크로서비스의 부상으로 변화했다. 뉴커머는 “클라우드 컴퓨팅은 다른 서비스에 데이터를 제공하기 위해 백그라운드에서 작동하는 헤드리스(headless) 서비스를 도입했다”며 설명한다. “많은 마이크로서비스 기반 애플리케이션은 수백 개의 개별 컴포넌트로 구성된다. 주요 애플리케이션이 실패하면 좀비 서비스는 계속 실행될 수 있으며—아무것도 성취하지 못한다.”
클라우드 컴퓨팅은 원래 범용 하드웨어, 대규모 확장, 공격적인 복제, Kubernetes와 같은 컨테이너 오케스트레이션 플랫폼에 의존했다. 그러나 이러한 혁신들은 현대의 대규모 언어 모델(LLM) 및 에이전트 AI로 자연스럽게 이어지지 않는다. contemporary AI를 지탱하는 GPU 중심 인프라는 전통적인 분산 컴퓨팅을 위해 설계된 범용 아키텍처와 근본적으로 다르며, AI 관련 좀비는 훨씬 더 높은 재정적 및 에너지 비용을 수반한다.
뉴커머는 리눅스 재단(Linux Foundation)과 클라우드 네이티브 컴퓨팅 재단(CNCF)의 지도 하에 Kubernetes가 AI 워크로드를 더 잘 수용하도록 적응하고 있다고 지적했다. AI 워크로드는 고유한 카테고리의 휴면 프로세스를 생성한다. 이러한 Kubernetes 발전은 새로 emerging하는 AI 중심 클라우드 공급업체 전반에 걸쳐 롤아웃되고 있지만, 대부분의 개발은 아직 초기 단계에 머물러 있다.
Kubernetes에 AI를 배포하는 것은 생성형 및 에이전트 AI의 빠르게 진화하는 환경으로 인해 더욱 복잡해진다. 막대한 연구 개발이 진행 중이며, 엔지니어링 팀은 일반적으로 긴 작업 수명 주기, 파이프라인 중간 실패, 완료된 작업을 종료하지 않는 오케스트레이션 스크립트를 관리한다. 이러한 과제에 더해 모델 가중치, 데이터 수집 파이프라인 및 관련 인프라를 다루는 본질적인 복잡성이 추가된다.
AI 최적화 플랫폼 Akamas의 개발자 관계 엔지니어이자 CNCF 대사인 그라시아노 카스토(Graziano Castro)에 따르면, 이러한 역동성은 근본적으로 다른 워크로드 프로필을 생산한다. Data Center Knowledge와의 서신 교환에서 카스토는 재정적 영향을 강조했다. “GPU는 CPU 코어보다 비싸므로, 클라우드 청구서에서 반올림 오류에 불과했던 비효율성이 매우 실제적인 숫자로 바뀐다. 유휴 상태의 GPU는 사소한 낭비가 아니다.” 그는 계속한다. “LLM 시대에 변한 점은 비효율성을 무시하는 비용이 거의 하룻밤 사이에 한 차원(order of magnitude) 상승했다는 것이다.”
연구 개발 중에는 이러한 비효율성이 용납되지만, 프로덕션에서는 치명적인 병목 현상이 되어 비용이 많이 드는 새로운 유형의 좀비, 즉 유휴 또는废弃된 GPU를 양산한다.
카스토는 “Kubernetes는 이 도메인으로 빠르게 확장되고 있으며, 생태계는 눈에 띄게 새로운 프리미티브(primitives)를 개발하여 속도를 맞추고 있다”고 지적했다. “그러나 이 전환은 플랫폼의 기초 가정들이 저렴하고 탄력적인 워크로드에 최적화되었던 모든 영역을 노출시키며, 오늘날 가해지는 집중적인 요구와는 괴리되어 있다.”
이러한 격차를 해결하기 위해 Kubernetes는 특수 가속기에 대한 동적 할당 및 많은 AI 학습 및 추론 작업에 내재된 토폴로지 및 로컬리티 제약 조건을 고려하는 지능형 배치 스케줄링을 포함하여 AI 전용 기능으로 나아가고 있다. 결과적으로 효율성 모니터링과 좀비 시정은 엄격한 GPU 건강 및 활용도 추적에 크게 의존하게 되었다. 세분화된 칩 수준의 관찰 가능성은 운영 안정성을 유지하는 데 필수적이 되었다.
카스토는 NVIDIA의 데이터 센터 GPU 관리자(DCGM)를 겉보기 GPU 활용도를 평가하기 위한 중요한 모니터링 기준선으로 꼽았다. 그는 “핵심은 ‘겉보기(apparently)’라는 표현에 있다”고 경고한다. “GPU는 DCGM 지표에서 높은 활용도를 기록하면서도 실제로는 유휴 상태일 수 있으며, 단지 들어오는 데이터를 기다리거나 클러스터의 다른 GPU가 동일한 작업의 부분을 완료하기를 기다리고 있을 뿐이다.”
네트워크 처리량은 이러한 모니터링 프레임워크에서 종종 사각지대로 남는다. 카스토는 서로 다른 도구들이 성능 신호를 정확하게 상관관계 분석하려면 상호 운용해야 한다고 강조하며, 지속적인 OpenTelemetry 표준화 노력의 중요성을 지적했다. 이러한 이니셔티브는 복잡한 AI 워크로드를 모니터링하기 위한 공통된 용어와 방법론을 확립하고 있다.
새로운 좀비 카테고리가 등장했음에도 불구하고, 기초적인 거버넌스는 여전히 최우선이라고 스트루코프는 강조했다. 조직은 휴면 워크로드를 체계적으로 퇴출하기 위한 명시적인 정책을 수립해야 한다. 그는 “개별 사용자는 작업이 완료되면 인스턴스를 종료해야 한다는 사실을 상기시켜야 한다”고 조언한다. “이상적으로 조직은 좀비 워크로드를 관리자에게 알리고 미사용 리소스를 종료하기 위해 정책을 자동으로 집행하는 모니터링 시스템을 배포해야 한다.”
운영 측면에서 이는 정기적인 전 환경 사용 감사와 표준화된 해체 절차를 의미한다. 특히 내부 재구성이나 기업 인수 이후에 그러하다. 모니터링 도구가 계속 성숙하고 워크로드 아키텍처가 진화함에 따라 기본 원칙은 변하지 않았다. 실행 상태로 남겨둔 것은 비용으로 돌아온다.
잭 보건(Jack Vaughan)은 프리랜스 저널리스트로, 이전에 TechTarget의 SearchDataManagement, SearchOracle, SearchSQLServer의 편집 커버리지를 총괄했다. 2004년 TechTarget 합류 전, 그는 Application Development Trends 및 ADTmag.com의 특파 편집장이었다. 그의 컴퓨터 하드웨어 및 소프트웨어에 관한 글은 Software Magazine, Digital Design, EDN News Edition에도 실렸다. 그는 보스턴 대학교에서 저널리학 학사와 과학 커뮤니케이션 석사 학위를 취득했다.