AI 데이터센터 운영사들은 비트코인 마이닝 기업들이 선구적으로 도입한 모듈형 원전 및 유휴 에너지 전략을 채택하여 안정적인 기저 부하 전력을 확보하고 있다.

AI의 전력 문제를 해결할 수 있는 가장 유망한 답변 중 하나는 기술 산업에 대해 거의 이단적인 아이디어에서 시작된다: 때로는 컴퓨터가 그냥 기다려야 한다.

AI 채팅봇의 모든 응답은 전력을 기반으로 구동된다. 출력물은 사용자의 화면에 즉시 나타나지만, 연산은 처리 칩이 빽빽하게 밀집된 원격 시설에서 이루어진다. 이러한 칩은 상당한 전력을 소비하고 방대한 양의 데이터를 전송하며 막대한 열을 발생시켜 AI 데이터 센터 내 강력한 냉각 시스템이 필요하다.

수백만 건의 프롬프트, 이미지 생성 요청, 엔터프라이즈 워크로드가 확장되면, seemingly effortless(마치 손쉬운 것처럼 보이는) 쿼리가 전력 생산 및 송전 인프라에 실질적인 부담으로 이어지는 이유를 명확히 알 수 있다.

유틸리티 기업들은 이제 이러한 수요를 대규모로 집중적으로 공급해야 하는 임무를 맡게 되었다. 일반적인 대규모 데이터 센터 캠퍼스는 작은 도시만큼 많은 전력을 소비하지만, 개발자들은 유틸리티 기업이 이를 지원하기 위해 그리드를 업그레이드하는 것보다 훨씬 빠르게 이러한 시설을 계획하고 건설할 수 있다.

그리드 운영자는 피크 수요 시간대를 위해 용량을 예약해야 하며, 이는 해당 인프라가 비피크 기간 동안 사용하지 않는 상태일지라도 마찬가지다. 결과적으로 데이터 센터는 그리드가 신뢰성 있게 전력을 공급할 수 있기 전에 전력 가용성을 종종 필요로 한다.

새로운 발전 시설을 구축하는 것이 하나의 옵션이지만, 이는 자본 집약적이고 긴 과정이며, 운영에 들어가기 전에 수십억 달러와 수년이 소요되는 경우가 많다.

대안적인 접근 방식은 특정 컴퓨팅 워크로드를 다른 시간대로 이동시키는 것이다.

실시간 채팅봇 응답은 즉각적인 실행이 필요하지만, 내부 실험이나 야간 비디오 처리 대기열과 같은 백그라운드 작업은 지연을 감내할 수 있다. 지능형 스케줄링 소프트웨어는 그리드에 스트레스가 가해지는 동안 비긴급 워크로드의 속도를 늦추고, 용량이 회복되면 가속화할 수 있다.

텍사스에서의 최근 파일럿 프로그램은 이러한 모델이 실제로 어떻게 작동할 수 있는지 보여준다.

비트코인 마이닝에서 기원을 둔 기업인 Luxor Energy는 칩 전력 소비를 동적으로 관리하는 소프트웨어 개발업체인 Bentaus와 파트너십을 맺었다. 이들은 함께 AI 워크로드용으로 특별히 설계된 고성능 프로세서인 단일 Nvidia B200을 조율했다.

훈련된 AI 모델이 응답을 생성하는 추론(inference) 작업 동안, 제어 소프트웨어는 칩의 전력 소모를 줄이라고 지시했다.

해당 기업들에 따르면, 칩의 전력 소모량은 반경 내에 기준치의 약 25%까지 떨어졌으며, 이로 인해 요청 처리량(request throughput)이 일시적으로 감소했다.

Luxor의 최고운영책임자(COO)인 Ethan Vera는 CryptoSlate와의 인터뷰에서 실패한 작업이나 진행 중인 작업의 손실이 없었다고 밝혔다. 감축 기간이 종료되자 칩은 완전한 운영 속도로 재개되었다.

Luxor와 Bentaus는 공개 시연이 “방해를 일으키지 않았다”고 밝혔으나, 이 주장에는 뉘앙스가 필요하다. 운영자의 관점에서 보면 워크로드는 성공적으로 완료되었으며 이후 정상적인 성능으로 돌아갔다.

그럼에도 불구하고, 최종 사용자는 감축 창(window) 동안 칩이 더 적은 요청을 처리했기 때문에 약간 더 긴 응답 시간을 경험했을 수 있다. 이러한 유연성을 확장하는 것은 결국 지연 빈도, 영향을 받는 사용자 기반, 그리고 원래 약속된 서비스 수준 계약(SLA)에 달려 있을 것이다.

파일럿 프로그램은 성공했지만, 그것은 단일 칩에서 운영되었다. 현대의 데이터 센터는 복잡한 서버 랙, 냉각 인프라, 스토리지 어레이, 네트워킹 하드웨어와 함께 수만 개의 프로세서를 보유하고 있다.

이 테스트는 더 넓은 운영 개념을 명확히 한다: AI 데이터 센터는 긴급성에 따라 워크로드를 우선순위화하고 피크 수요 동안 그리드 소비를 일시적으로 줄일 수 있다.

텍사스는 데이터 센터 개발이 전력 인프라 확장을 앞지를 때 발생하는 마찰의 가장 명확한 예를 제공한다.

텍사스 주 대부분의 그리드를 관리하는 Electric Reliability Council of Texas (ERCOT)는 7월 22일 statewide electricity consumption이 91,089메가와트의 예비 기록치를 달성했다고 밝혔다. 이 수치는 최종 검증 전까지 공식적으로 인정되지 않는다.

ERCOT는 1메가와트가 피크 시간 동안 약 250명의 주거용 고객을 전력 공급할 수 있다고 추정한다. 그 지표에 따르면, 이 기록적인 소비량은 2,200만 가구 이상의 동시 수요에 해당하는 것이었다.

8월, Greg Abbott 주지사는 ERCOT가 474기가와트 이상의 신규 부하 연결 요청을 평가 중이라고 발표했다. 이 중 약 90%가 데이터 센터에서 비롯된 것이며, 1기가와트는 1,000메가와트에 해당하므로 보류 중인 대기열은 이론적으로 ERCOT의 기록적인 피크 소비량의 5배 이상을 요구한다.

Abbott 주지사는 승인 전에 규제 기관들이 이러한 프로젝트를 감사하도록 지시했다.

7월 28일의 예비 평가에 따르면, 약 205기가와트가 초기 연구 단계에 진입하기에 충분한 문서를 갖추고 있는 것으로 나타났다. 이는 전체 474기가와트 파이프라인의 절반 미만이다. 주지사의 감사가 이후 해당 평가를 중단시켰다.

규제 기관들은 8월 20일 ERCOT의 일정을 연장했으며, 당국은 8월 31일까지 조건부 적합성 결정을 발표하겠다고 약속했다. 한편, 개발자들은 중복된 제안서를 계속 제출하거나 자금 지원이 없는 프로젝트에 대한 슬롯을 예약하거나, 단일 미래 캠퍼스를 위해 여러 사이트에 걸쳐 전력 할당을 요청하고 있다.

텍사스는 연결 대기열이 현실적인 그리드 계획 매개변수와 점점 더 동떨어지고 있기 때문에 감사를 추진하고 있다.

투기성 항목들을 고려하더라도, 474기가와트라는 숫자는 풍부한 전력에 접근할 수 있는 토지에 대한 치열한 경쟁을 강조한다. 제안된 하드웨어의 양은 현재 송전선의 용량을 크게 상회한다.

올해 발표된 Lawrence Berkeley National Laboratory의 보고서에 따르면, 데이터 센터는 2030년까지 미국 전기의 11.8%를 소비할 것으로 전망되며, 저점은 9.5%, 고점은 15.3%다. International Energy Agency는 데이터 센터가 이번 세기 말까지 국가의 전기 수요 성장의 약 절반을 주도할 것으로 예상한다.

이러한 projected demand에도 불구하고, 선진국에서의 송전선 건설에는 일반적으로 4년에서 8년이 소요된다. 또한 변압기 및 케이블과 같은 핵심 부품의 납기는 지난 3년 동안 두 배로 늘어났다.

AI 기업들이 규모를 칩의 관점에서 개념화하는 반면, 전기 인프라는 지자체 차원에서 계획되어야 한다. 단일 B200 프로세서는 최대 1,000와트를 끌어올 수 있다. Nvidia는 완전히 구성된 8-GPU DGX B200 서버의 최대 전력 소모량이 약 14.3킬로와트라고 명시한다. 1메가와트가 1,000킬로와트에 해당하므로, 텍사스의 매우 큰 전력 소비자들에 대한 규제 임계값은 75메가와트에서 시작된다.

ERCOT의 주거용 등가치 지표를 사용하면, 이 75메가와트 임계값은 피크 시간 동안 약 18,750명의 고객을 전력 공급할 수 있다. 순수 컴퓨팅 측면에서는 호스트 프로세서, 냉각, 네트워킹, 백업 배터리 및 시스템 비효율성에 필요한 추가 전력을 제외하고 1킬로와트 GPU 75,000개를 지원할 수 있다.

단일 칩 수준에서 전력 소모를 throttle(속도 조절)하고 curtail(감축)하는 능력을 숙달하는 것은 전체 데이터 센터에 걸쳐 에너지 분포를 관리하기 위한 첫걸음에 불과하다.

현대 시설의 방대한 소프트웨어 및 하드웨어 복잡성은 바로 그리드 계획자들이 데이터 센터를 “firm loads”(확정 부하)—보장된 온디맨드 전력 가용성이 필요한—로 분류하는 이유다.

운영자들은 비용이 많이 드는 GPU를 지속적으로 가동하려고 노력한다. 다운타임의 매분마다 청구 가능한 고객 워크로드가 지연되기 때문이다. 단일 대규모 AI 작업을 실행하는 수천 개의 프로세서는 긴밀한 상호 의존성 하에 작동한다.

여러 단계에서 특정 컴퓨팅 클러스터는 다른 클러스터의 완료를 기다린 후에야 진행할 수 있다. 한 세그먼트를 throttle하면 연결된 하드웨어 전반에 연쇄적인 지연이 발생할 수 있다.

모든 컴퓨팅 작업이 즉각적인 실행이나 피크 성능을 필요로 하는 것은 아니다. 일부 워크로드는 엄격하게 시간 민감하지만, 다른 것들은 최소한의 영향으로 지연이나 속도 감소를 감내할 수 있다. 일부 작업은 전력이 더 쉽게 접근 가능한 대체 시설로 이전될 수도 있다.

각각의 스케줄링 결정은 trade-offs(타협)를 수반하지만, 모두 시설의 로컬 그리드에 대한 순간적 draw(전력 인출)를 일시적으로 줄이는 경로를 제공한다.

이 접근 방식은 텍사스 그리드의 비트코인 마이닝에서 선례를 찾는다. 마이너들은 계산 집약적인 하드웨어를 지속적으로 가동하여 블록 보상 경쟁을 벌이므로, 어떤シャutdown이라도 즉시 수익 손실을 초래한다.

그러나 전원이 복원되면 운영은 거의 즉시 재개될 수 있다. 인터랙티브 서비스와 달리 마이닝은 대기 중인 사용자나 보존해야 할 취약한 진행 중 컴퓨팅 상태를 포함하지 않는다.

텍사스는 오랫동안 수요 반응(demand response)이라는 메커니즘을 활용해 왔다: 전기가 부족하거나 비싸질 때 대형 소비자에게 사용량을 줄이도록 인센티브를 제공하는 것이다.

비트코인 마이너들은 이 모델에 exceptionally 잘 적응했다. 그들은 도매 가격 급등 시 운영을 중단하고, 비상 시 부하 삭제를 받은 보상을 받았으며, 중요한 여름 피크 기간 동안 참여를 포기함으로써 송전 요금을 낮췄다.

4월 ERCOT 검토는 암호화폐 마이너들을 그 비상 프로그램 중 하나의 주요 가격 대응 참여자로 식별했다. 마이너들에게 경제적 계산은 간단하다: 저장된 1메가와트의 가치가 잠재적인 비트코인 수익을 초과할 때 기계는 꺼진다.

Luxor는 비트코인 마이너들에게 소프트웨어, 에너지 관리 서비스 및 금융 제품을 제공하므로, 중단 가능 컴퓨팅(interruptible computation)에 대한 본질적인 이해를 가지고 있다. 텍사스 실험은 고객 대상 AI 인프라가 전력 가격 신호에 유사한 대응성을 채택할 수 있는지 테스트한다.

마이닝 운영이 전력 풍부 지역을 AI 캠퍼스로 전환함에 따라 이 질문은 더욱 시급해진다. 만약 그리드가 즉시シャutdown 가능한 비트코인 마이닝을 24시간 가동되는 데이터 센터와 교환한다면, 귀중한 비상 자산을 양도할 위험이 있다.