NOAA, 날씨 예측용 HPE Cray 슈퍼컴퓨터를 Google Cloud H4D VM으로 교체

미국 국립해양대기청(NOAA)은 기상 예보 운영을 위한 온프레미스 슈퍼컴퓨팅 인프라를 대체하기 위해 Google Cloud를 선정했다. NOAA는 영국 기상청(Met Office)이 하이브리드 구성으로 Microsoft Azure로 병렬 이전을 추진 중이지만, 자체적으로 상업용 클라우드 인프라에서 운영되는 첫 번째 국가 기상 예측 센터가 될 것이라고 밝혔다. 이러한 전환은 역사적으로 기상 예보 서비스를 지원해 온 정부 소유 또는 정부 자금 지원 슈퍼컴퓨터 시스템에 대한 전통적인 의존에서 중요한 변화를 의미한다.

General Dynamics는 이전에 NOAA의 기상 예측 시스템을 관리했으며, 최근에는 버지니아와 아리조나의 데이터 센터에 배치된 HPE Cray 슈퍼컴퓨터들로 구성되어 있었다. Dogwood와 Cactus라는 이름을 가진 이 기계들은 기상 예측 운영을 위해 거의 14페타플롭스의 연산 능력을 제공했다.

NOAA는 국립기상청(NWS) 부문이 운영하는 Weather and Climate Operational Supercomputing System을 2027년 12월까지 Google Cloud로 이전할 계획이다. 이번 마이그레이션에는 NWS가 분석을 위해 기상 데이터를 생성하는 데 현재 사용되는 모든 관련 소프트웨어가 포함된다.

해당 기관은 클라우드 기반 인프라가 온프레미스 시스템에 내재된 전통적인 병목 현상을 제거함으로써 운영 예보를 가속화할 것으로 예상하고 있다. NOAA 행정관인 Neil Jacobs은 성명을 통해 "클라우드 기반 고성능 컴퓨팅은 온프레미스 시스템의 전통적인 병목 현상을 제거하여 연구에서 운영으로의 전환을 가속화할 것이다"라고 설명했다. 또한 클라우드 아키텍처는 운영 유연성을 제공하여 열대 폭풍 시즌 동안 컴퓨팅 용량을 확장하고 잔잔한 기간 동안에는 이를 줄일 수 있게 해준다.

계약 조건에 따라 NOAA는 Google DeepMind의 AI 도구에 접근하여 최초의 AI 기반 기상 예보 시스템인 AI Global Forecast System을 개발할 수 있게 되었다. 이 시스템은 기존 모델보다 99.7% 적은 연산 사이클을 사용하여 정확한 기상 예보를 제공하고, 시간 단위가 아닌 분 단위로 예보를 생성하도록 설계되었다.

국립기상청(NWS)은 이미 클라우드 환경에서 작동하기 위해 하류 소프트웨어 구성 요소를 업그레이드하기 시작했다. 3월, NWS는 Accenture와 Booz Allen Hamilton에게 현장 사무소가 데이터를 분석하고 경고를 발령하기 위해 사용할 클라우드 네이티브 소프트웨어 플랫폼인 HIVE와 CIRRUS를 개발하기 위한 계약을 부여했으며, 이는 기존 온프레미스 시스템을 대체하는 것이다.

Google은 AMD Epyc 프로세서를 기반으로 하는 Google Cloud H4D 가상 머신을 배포하여 NOAA의 워크로드를 지원할 예정이다. 이러한 인스턴스는 Google의 네트워킹 및 오케스트레이션 기능을 통합한 하이퍼바이저 아래에서 실행되며, 이는 전통적인 슈퍼컴퓨터 작업과 비교할 수 있는 대규모 작업을 위한 동기화를 가능하게 한다. Google은 장기 계약 없이 코어-시간당 최저 3센트의 가격으로 H4D 액세스를 제공한다. 슈퍼컴퓨팅 워크로드의 경우, 고객은 클러스터 배포를 위해 Cluster Toolkit과 지속적인 관리를 위해 Cluster Director를 활용할 수 있으며, Google Cloud Batch는 작업 큐잉, 스케줄링 및 리소스 프로비저닝을 처리한다.