분석 결과 자체 AI 워크스테이션 구축 비용이 클라우드 GPU 임차료의 약 10배 저렴

최근 머신러닝 과정을 마쳤고, 비싼 클라우드 비용 없이 지능형 코드와 신경망을 구축하고 싶은 사람들에게 자체 머신 구축이 해답이 될 수 있습니다. 집약적인 신경망 학습에는 경량 노트북으로는 감당할 수 없는 상당한 컴퓨팅 성능이 필요하지만, Amazon Web Services(AWS)와 같은 클라우드 플랫폼에서 GPU를 임대하는 데는 수백 달러에서 수천 달러가 들 수 있습니다. 미국 스탠퍼드 대학교의 AI 테크니션이자 기업가인 Jeff Chen에 따르면, 자체 머신을 구축하는 것이 클라우드 플랫폼에 의존하는 것보다 약 10배 더 저렴합니다.

Chen은 세금 미포함 기준 약 $3,000(약 £2,300)이면 적절한 머신을 구축할 수 있다고 믿습니다. 이 시스템의 핵심은 Nvidia GeForce 1080Ti GPU, 12코어 AMD Threadripper 프로세서, 64GB RAM, 그리고 데이터를 위한 1TB SSD 카드입니다. 추가 구성 요소에는 컴퓨터를 시원하게 유지하는 팬, 메인보드, 전원 공급 장치, 그리고 모든 장치를 수용할 케이스가 포함됩니다.

개인용 랙을 구축한 후 유일한 반복 비용은 전력 소비입니다. AWS에서 GPU 가속 시스템을 임대하는 데는 시간당 $3(£2.28)이 드는 반면, 자신의 컴퓨터에서 실행하는 데는 단 20센트(15p)만 듭니다. Chen의 계산에 따르면, 이는 2개월 후에 10배 더 저렴해지지만, 시간이 지남에 따라 컴퓨터 하드웨어가 감가상각됨에 따라 그 격차는 약간 줄어듭니다.

고려해야 할 트레이드오프도 존재합니다. Chen은 "백본에 연결되어 있지 않아 머신으로의 다운로드 속도가 느리다는 점, 집에서 멀리 떨어진 곳에서 접근하려면 정적 IP가 필요하다는 점, 몇 년 안에 GPU를 교체해야 할 수도 있다는 등 일부 단점이 있지만, 비용 절감 효과가 너무 커서 여전히 가치가 있습니다."라고 설명했습니다. Nvidia GeForce 1080Ti는 시장에서 가장 우수한 GPU는 아니지만, 극도로 큰 데이터셋과 모델을 다루지 않는 한 대부분의 사용자에게 충분한 성능을 발휘합니다. GeForce 1080Ti의 가격은 $700인 반면, Nvidia의 데이터센터 등급 Tesla V100은 $8,000에서 $10,000 이상입니다. Chen은 "데이터센터 등급 V100은 워크로드에 따라 25%에서 75% 더 빠릅니다. Amdahl의 법칙과 느린 IO로 인해 병목 현상이 발생하기 때문에 약속된 4배에서 8배의 [속도 향상]을 얻지는 못합니다. 메모리는 더 많지만, 1080 Ti의 11GB는 대부분의 경우에 충분합니다."라고 언급했습니다.

Nvidia는 엔드유저 라이선스 계약을 업데이트한 후 데이터센터에서 저렴한 GeForce 칩의 사용을 금지하여 클라우드 제공업체들이 더 비싼 옵션을 구매하도록 강요했습니다. Nvidia의 CEO인 Jensen Huang는 GeForce 카드가 게임과 암호화폐 채굴에만 적합하다고 밝혔습니다. Google의 텐서 처리 유닛(TPU) 사용이나 사전 구축된 머신 구매와 같은 다른 대안들도 존재하지만, 이러한 옵션들은 자체적으로 구축하는 것보다 저렴하지 않습니다. Chen은 Nvidia의 GPU를 고수할 것을 권장하며, "내가 본 바로는 [TPU]가 그렇게 훨씬 저렴해 보이지 않지만 훨씬 빠르다고 약속합니다. [Nvidia 대비 저렴한 대안]들을 조사해 보았지만 채택하지 않기로 결정했습니다. 대부분 완전한 소프트웨어 커뮤니티 지원을 결여하고 있으며, AMD의 Vega는 25%에서 50% 더 느립니다."라고 설명했습니다.