分析显示自建AI工作站成本约为云平台GPU租赁成本的十分之一。
对于那些最近完成了机器学习课程学习,想在不花费昂贵云计算成本的情况下构建智能代码和神经网络的人来说,自己组装机器可能是一个答案。虽然训练密集型神经网络需要轻薄笔记本电脑无法提供的大量计算能力,但在Amazon Web Services(AWS)等云平台上租用GPU的成本可能高达数百甚至数千美元。根据美国斯坦福大学的AI技术专家、企业家Jeff Chen的说法,自己组装机器的成本大约是依赖云平台的十分之一。
Chen认为可以用约3000美元(约合2300英镑)的成本构建一台合适的机器,不包括税费。这个系统的核心是Nvidia GeForce 1080Ti GPU、12核AMD Threadripper处理器、64GB RAM和1TB SSD数据存储卡。额外的组件包括冷却风扇、主板、电源和机箱。
一旦个人电脑搭建完成,唯一的经常性成本是电力消耗。在AWS上租用GPU加速系统每小时成本为3美元(2.28英镑),而在自己的电脑上运行只需20美分(15便士)。根据Chen的计算,两个月后这样做会便宜十倍左右,尽管随着时间推移,由于计算机硬件折旧,成本差距会略微缩小。
需要考虑一些权衡因素。如Chen所解释的那样,"存在一些缺点,比如由于不在主干网上,到你的机器的下载速度较慢,需要静态IP地址才能在离家时访问,你可能想在几年内更新GPU,但节省成本的幅度太大了,仍然值得。"虽然Nvidia GeForce 1080Ti不是市场上最好的GPU,但对于大多数用户来说,除非处理极其大的数据集和模型,它的性能是足够的。GeForce 1080Ti成本为700美元,而Nvidia的数据中心级Tesla V100成本在8000美元到10000美元以上。Chen指出,"数据中心级V100的速度快25到75%,具体取决于工作负载,你无法获得承诺的4到8倍加速,因为会受到Amdahl定律和缓慢IO的限制。你会获得更多内存,但1080 Ti上的11GB对大多数情况应该就足够了。"
Nvidia在更新其最终用户许可协议后,禁止在数据中心使用廉价的GeForce芯片,迫使云服务提供商购买更昂贵的选项。Nvidia首席执行官Jensen Huang表示,GeForce卡确实只适合用于游戏和加密挖矿。存在其他替代方案,如使用Google的张量处理单元或购买预制机器,但这些都不比自己搭建便宜。Chen建议坚持使用Nvidia的GPU,解释说"根据我所见,TPU似乎并没有那么便宜,但承诺会更快。我研究过更便宜的Nvidia替代品,最后决定放弃。大多数缺乏完整的软件社区支持,AMD的Vega性能要慢25到50%。"