Cerebras推出采用专有晶圆级芯片架构的Andromeda超级计算机,提供1350万核心。
# Cerebras Andromeda超级计算机翻译
Cerebras在SC22展览会上推出了新型AI超级计算机Andromeda,该系统搭载16个Cerebras CS-2系统,共计1350万个核心。该系统具有一个exaflop的AI计算能力和120 petaflops的密集计算性能,由Cerebras的晶圆级、众核WSE-2处理器驱动。每个WSE-2晶圆包含三个物理平面,分别处理算术运算、内存和通信功能。内存平面单独配备40GB的板载SRAM,足以容纳一个完整的BERT-LARGE模型,而算术平面包含约85万个独立核心和340万个FPU,通过通信平面的笛卡尔网络拓扑提供20 PB/s的内部带宽。Andromeda从64核心的AMD EPYC 3处理器阵列接收数据,这些处理器处理范围广泛的数据预处理和后处理操作。
虽然橡树岭国家实验室的超级计算机Frontier能够进行核武器模拟并在今年早些时候突破exaflop大关,且其运作精度为64位而Andromeda采用16位半精度,但两个系统服务于不同的目的。Frontier建设成本为6亿美元,而Andromeda的成本不到3500万美元。Cerebras创始人兼首席执行官Andrew Feldman表示:"AMD EPYC是这类集群的最佳选择,因为它提供了无与伦比的核心密度、内存容量和I/O性能。这使其成为为Andromeda超级计算机供应数据的显而易见的选择。"同样,Andromeda并非设计用于替代Polaris——阿贡国家实验室拥有2000多个Nvidia A100 GPU的集群,该集群本身使用AMD EPYC核心进行预处理和后处理。相反,每个超级计算机都在不同类型的工作中表现出色。
Andromeda专门处理大型稀疏矩阵——主要由零值组成的多维张量数据数组——这是它在大语言模型上表现出特殊优势的能力。包括AstraZeneca和GlaxoSmithKline在内的客户已报告成功使用Andromeda上的大语言模型进行"组学"研究,包括COVID基因组和表观基因组的研究工作。在国家能源技术实验室的实验中,科学家们完成了Polaris无法处理的"GPU不可能"的工作。该系统也被部署用于融合研究,目前驻扎在位于Santa Clara的高性能计算数据中心Colovore。
Cerebras为学术界和研究生提供了对Andromeda的免费访问权限,该系统与Python和Jupyter笔记本无缝集成。曾在Cerebras工作的剑桥大学博士生Mateo Espinosa表示:"Cerebras为研究生提供了这样大规模集群的免费访问权限,这是非常了不起的。Andromeda提供1350万个AI核心,在最大规模语言模型上实现接近完美的线性扩展,无需分布式计算和并行编程的复杂性困扰。这是每个机器学习研究生的梦想。"
随着机器学习应对不断增长的数据量,网络内部和网络之间的延迟日益成为制约因素。更高的吞吐量需求推高了能源消耗,造成了仅通过增加更多硬件无法解决的瓶颈。正是在这个汇聚点上,Cerebras将Andromeda定位于发挥其关键作用。