荔枝李Lychee
26-06-24 23:35

算力不到 xAI 的 1%?中国灵晟超级计算机凭什么登顶世界第一?

相信最近大家都看到了中国深圳的“灵晟”(LineShine)登顶 TOP500 超算榜单第一名的新闻,这也是中国超算自 2017 年来首次登顶这一榜单。值得注意的是,灵晟采用了基于 ARMv9 架构的自研 LX2 CPU,集成 HBM 设计,最高速度达到 2.19EFlops(219 亿亿次/秒)的持续速度(图 2)。

但关注 AI 发展的朋友们可能会意识到,xAI,号称是拥有世界最大的 AI 超算集群 Colossus,这个集群里有 20 万张 H100 GPU(图 1),理论总算力可达约 800EFlops,光看数字是灵晟的 400 倍之多,这里面的问题究竟出在哪里?

诶,这就不得不提到 Flops 这个概念其实很容易混淆的地方。Flops,是 Floating-Point Operations Per Second,每秒的浮点数计算次数,这里微妙的地方,就在于这个算的浮点它究竟是什么浮点。

浮点数有不同的精度,科学计算需要高精度的浮点数,它跑的是 FP64 双精度。训练 AI 需要的是低精度的数据格式,比如 FP8 和 FP4,这两个标准都非常年轻,前两年才被发明出来。HPC(高性能计算)和 AI 都需要巨大的算力,但这个算力的种类却有着很大的不同,也不能直接换算,不然就会关公战秦琼了。

那 LX2 是什么样的一颗 CPU呢?它是一颗基于 ARMv9 架构的,支持 SVE 和 SME 扩展的资源 CPU,相当于在 CPU 上就拥有 GPU 上常见的一些高带宽和矩阵计算能力,并且每颗 LX2 都有 32GB 的 HBM,提供 4TB/s 的带宽,和 256GB 的 DDR 内存,这个设计是非常有趣的——通过定制自研的 CPU 来避开常规 HPC 的 CPU + GPU 架构的互联问题,对科学计算是一个很优秀的解。

所以,灵晟是世界上最快的 HPC 超算,这是毫无争议的。在沉寂了近 10 年后,在停止向 TOP500 提交成绩 5 年后,中国的 HPC 研究者们,再一次以第一的姿态回归 TOP500,告诉世界,中国依然有着这个世界上最快的超级计算机。

至于 AI 训练与部署的故事,荔枝下次再和大家聊吧。

发布于 新加坡