李烁烁Shuo
26-06-05 16:38 微博认证:微博知名博主 搞笑幽默博主 微博译制视频博主

#深圳一高校成功训练万亿级AI大模型# 国产AI算力迎来里程碑时刻——国产芯片第一次跑通了万亿级大模型的完整训练流程。

以前国产算力只能做推理——模型训好了拿过来用。这次是从零参与"喂数据、调参数、让模型学会反思"的全过程。MoE架构有个特点:平时回答只激活少数专家,效率高;但训练时专家之间通信量是普通模型的几十倍,对芯片调度是地狱级考验。

当然,MFU 30%跟英伟达H100跑类似任务的50%+还有差距,但没关系,只要这条路技术上可行我们早晚能追上!

发布于 四川