【国产大模型训练加速的幕后故事】最近昇腾团队干了一件挺有意思的事。Muon这个新式优化器，本来和主流的FSDP分布式训练八字不合——参数被切得七零八落，要做正交化就得先全网收集，算完再发回去，又慢又冗余。他们琢磨出一套HyperParallel方案：先聚合，再按rank分工算，最后广播换结果，冗余直接砍掉七成。更细的地方在于，高维专家参数按Batch维度拆开，连通信都省了；一堆小矩阵攒成大批量，避免内核调度拖后腿；万卡场景下HSDP分组，副本之间贪心分配任务，计算时间再降七倍。说到底，大模型训练的竞争，早就不只是堆卡了，是每一毫秒里藏了多少巧劲。
你工作中遇到过那种看起来无解、最后靠一个巧妙分工就破局的事吗？#AI算力# #你遇到过哪些巧妙破局的事#
发布于 江苏