【DeepMind 新方法让训练更“分散”】

4月23日，Google DeepMind 发布 Decoupled DiLoCo，为大模型训练提供了一条更加分布式的路线。传统前沿模型训练依赖高度同步的大规模芯片集群，一旦跨区域扩展或出现硬件故障，效率就会迅速下降。新方法把训练拆成多个计算“岛”，让它们异步交换学习进展，即使部分计算单元失效，也不会影响整个训练进程。

参考文献：Decoupled DiLoCo Team ，Decoupled DiLoCo for Resilient Distributed Pre-training, arXiv:2604.21428v1.
#人工智能##ai创造营##DeepMind#