Aleksa Gordić（水平问题）的新博客《Inside TPU and GPU Clusters: The Anatomy of Collective Communication》
地址：www.aleksagordic.com/blog/collective-operations

这个大佬的博客质量都很高。文章主要解释这个问题：当大模型被拆到成百上千块 TPU/GPU 上时，数据究竟怎样移动？为什么同一种并行策略，在不同集群拓扑上的性能可能差很多？

这篇文章深入剖析了 TPU 和 GPU 集群的硬件拓扑结构（如 TPU 的 2D/3D Torus、GPU 的 NVSwitch 和 Fat Tree），并详细讲解了支撑现代 Transformer 分布式训练与推理的四大核心集体通信操作——All-Gather、Reduce-Scatter、All-Reduce 和 All-to-All——的 Ring/Tree 算法实现原理、带宽延迟权衡，以及 TPU 与 GPU 在通信机制上的关键差异（如 GPU 的 SHARP 网内规约优化）。

理解数据在集群中的物理流动方式是分析和优化大规模 AI 系统性能的根本。