一篇介绍如何训练70B参数的大语言模型的文章： “从裸机到70B模型：基础设施搭建和脚本”
http://t.cn/A6Qo7wZc
"在几个月的时间里，我们的一个小型研究和工程团队利用自己的基础设施从头训练了一个拥有700亿参数的模型，该模型在推理相关任务上的零样本表现超过了GPT-4。
今天，我们分享一份搭建所需基础设施的端到端指南：从建立初始集群和安装操作系统，到自动从训练过程中遇到的错误中恢复。在每个步骤中，我们详细说明了遇到的挑战及其解决方法。除了我们的经验之外，我们还发布了许多用于确保主机健康的基础设施脚本，以便其他团队能够更轻松地为自己的模型训练创建稳定的基础设施。
除了详细的流程，我们还发布了：
🌟主机级健康检查：确保给定主机没有已知错误的脚本
🌟NVIDIA集体通信库（NCCL）补丁，改进了对错误和停滞的日志记录
🌟压力测试，确认GPU能够分配大型张量并执行标准操作
🌟网络测试，检查给定机器上的GPU是否能够相互通信（通过NVLink）以及与其他机器上的GPU通信（通过InfiniBand）
🌟一个脚本，用于解析统一网络管理器（UFM）事件日志，检查相关事件，并确定应该禁用哪些网络端口
🌟一个脚本，用于生成InfiniBand网络的全面压力测试工作负载，旨在测试每个可用链接

在整个过程中，我们的工程团队成员与Voltage Park的合作伙伴一起为生产使用准备集群。完整过程包括：
🌟配置单个机器
🌟配置InfiniBand
🌟确保机器完全健康
🌟诊断常见的训练问题
🌟改进基础设施工具

以下将更详细地描述这些步骤中的每一个。"