【[44星] ZO2：用18GB显存就能微调1750亿参数大模型的神器！亮点：1. 仅需18GB GPU显存即可完成175B参数模型的全参数微调；2. 采用零阶优化技术，避免冗余数据传输，显著降低GPU内存需求；3. 支持动态调度，优化计算与通信重叠，提升GPU利用率】
'ZO2 (Zeroth-Order Offloading): Full Parameter Fine-Tuning 175B LLMs with 18GB GPU Memory'
GitHub: github.com/liangyuwang/zo2
#零阶优化# #大模型微调# #GPU内存优化# #AI创造营#