#大模型日报# #ai前沿动态#

【用模型平均减轻持续学习过程中的遗忘】

链接：http://t.cn/A6u10EVR
论文概述：本文提出了一种名为SFA的持续学习方法，通过在训练过程中对当前模型和先前任务的模型检查点进行周期性平均，有效缓解了灾难性遗忘问题，并发现中间模型检查点能作为过往经验的良好代理，且该方法在多种任务中优于其他基线，同时揭示了模型合并与经典惩罚方法之间的深刻联系，最反直觉的观点是，在训练期间平均部分训练的模型比仅在结束时平均更有效。