火韦先生
26-05-31 21:31

做过 ComfyUI 集群的都懂一个噩梦:用户切一个风格效果,后台就要热加载一个 effect LoRA,再叠一个加速 LoRA 凑少步数生成。

LoRA 一多,串联起来参数互相打架,出图不是风格糊就是概念串味(concept bleeding),客诉根本压不住。当时我们的解法很土:每个组合预合并一份权重缓存,硬扛显存。

今天刷到 CollectionLoRA,思路挺干净:把 50 个 effect LoRA + few-step 加速能力,用多老师 on-policy 蒸馏,全塞进一个 LoRA 里。

🔍 三个点我比较在意:
概率双流路由,训练时随机切数据源,本质是给学生模型加 dropout 式正则
非对称正交 prompt,把概念在 prompt 空间里强行隔开,避免互相污染
粗到细的蒸馏目标,缓解 teacher-student 分布 gap

💡 工程上最香的是部署侧:不用再维护一堆 LoRA 的热加载队列和组合缓存,一份权重走天下。

⚠️ 但我保留几个疑问:50 个效果是上限还是甜点?再加到 100、200 会不会塌?以及"comparable or better than teachers"这种话术,单看指标和真人盲评经常对不上,得自己跑过才算数。

蹲一个复现,做 AIGC 视频/图像 pipeline 的可以盯一下。 arXiv: 2605.25378

发布于 中国香港