火韦先生
26-06-30 21:33

12.66 FPS 听起来不快,但在流式视频编辑这条线,这数字已经够上"可用"门槛了。

今天刷到 LiveEdit。核心做法挺朴素:三阶段蒸馏把 bidirectional 编辑模型压成单向 AR streaming editor,外加一个 AR-oriented mask cache 复用帧间区域计算。

🤔 为什么要三阶段,不能一步到位?

正好同期有篇 Causal Forcing 把这事讲透了:bidirectional teacher 蒸 AR student 有理论 gap——ODE distillation 要求 frame-level injectivity(每个 noisy frame 对应唯一 clean frame),bidirectional 老师天然违反这条,硬蒸出来的学生会退化成条件期望解,画质和动态都掉。

💡 所以三阶段不是炫技,是工程妥协。一刀切不动就慢慢搬,每阶段守住一类能力。

之前做短剧大模型那会儿踩过同款坑:bidirectional 老师给的目标太"全知",学生学不来,loss 看着降但生成一塌糊涂。最后还是分阶段加蒸馏数据筛选才稳住。

mask cache 这种 trick,做过 ComfyUI 集群的都懂——编辑场景非编辑区帧间冗余度极高,能缓存就别重算。叠上蒸馏加速,12.66 FPS 才有戏。

📌 流式视频编辑这条路,理论是 Causal Forcing 在补漏,工程是 LiveEdit 在硬扛,两边都得跟着看。 arXiv: 2606.26740

发布于 日本