字节这篇 Lance,最让我抬眉的不是 benchmark,是那行小字:128 张 A100,from scratch。
3B 激活参数,统一图像、视频的理解+生成+编辑,benchmark 上压过 Flux.1-dev、Qwen-Image、Hunyuan Video、Wan2.1。在"统一多模态"这条赛道,能用这个量级算力训出来,挺反直觉的。
🔍 核心做法是双流 MoE:理解和生成走两条专家路径,但共享一份 interleaved 多模态序列做 context。再加一个 modality-aware RoPE 缓和异构 token 的位置干扰。
说人话——之前做视频生成踩过的最大坑就是:理解任务想要语义压缩、生成任务想要像素细节,两边一起 joint train 经常互相拽后腿,loss 看着降,出图越来越糊。Lance 这个思路是"context 共享、pathway 解耦",把这个矛盾切开。
⚠️ 但有几个点我会保留怀疑:
📌 3B 激活不代表总参数 3B,MoE 真实显存占用得看实际放出的 ckpt
📌 VBench 这类自动指标和人眼观感的 gap 一直存在,尤其是动作一致性、长视频,等社区跑过才算数
📌 from scratch + 128 A100 听着省,但数据配比和 staged schedule 才是真正的护城河,论文里这部分给得不够细
不过开源 Apache 2.0,3B 尺寸单卡 40G 能推,对想自己接 ComfyUI 玩统一模型的人来说,这是今年少见的能上手的 baseline。等周末跑一下编辑链路看看。 #ByteDance Lance#
发布于 中国香港
