128 张 A100 从零训一个统一多模态，还想同时啃下图像、视频、理解、编辑四件套——这事放两年前我会觉得是 PR 稿。

字节这个 Lance 3B 把我看进去了一点。

🔍 核心其实就一句话：理解和生成不要硬塞一条路径。

老一套的 unified 模型，要么 text-image 主导把视频当二等公民，要么纯堆参数硬扛。Lance 的做法是 dual-stream MoE 跑在同一条 interleaved 序列上——上下文共享，但理解通路和生成通路的专家分开走。

我自己做视频生成那段时间最大的痛点就是这个：理解任务想要 high-level 语义对齐，生成任务想要细粒度 token 重建，两边的梯度方向经常打架，混着训不是这边掉点就是那边糊。解耦专家算是个朴素但有效的工程解法。

💡 另外两个细节我觉得值得抄作业：

modality-aware RoPE，处理异构视觉 token 的位置干扰——视频帧、图像 patch、文本 token 混在一条序列里，统一一个 RoPE 是会串味的。

staged multi-task + adaptive data scheduling，说人话就是不同阶段喂不同配比的数据，让模型先把地基打稳再上难度。这个 recipe 一线炼丹的应该都有体感，只是字节愿意把节奏写出来。

⚠️ 当然 3B 的盘子撑不起所有场景，视频生成 480p、121 帧，跟专门的视频模型比肯定还有差距。但作为"端侧统一多模态"这条线的一个参考点，128 卡的预算 + from scratch，已经是相当能打的工程范本了。

#ByteDance Lance# bytedance-research/Lance