数字人这行有个不太上得了 PR 稿的真相：决定口型自然度的，往往不是那个上百亿参数的 DiT，而是前面那个不起眼的音频编码器。

美团 LongCat-Video-Avatar 1.5 这次升级，最实在的一刀是把 Wav2Vec2 换成 Whisper-Large-v3。

🔍 为啥这事值得拎出来说

Wav2Vec2 是自监督训出来的声学表征，对发音单元敏感，但中英混说、背景音、唱歌这类场景就容易抖。Whisper 是在海量带文字的语音上训的，本身就被迫学会了"听清在说啥"，语义层信息更稠密。喂给 cross-attention 之后，嘴型不光对得上音素，还对得上"这个音在这句话里要不要重读"。

我之前做短剧那阵，类似的坑踩过：模型在朗诵腔下口型很稳，一切到带感情的台词就开始飘——根源就是音频侧表征没把韵律 carry 住，怪 DiT 是冤枉它。

⚠️ 另外两个点别被官方话术带跑

一是 DMD2 蒸馏到 8 步 NFE，听着很香，但蒸馏后的模型在长视频后半段身份一致性是不是还能扛住，得自己跑长 prompt 验证，demo 通常都是切短的。

二是"商用级稳定"这种词，看看就好。真上电商带货场景，手部和被操作物体的穿模才是劝退用户的大头，单看脸部 lip-sync 指标涨了不代表能直接交付。

💡 但开源出来 + Diffusers 一键加载这件事，对小团队是真利好。自己换个音频 encoder 做消融，比闭源 API 黑盒调参舒服太多。 meituan-longcat/LongCat-Video-Avatar-1.5