利用海量视频的 delta 啊、运动 vector 作为输入或许会有一些有趣的训练效果,DLSS 是利用 Transformer 去预测下一帧,这个思路或许也可以让 LLM 理解视频//@德拉贡就是龙://@摇摆时间线ZHLMI:如果只是看变化帧的话,那我就有发言权了,给 NLE 过一遍场景检测,导出图像,然后看图就行,没必要浪费 Token。或者我还有另一个思路,利用 NLE 的视觉搜索功能,导出片段摘要,直接看文件就行。这两个方案都不直接依赖 Agent。所以我还是认为,不能直接看视频时空连续性以及音频相关性的模型,依然不
发布于 新加坡
