Simon的白日梦
26-05-21 12:15 微博认证:科技博主

太有意思了,让(强迫)论文的原作者自己给你讲他的论文。😂

Paper2Video:把论文、头像和声音变成学术演讲视频,也顺手提出一套“论文视频”评测方式

Paper2Video / PaperTalker 做的是从科学论文自动生成 presentation video。输入不是一句 prompt,而是论文 LaTeX 源码、参考头像图、参考音频;输出是一段包含 slides、字幕、语音、光标指示,甚至 talking-head 的学术演讲视频。

它拆的是两个问题:怎么从论文生成视频,以及怎么评价这种视频。生成侧叫 PaperTalker,把 slide 生成、字幕、speech synthesis、cursor grounding、talking-head rendering 串成 pipeline。项目也提供轻量版本,不生成 talking head,速度更快;完整版依赖 Hallo2,并建议至少 A6000 48GB 级别 GPU。

评测侧更有意思。普通视频生成指标,比如 FVD、IS、CLIP similarity,并不适合学术演讲视频,因为这里关键不是画面多逼真,而是有没有忠实传达论文核心、是否易懂、是否突出作者贡献、是否扩大论文可见性。项目因此提出 Meta Similarity、PresentArena、PresentQuiz、IP Memory 等指标。

这类工具的潜力很明显:论文传播正在从 PDF 摘要、poster、tweet thread,继续扩展到自动视频讲解。真正有价值的不是“AI 替作者做 PPT”,而是把一篇论文变成不同层级受众能理解的传播介质。

但它也暴露一个未来问题:学术表达会越来越自动化,视频数量会暴涨;到那时,评测“讲得准不准、有没有歪曲贡献”会比生成本身更重要。

X 视频:http://t.cn/AXiigp8J(原帖)
项目:http://t.cn/AXzUEJ7J(GitHub)
项目页:http://t.cn/AXzGap5f(项目页)
#HOW I AI# #ai生活指南# #视频生成#

发布于 广西