23-05-04 14:28

过去一个月试用了大概 20 个 "PDF Chat"、“和文档聊天”的工具,但使用效果都不好。不知道大家感受怎样?

绝大多数工具(Bing 等等)还是存在 token limit 的问题,你不知道它究竟看了文档前面几页。你问它它也不说。根据它的答案你可以推测它大概只看了前面几页。好一些的工具,总结的总是不全。你再往下追问几句,它也不能展开细说。我觉得核心问题还是验证——如果是财报这种格式相对统一、你知道你想要什么的文档,“你问机器、它回答“的模式行得通。下一代产品只要在 UI 上把引用证据和预测概率放在机器给的答案旁边就行。但历史书、学术论文这样的 PDF,我也不知道文档里有什么内容,所以如果我第一个问题问”请总结这篇文章要点“,再根据机器的回答一步步展开问,我无法确认我是否穷尽了这篇文章的要点。

反而,人写的摘要、人写的书目录,对我理解这篇文章在做什么更有帮助。机器如果将来能做 copilot,可能是在我很确定我要找什么的情况下才有用。如果我看完目录和第一章里的概述,想定位到书后面的某个细节(且我知道这个细节是什么),机器可以帮忙做语义搜索。

但这样的话,LLM 其实只是个语义搜索工具?

根本上,做研究还是创意工作,需要把过往没有被联系起来的东西联系起来。比如 mRNA 那位科学家就是看了几十年前一篇论文得到灵感。比如很多社会科学研究就是作者读到不相关的新闻,或者看到另一个领域的理论。用机器总结文章就完全没有随机创造的意外,也就没有创意了。

看文章其实是个人的大脑知识库撞击文章的知识。mRNA 那位科学家看旧论文可以看到新东西,我看肯定就看不到。

有一种可能,是每个人把自己知道的东西都放进个人 AI 里,之后让个人 AI 去读书?

发布于 美国