在大语言模型(“Large Language Models”)广泛被普通消费者使用的今天,人们已经习惯性得把它们当做了某种程度的知识库(“Knowledge Base”),对其提出各种问题。那么,大语言模型究竟作为知识库的究竟靠不靠谱呢?
来自好几个学校和机构的学者在AAAI 2025上做了一个叫“The Lifecycle of Knowledge in Large Language Models: Memorization, Editing, and Beyond”(http://t.cn/A6r8Q84T)的讲座。这个讲座详细探讨了大语言模型当做知识库的种种现象和挑战,以及目前的一些应对方法。
第一个核心问题,就是大语言模型能不能当做知识库,并且其当做知识存储(Storage)的基本机制是什么。讲座中提到了目前的基本认知是,大语言模型靠的是“记忆”(Memorize)这种机制。越大的记忆,其越能充分进行知识相关的回答和推理。当然,目前对于究竟模型中的具体记忆机制的理解还比较前期。大语言模型貌似并不是像人一样依靠模块化的大脑不同区域去进行记忆。
第二个核心问题,就是如何对某一个知识片段进行修改,包括加入、修改、删除。这些操作,目前看来对于大语言模型来说还是相对比较困难做到的。跟传统的数据库或者知识库这些操作都是确定性的操作相比,大语言模型往往涉及进一步的Finetune。而这个讲座揭示的惊人的一点就是,有一些模型在新的知识信息之下的Finetune往往可能伤害模型的整体效果。通俗讲就是新的没学会,旧的也记不住了。
另外,这个讲座中关于知识编辑(Knolwefge Boundary)的定义和讨论给大语言模型在知识库表征的应用中起到了很重要的作用。
对于大语言模型和知识库有兴趣的读者,建议花半个小时对这个讲座内容进行简单了解。
