值得看看的google paper
http://t.cn/A6TVzSVN
本文研究了大语言模型在生成开放话题的事实性内容时常常包含事实错误的问题。为了在开放领域内对模型的事实性进行基准测试，研究者首先使用 GPT-4 生成了 LongFact，一个包含数千个问题的问题集，覆盖了38个主题。然后，研究者提出可以使用 LLM 代理作为自动化评估器来评估长篇事实性，通过一种他们称之为 Search-Augmented Factuality Evaluator (SAFE) 的方法。SAFE 利用 LLM 将长篇回应分解为一组事实，并通过向谷歌搜索发送搜索查询，使用一个多步骤的推理过程来评估每个事实的准确性。此外，研究者还提出了扩展 F1 分数作为长篇事实性的聚合度量。为此，他们在回应中支持的事实百分比（精确度）与提供的事实百分比之间进行了平衡，后者相对于代表用户偏好回应长度的超参数（召回率）。

在实验方面，研究者证明了 LLM 代理可以达到超越人类的评估性能——在一个包含 16k 个个体事实的集合上，SAFE 在72个案例中与众包的人类注释者达成一致，在76个案例中优于人类注释者，而且成本远低于人类注释者。研究者还针对四个模型家族（Gemini、GPT、Claude 和 PaLM-2）的十三种语言模型在 LongFact 上进行了基准测试，发现较大的语言模型通常能取得更好的长篇事实性。 by chatglm.cn