OpenAI:我们找到了AI幻觉的罪魁祸首。
幻觉:模型自信地生成不真实答案的情况。幻觉产生的部分原因是当前的评估方法设置了错误的激励机制。标准的训练和评估程序更倾向于对猜测进行奖励,而不是在模型勇于承认不确定时给予奖励。(听起来好低级的错误)
——机器之心报道
发布于 北京
OpenAI:我们找到了AI幻觉的罪魁祸首。
幻觉:模型自信地生成不真实答案的情况。幻觉产生的部分原因是当前的评估方法设置了错误的激励机制。标准的训练和评估程序更倾向于对猜测进行奖励,而不是在模型勇于承认不确定时给予奖励。(听起来好低级的错误)
——机器之心报道