[IR] Self-Retrieval: Building an Information Retrieval System with One Large Language Model
http://t.cn/A6YdOi9v
介绍了一个全新的信息检索系统架构——Self-Retrieval，利用单一的大型语言模型(LLM)来完全内化信息检索系统的功能。与传统检索系统相比，Self-Retrieval通过自然语言编制索引，将整个检索过程重新定义为文档生成和自我评估的过程。该系统不仅显著优于现有检索方法，还能提升LLM驱动的下游应用，如检索增强型生成的表现。这一方法的核心在于：1)利用自监督学习使LLM内化语料库；2)训练LLM从查询到索引再到文档的生成能力；3)赋予LLM自我评估生成文档的能力。实验结果显示，Self-Retrieval在深层语义理解和匹配上具有独特的优势，能实现更连贯的检索与下游任务结合。