转译:一种全新的 RAG 方法让文档理解更上一层楼
RAG 技术已经迅速成为在实际应用中部署大型语言模型(LLMs)的首选方式。但大部分现有技术仍面临一个局限:它们只能从文档中检索到一小段连续的文本,这限制了对整个文档上下文全面理解的能力。
现有一种创新方法,名为 RAPTOR(递归抽象处理树形组织检索),它通过递归地嵌入、聚类并总结文本段落,从底层到顶层构建出一个分层次总结的树状结构。
在使用这个模型进行推理时,RAPTOR 能够从这棵树中提取信息,实现对长文档不同层次抽象信息的整合。
通过实验对比,我们发现,相较于传统的检索增强语言模型,RAPTOR 通过递归总结的检索方式在多个任务上都取得了显著的进步。
特别是在需要复杂多步推理的问答任务中,结合 RAPTOR 的检索功能和 GPT-4 的强大能力,我们在 QuALITY 基准测试上的表现提高了20个百分点,达到了新的最佳水平。
未来,我们期待出现更多类似 RAPTOR 这样的方法,进一步深化对文档的理解并优化 RAG 技术。RAPTOR 的优势在于它专注于改善检索部分,而不是像其他方法那样,通过添加噪声或引入网络搜索结果来调整上下文。
论文:https://t.co/u7FAGyeeqC
点击图片查看原图