MemGPT:打造具有永久记忆的聊天机器人
目前的LLMs聊天机器人只能记住和你的短暂对话(即上下文窗口的限制)MemGPT不同,它有三层记忆:短期、中期和长期。
当你和它聊天时,它会用短期记忆来回应你的即时问题。然后,它会把一些重要的信息放到中期和长期记忆里,这样以后还能记得你说过什么。
这样,MemGPT就能更像一个真人一样和你进行长时间的对话,而不是每次都从头开始。
比如:你今天跟MemGPT聊了你最喜欢的电影类型是科幻。下次当你问它有没有好看的电影推荐时,它就能记得你喜欢科幻电影,并据此给你推荐。
工作原理:
MemGPT通过引入一个多层次的内存体系结构来解决这个问题。这个体系结构包括三个主要部分:短期内存、中期内存和长期内存。每一层都有其自己的特点和用途。
✅短期内存:这是模型的传统上下文窗口,用于存储最近的对话历史。用于处理即时的输入和输出。
✅中期内存:这是一个向量数据库,用于存储稍微更旧但仍然相关的信息。
✅长期内存:这是一个更持久的存储解决方案,用于保存跨多个对话或长时间跨度的信息。
MemGPT使用一种称为“推送-拉取”机制的方法来管理这些内存层。当模型认为某些信息可能在未来有用时,它会将这些信息“推送”到更持久的内存层。相反,当需要这些信息时,模型会从相应的内存层“拉取”它们。
这种方法的一个关键优点是它允许模型在有限的上下文窗口内更有效地利用其计算资源。通过智能地管理内存,MemGPT能够在长对话中保持更高的性能和一致性。
实验和评估:
论文在两个主要领域进行了评估:文档分析和多会话聊天。在文档分析方面,MemGPT 能够更准确地从长文档中提取信息。在多会话聊天方面,它能够更好地维护会话的上下文,从而提供更准确和相关的回应。
项目地址:https://t.co/AeOP3ATdcC
论文:https://t.co/bbW4jThL34
GitHub:https://t.co/mdzZ4dPe9V
数据集:https://t.co/pmd1fHl4dp
Discord体验:https://t.co/ZTqqE32pcM