2
1
0
对于大语言模型来说，它是没有记忆功能的，也就是每一次你必须发送给它所有的历史会话内容，也就是每次发新消息都会把历史消息一起发送过去。但是这样一直累加就会超出最大上下文窗口长度，并且会让会话的成本急剧上升，毕竟内容越多，需要消耗的算力越大。
所以对于 AI
IT技术
(
twitter.com
)
由
宝玉
提交
对于大语言模型来说，它是没有记忆功能的，也就是每一次你必须发送给它所有的历史会话内容，也就是每次发新消息都会把历史消息一起发送过去。但是这样一直累加就会超出最大上下文窗口长度，并且会让会话的成本急剧上升，毕竟内容越多，需要消耗的算力越大。
所以对于 AI 聊天应用来说，在几轮会话后会自动对历史会话进行摘要，只保留最近的几次会话。这也是为什么你和 AI 聊的多了，它可能会忘记前面聊过的内容。
摘自《和 AI 对话多少轮之后重开新的会比较合适？》：
https://t.co/hiMI7Pjsqo
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
3
2
1
1
4
2
1
1
5
2
1
1
6
2
1
1
7
2
1
1
8
2
1
1
