2
1
0
无了，昨天以为 llama-4 虽然写代码不行，但是1M-10M的超长上下文还能干点别的。
结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了，甚至 llama-4-scout 超过16K只有22%。
时政
(
twitter.com
)
由
karminski-牙医
提交
无了，昨天以为 llama-4 虽然写代码不行，但是1M-10M的超长上下文还能干点别的。
结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了，甚至 llama-4-scout 超过16K只有22%。
顺带一提哈利波特与魔法石正好是16K左右。这意味着你把这本书塞进去，然后问哈利小时候生活在卧室还是楼梯下面的储物间，llama-4-scout 只有22% 的机会能答对 （近似理解，实际上召回要再复杂点）。总之，这个分数远低于头部的平均水平....
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
3
2
1
1
4
2
1
1
5
2
1
1
6
2
1
1
7
2
1
1
