2
1
0
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens
时政
(
twitter.com
)
由
马东锡 NLP
提交
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens 被引入，用来更精细地驱动模型行为，例如
DS 的 Glitch Tokens 问题，看着非常像把 " extreme" / "极" / "極" 这类本是自然语言token，在某些上下文里学成了 DSL token，从而被异常地高概率选中。
一些思考：
自制 DSL 的本意是增强自然语言的准确性与可控性。但当 DSL 标记越加越多，如果部分 Glitch Tokens 与这些控制语义（无论显式还是隐式）发生了错误耦合，就可能在推理时反过来干扰自然语言的正常分布，值得警惕。
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
3
2
2
3
2
1
1
4
2
1
1
6
2
1
1
9
4
3
3
