OpenAI 揭秘：AI为什么会一本正经地胡说八道？
OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章，深入解释了 AI “幻觉”产生的根本原因，并提出了减少这种现象的解决方案。

规则的“锅”：AI 被鼓励去猜测，而非承认无知
文章指出，大语言模型之所以会产生“幻觉”，是因为我们现有的训练和评估方式存在一个根本性问题：它奖励猜测，而不是鼓励模型承认自己的不确定性。

大多数评估体系衡量模型表现的方式，都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时，它为了拿高分，自然会倾向于在不确定的时候蒙一个答案，而不是诚实地回答“我不知道”。

问题的根源：来自“预训练”阶段的先天不足
这种“爱猜测”的习惯，其实在模型的“学前教育”阶段，也就是 预训练 (pretraining) 过程中，就已经埋下了种子。

在预训练期间，模型通过预测海量文本中的下一个词来进行学习。但问题在于，这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述，哪些是无效信息。

这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如，某个特定宠物的生日是哪天？这类信息无法单靠语言模式来预测，模型只能去“编造”，而这正是幻觉的直接来源。

未来的出路：教会AI保持“诚实”
研究人员总结道，要解决幻觉问题，就必须更新那些只看重准确率的评估方法，让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为，那么模型就会继续学习并依赖猜测。

他们强调，幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”，而不是胡说八道。我们需要做的，是创造一个能鼓励这种“诚实”行为的环境和规则。

点击图片查看原图