麻省理工大学最新研究发现：大语言模型确实有一种内部“空间神经元”和“时间神经元”，能理解和解释世界。

研究发现LLMs不仅仅是记忆数据，而是以一种有组织、有逻辑的方式理解数据，还学习了这些词汇和短语是如何在更大的上下文（即“世界”）中相互作用的。

这意味着模型更接近于一个全面、一致的“世界模型”，具有对现实世界的深入理解，不仅仅是对数据的表面分析。

研究者使用了三个空间数据集（世界、美国、纽约市地点）和三个时间数据集（历史人物、艺术品、新闻标题）来进行分析。他们发现LLMs能够学习空间和时间的线性表示，并且这些表示在不同的实体类型（如城市和地标）之间是统一的。

论文还提到了一种名为“探针”的技术，该技术通过拟合一个简单的模型来预测与输入数据相关的某个目标标签。

发现即使是对于模型未见过的新数据，探针也能准确地进行预测。这一点证明了基础模型（即大型语言模型）在其内部表示中具有可“线性解码”的时空信息。

换句话说，这些模型确实学习了有关空间和时间的有效和一致的信息，并且这些信息可以通过线性方法轻易地提取出来。

论文的结论部分强调了几个关键点：

1、空间和时间表示：大型语言模型（LLMs）确实能够学习空间和时间的线性表示，这一点通过多个数据集和评估指标得到了证实。

2、模型复杂性与性能：更大、更复杂的模型在空间和时间表示方面表现得更好，尤其是在处理相对不为人知的实体时。

3、实用性和可靠性：这些发现增加了我们对大型语言模型作为“世界模型”可靠性的信心，即它们不仅仅是记忆事实，还能理解这些事实如何相互关联。

4、未来工作方向：作者提出，未来的研究可以进一步探索这些表示的其他方面，以及如何更有效地利用这些表示进行各种任务。

论文：https://t.co/TmjFo49O3X
PDF：https://t.co/owaWWuqYQ3

点击图片查看原图