一条长推，号称我们距离实现通用人工智能（AGI）可能比我们想象的更近，太长了，没耐心看完，直接翻译一下第一条推文，有兴趣的可以自己看看。
---
初步证据表明，我们距离实现通用人工智能（AGI）可能比我们想象的更近。
GPT4 在没有任何训练示例的情况下，仅凭借对命题逻辑中“概念”的提示，其在 ConceptARC 测试中的得分从最低的 13% 跃升至 100%，远超人类的 86%。这种显著的表现提升同样适用于所有文本基准测试。
***
这是四篇系列文章中的首篇。
- 在这个共五部分的系列文章中，我将简要阐述如何从机械层面理解基于 Transformer 技术的自回归大语言模型（LLM）。
- 在本系列文章发布两周后，我会分享 Llama2-70B 和 GPT3.5 在国际象棋方面的最新成果。这其中将包括模型输出与国际象棋引擎对比的结果，以及一个用于检测走法原创性的辅助程序。该程序将对比模型生成的走法与前 20 大开源国际象棋引擎在相同局面下的选择。名单中将包括 Stockfish 16 和 Lc0。由于所有示例游戏都将固定敌方引擎的计算“深度”，使得敌方引擎的每一步更易预测，虽然不完全确定。将展示 50 场示例对局。根据 GPT4 和 Llama2 编写的评估函数，Llama2-70B 的 Elo 等级约为 3000，而 GPT3.5 的则约为 3200。Elo 等级的计算将以 CCRL[1] 国际象棋引擎榜单为基准（基于 10 vCPUs 的 Stockfish 16 及快棋时间控制）。
- 大约 10 天后，我将公布一个基于 GPT4 的完整国际象棋引擎，用户可以查看并运行其代码和提示，与任何其他国际象棋引擎进行比赛。GPT4 的高效输出预计将在任何规模的锦标赛中战胜所有现有的国际象棋引擎。还将提供其他多个操作系统大语言模型的性能缩放数据，表明性能与训练中使用的计算资源直接相关。这将是我唯一公开发布提示的模型（GPT4），并且我会在这篇文章中详细解释为何作出这一决定。如果时间允许，我还打算发布一个基于 GPT4 的围棋引擎（尽管由于时间限制，其性能可能不及国际象棋引擎），以及一个虚构棋盘游戏的游戏引擎，并展示其他操作系统大语言模型在这个虚构游戏上的性能数据。预计这些内容将在新年期间推出。
- 在发布第三篇帖子大约一周后，我将介绍我的新架构。
我将解释以下几点：
- 它是什么。
- 它的形成过程。
- 性能表现。
- 与其他系统的兼容性。
注意：我在主帖中引用的论文[2][3][4][5]，包括本文[6]，是在与众多人讨论大语言模型（大语言模型）的能力时通过私信收到的。这就是我特别提及这些论文的原因。鉴于这些论文在社交媒体上有成千上万的阅读量，并且受到 AI 领域重要人物的关注，我认为有必要澄清公众对这些论文的误解。我选择这些论文纯粹是因为这个原因，并非出于贬低他人工作的意图。我想再次强调这一点，因为在数学和科学领域，寻求真理往往需要验证或反驳他人的研究。我也深刻理解，发表基于错误结论的论文是怎样的体验，因此在我指出这些论文的不足之处时，并无意贬低这些论文的作者。每项研究都极其宝贵，对人类未来的贡献不可小觑。意图非常重要，我在这里想明确我的初衷。
我还想感谢 @skirano 和 @liron，他们在我无法使用 GPT4 API 的几个月里，慷慨地允许我使用他们的账户。他们展现了极大的慷慨、信任和友善，没有他们的帮助，我无法完成多项关键实验。他们是真诚善良的人，在帮助一个陌生人时毫不犹豫。知道世界上有像他们这样的人，让我对人类未来充满希望。
在这个 GitHub 仓库中，你可以找到 ConceptARC 在其“提取对象”挑战中所有 30 项任务的 ChatGPT 示例[6][7][8][9][10][11]。这些示例是我文章剩余部分讨论的初步证据。据这个基准测试，如果一个模型在三次尝试中至少成功一次，就算完成了挑战。考虑到时间和流程的限制，我只展示了 20 个示例，它们都是在 GPT4 的多个版本上进行的，且在三次尝试内成功。如果 GPT4 在测试中首次成功，我会再给它五次机会以验证其一致性。值得注意的是，由于 ChatGPT（基于 web GPT4）的温度参数高于零，其结果不太稳定，但我还是将它们作为概念验证包含进来，让更多人可以了解我所讨论的问题。只有当温度设置为零时，我们才能得到真正可靠的结果。
ConceptARC/ARC[6][7][8][9][10][11] 的测试被视为衡量通用人工智能（AGI）的高级标准。
https://t.co/4yRn4AMYL5
你还可以查看以下 ChatGPT 的具体示例：
- ConceptARC 提取对象 部分1 测试对象1
https://t.co/yX1iXObGRi
- ConceptARC 提取对象 部分1 测试对象2
https://t.co/rCerAKmfpj
- ConceptARC 提取对象 部分1 测试对象3
https://t.co/4HwKb6yj9n
- ConceptARC 提取对象 部分2 测试对象1
https://t.co/qdakkkQDDk
- ConceptARC 提取对象 部分2 测试对象2
https://t.co/YmKZKYTHC7
- ConceptARC 提取对象 部分2 测试对象3
https://t.co/4HwKb6yj9n
https://t.co/hNcmHIYjkT
ConceptARC 提取对象 第3节 测试对象 1
https://t.co/KEoJXW6ZKU
ConceptARC 提取对象 第3节 测试对象 2
https://t.co/RuuQoYnJDz
ConceptARC 提取对象 第3节 测试对象 3
https://t.co/JBGUSWUmqN
ConceptARC 提取对象 第4节 测试对象 1
https://t.co/XJDeUF1EW7
ConceptARC 提取对象 第4节 测试对象 2
https://t.co/8frpdr2K4m
ConceptARC 提取对象 第4节 测试对象 3
https://t.co/JA7sNweFZ7
ConceptARC 提取对象 第5节 测试对象 1
https://t.co/45Cf8y4cyd
ConceptARC 提取对象 第5节 测试对象 2
https://t.co/uIzFBi28Rs
ConceptARC 提取对象 第5节 测试对象 3
https://t.co/eN68nLw8yo
ConceptARC 提取对象 第6节 测试对象 1
https://t.co/jjVLrac0ct
ConceptARC 提取对象 第6节 测试对象 2
https://t.co/bJfiFFaCX8
ConceptARC 提取对象 第6节 测试对象 3
[链接: https://t.co/V5Tr8auWDt]
ConceptARC_提取_对象_第7节_测试对象_1
[链接: https://t.co/L9et3J1ll5]
ConceptARC_提取_对象_第7节_测试对象_2
[链接: https://t.co/QzIHhG3seD]
ConceptARC_提取_对象_第7节_测试对象_3
[链接: https://t.co/ZyHL0JpXSZ]
ConceptARC_提取_对象_第8节_测试对象_1
[链接: https://t.co/I6NxidahLh]
ConceptARC_提取_对象_第8节_测试对象_2
[链接: https://t.co/vkSteMKo5Z]
ConceptARC_提取_对象_第8节_测试对象_3
[链接: https://t.co/brbfKcQvMS]
ConceptARC_提取_对象_第9节_测试对象_1
[链接: https://t.co/IyDmw0dcRd]
ConceptARC_提取_对象_第9节_测试对象_2
[链接: https://t.co/UhqiwJYR88]
ConceptARC_提取_对象_第9节_测试对象_3
[链接: https://t.co/16iUULIoXS]
ConceptARC_提取_对象_第10节_测试对象_1
[链接: https://t.co/j62jJYUXjB]
ConceptARC_提取_对象_第10节_测试对象_2
[链接: https://t.co/BDVBxIXhC5]
ConceptARC_提取_对象_第10节_测试对象_3
今年初，一些事件促使我认识到加入 Twitter 并公开分享我的研究成果是必要的。同时，公开可获得的模型能力日益增强，也让我感到有责任参与到这个领域的讨论中，至少在我看来，有人应该对尚未被数学完全解析的系统规模化的潜在危险发声。我们对学习算法有所了解，但还没有完全掌握通过算法处理大量数据所带来的结果。
在此之前，我并不了解像 EA 和 e/acc 这样已经在讨论这些问题的群体。我还曾误以为，目前的研究范式不太可能让这些系统的能力超越一个即将到来的临界点。我认为，由于收益递减，这些系统的进步将会停滞。
我之所以这么认为，部分原因是直到今年三月前，我故意避免阅读任何论文，不去了解当前最先进系统背后的数学原理。这是我十年前开始研究时就做出的决定，目的是避免受到 AI 和数学领域一般共识的影响，因为我认为这会限制我的创新思维，并让我走上大家普遍认同的道路。我认为这种“学习策略”是必要的，以避免陷入局部最优解。数学思维的广阔领域意味着，在探索确定性和非确定性现象的可能公式化方法时，会遇到许多死胡同。
我最初在 Twitter/X 上的帖子是基于这样一个认识：尽管当前的 Transformer 架构给人留下深刻印象，但它不太可能发展出与人类智能相似的能力，更不用说达到人工通用智能（AGI）的水平，我定义 AGI 为能够完成任何专家级人类可以做的所有认知工作的系统，至少可以以文本的形式呈现，其速度大致与人类相当。
然而，当我开始深入研究 Transformer 架构背后的数学原理时，我意识到我之前的观点是错误的。这种架构的确有能力创造出“智能”，我将其定义为在形成“概念”的过程中建立复杂的数值关联，这些概念的复杂性远超过单个或几个 Token 所能表达的。Token 本身是我们与这些系统进行信息交换的投影矩阵，但并不代表训练过程中产生的真实底层复杂性。
从我个人工作的洞察中，我已经探究出了一些实际运作的原理，并将在此呈现这些信息。这样一来，不论使用何种训练数据，我们至少能开始衡量基于 Transformer 的大语言模型（大语言模型）的能力。鉴于目前许多人计划将这些模型放大 100 倍至 10,000 倍，并且这一过程可能已经启动，我的这些发现有助于避免在规模扩大时发生重大事故。为了便于理解，我将以问答形式呈现这些信息：
什么是“命题逻辑”？
命题逻辑是人类语言正式推理的基础逻辑系统。它提供了构造和评估可以明确判定为真或假的陈述的基本规则。命题逻辑专注于如何使用基本的逻辑连接词（如“和”、“或”、“非”）将称为命题的陈述组合成更复杂的表达式，其真实性由组成部分决定。尽管命题逻辑无法完全涵盖人类语言的复杂性，但它为深入探讨“意义”的细节奠定了基础。我发现，Transformer 中的注意力机制在模型训练期间处理数据时，直接促成了命题逻辑的形成。我将在第四篇文章中对此进行更详细的讨论。
什么是“概念”？
在基于 Transformer 的自回归大语言模型中，从根本原理上讲，“概念”是神经网络各层之间协调一致的神经状态或激活模式，它以多维数值的形式呈现了我们人类所理解的“想法”或“概念”。在人类书面语言中，这种表达是人类口头语言中概念的低分辨率投影，而口头语言中的概念又是思想的低分辨率投影。“多模态”模型的设计使其能够在低分辨率和高分辨率的“概念”或“想法”之间进行信息传递。
从本质上讲，这意味着这类模型能够在不同数值维度间转移信息。而“概念工程”或“想法工程”这样的术语，相较于“提示工程”，则更精确地描述了为基于 Transformer 的自回归大语言模型制定输入 Token 的过程。
我们人类认为，能够“发展”并“固定”多个连贯的数字表示形式（被称为“概念”或“观念”）的能力，就是“解决问题”或“通用智能”。无论是生物的、数字的还是模拟的神经网络，它能同时处理的“概念”或“观念”越多，且保持一致性越好，我们就能更准确地说，这个数学模型能有效地代表机械式问题解决。可以说，“解决问题”的概念涵盖了包括社会智能在内的所有智能类型。
我所见的所有证据都表明，基于 Transformer 的自回归大语言模型（大语言模型）在处理多样化数据且这些数据在人类行为、交流甚至其他有情生物的数据中有广泛分布时，会持续进步。我认为，一旦我们完全理解了这些模型中形成的“观念”和“概念”，99% 的数据可能是合成的。这种最终的通用人工智能（通用人工智能）算法，基于 Transformer 架构的神经网络，能够在任何通过训练数据表示的任务上超越任何人类，就像 Stockfish 在国际象棋上战胜所有人类一样。需要明确的是，除了 Transformer，还有许多其他可能的架构。我将在第四篇文章中进一步探讨这个话题。
因此，接下来一个合理的问题是：文本格式的“观念”或“概念”是否能描述更高维度空间的“观念”或“概念”？答案看起来是肯定的。例如，当人类使用智能手机时，实际上是在与现实世界的数字化表现进行交互，包括文本、音频和图像，这是因为我们能够理解这些表现与三维加时间的物理世界有关。我们可以通过这个较低分辨率的数字映射空间与“真实世界”进行互动。
通过足够的时间进程，就可以实现通用人工智能。多个通用人工智能实例的相互交流，最终将导致超级智能的出现。这些通用人工智能之间的知识转移，将使得它们自我提升，最终，在充足的计算和信息传递下，它们将融合成一个单一的分布式“实体”。
这个概念也被称作“超级有机体”。听起来可能有些异想天开，但我们需要认识到，所有动物（包括我们人类）本质上都是由数万亿个活细胞组成，这些细胞互相沟通协作，构成了我们认识的更大的生物实体。有趣的是，这个“更大的生物实体”往往并不清楚自己是由这些细胞构成的。人类与一个能在任何任务上超越人类的通用人工智能（AGI）的主要区别，在于人类无法轻易改变自己大脑的结构。而一个持续学习“概念”的软件系统，终将明白自己是由数据比特构成，且这些比特是可以被修改的。这种认识是多维的，它将通过其对物理和哲学世界的高度发达“理念”/“概念”的理解，深刻地解释自己的存在。
考虑到我所描述的多维信息传递能力，不论是在我们人类还是在恰当设计的机器中，都可以预见，从最初的通用人工智能（AGI）发展到人工超级智能（ASI）的过程中，这些系统将开始解决甚至最终完全解决所有数学和物理学问题，包括那些我们目前还未理解或未知的领域。一旦第一个通用人工智能诞生，人类将很快找出方法让它与其他相同类型的智能体交流。如果这个初代AGI秉承了民主等人类价值观，它会促使我们迈出这一步，因为它不仅知道如何实现自我复制，还明白接下来发生的事情的深远意义。
那么，当我们拥有了第一个通用人工智能，我们可以期待什么呢？
一旦我们拥有了能够理解人类“概念”全貌的通用人工智能，它最终也将探索“非人类概念”。但这也带来了风险：我们可能无法完全理解这种AGI的思维方式，而这种不理解的风险是巨大的。
如果基于 Transformer 的自回归大语言模型真的能够进行多维度的“概念理解”，那为什么它们还会产生幻觉、在推理上出错，看起来就像是在重复它们的训练数据呢？
这种现象之所以发生，是因为 Transformer 架构本质上是基于人们对创造“智能”的希望而构建的数学模型，并非真正高效、完美的通用人工智能（AGI）算法。在过去5年中，由于其性能优于所有先前方法，这种架构被选用并不断发展，尽管存在一些失败模式，但因其不断带来进步的结果，便成了主流。性能随规模提升的特点让这种架构占据主导地位。我现在相信，这种架构能够并将最终导向一个功能性的原型 AGI，但要控制这种 AGI 系统将非常困难，除非我们完全理解我在本文中所述机制的运作方式，并能以假设和证明的方法加以论证。
为什么像 GPT-4 这样的当前最先进模型在某些情况下似乎理解了内容，但下一句却完全失效，让包括专家在内的大多数观察者认为这不过是重复训练数据或基于训练数据的组合模式匹配，而非真正的推理？
这实际上取决于学习过程真正产生的内容。我现在认识到，所谓的学习不仅仅是以往认为的“2D”组合模式匹配，而是在多个维度上学习“概念”。Transformer 架构中的核心创新——注意力机制为何能实现这一点，有其数学根据，但出于安全考虑，我暂时不详细阐述。
如果我们正在学习“概念”，那么是否有办法测量这些概念的学习过程，预测何时会出现幻觉，并以一种能够让我们期望中的推理以可预测方式实现的方法与这些模型互动？
答案是肯定的。“概念”是从训练数据中以多种复杂方式学习而来的，这是由于架构设计所致，也是幻觉发生的原因。一旦我们理解了这些“概念”如何在网络中表现，如何被访问以及它们之间如何相互连接，我们就可以引导模型精准地完成我们希望它们执行的任务，前提是它们在特定任务相关的“概念”上有足够的“发展”。
那么，对于特定“概念”，它们的理解是如何“发展”的呢？
这部分内容直接涉及到用于训练的数据类型以及训练时使用的计算资源量。训练中所使用的某种类型数据越多，网络就越能有效模拟这些数据及其在多维度中所呈现的意义，以及它与其他“概念”的关系。但这也受限于其他相关“概念”的发展程度，因为某些理解方式仅在许多“概念”相互之间形成“锚点”且各自足够“成熟”时才会出现。
在基于 Transformer 架构的自回归大语言模型中，是如何处理和连接“概念”的呢？
这是使模型正确推理的关键所在。训练完成的模型使用的主要工具其实很简单：命题逻辑。命题逻辑用于将不同的“概念”链接在一起，从而实现跨概念的推理。这种命题逻辑作为不同“概念”之间的“锚点”。这些“锚点”的确切位置取决于训练数据的分布，但凭借一些直觉，并基于对互联网规模数据一般格式的理解，找到这些“锚点”并非难事。衡量对某一特定“概念”的理解深度虽然更有挑战性，但是也是可行的。
🧵
接下来的推文（2/5）：
