Ilya Sutskever在神经信息处理系统会议上演讲中文视频
主要观点：
- 现阶段语言模型在预训练阶段，已经达到了瓶颈 ，因为人类生产的数据已经全部被用完。
- 新数据或合成数据没有带来大的变化
- 超级智能必将具有意识，因为目前的模型只是在复制人类的直觉，凭感觉做出的判断， 所以会产生幻觉。
- 这种幻觉而且是不可避免的，推理是不可预测的 ，它越是推理 就变得越不可预测 。
- 与人类一样，人类大脑相同，但人类仍在进步，因为人类具有自我意识会使用工具创造新的知识，LLMs将结合Agent和工具将推动这一进程。
演讲总结
--------------------------------------
人工智能与深度学习发展的回顾与展望
引言
首先，我要感谢主办方授予这篇论文奖项的机会，这真是令人高兴的一件事。同时，我也要感谢我的出色合作者Oriel Vinyals和Kwok Lee，他们刚才也在这里分享了他们的见解。
今天，我想和大家一起回顾我们在深度学习领域的一些工作，并尝试从十年的视角来反思。我们的许多工作当时是正确的，但也有一些不足。通过这些反思，我们可以更好地理解这十年来的发展轨迹。
这次分享的一个核心是，我们会通过十年前的一些演讲内容和幻灯片，回顾我们当时的观点，并审视它们对今天的影响。
十年前的深度学习理念
十年前，我们的工作集中于以下三点：
自回归模型：基于文本进行训练。
大型神经网络：当时10层网络已经被视为突破。
大规模数据集：充分利用数据训练模型。
我们提出了深度学习的假设：如果你有一个10层的大型神经网络，它可以完成任何人类在极短时间内完成的任务。为什么会强调这些快速完成的任务？
这是因为如果我们假设人工神经元和生物神经元相似，而生物神经元较慢，那么任何人类可以快速完成的任务，通过人工神经网络理论上也可以实现。基于这种动机，我们集中研究了10层神经网络的潜力。
自回归模型的突破
我们还提出了一个关键理念：“如果一个自回归模型能够很好地预测下一个标记（token），那么它可以捕获后续序列的正确分布。” 这在当时是一个新的观点。
我们的目标是机器翻译。虽然自回归神经网络并不是全新的，但我们是第一次真正相信，通过良好的训练，模型可以实现我们想要的结果。
从LSTM到Transformer
十年前，我们主要使用LSTM（长短期记忆网络），这是Transformer问世前的主要工具。LSTM可以被看作一种复杂的残差网络（ResNet）结构。虽然当时有效，但相比今天的技术，显得较为简单。
另一个有趣的特性是，我们采用了流水线并行化的方法，利用每个GPU计算一个网络层。这种方法虽然提升了计算速度，但后来证明并不是最优解。我们使用8个GPU实现了3.5倍的加速。
深度学习核心理念与规模假设
深度学习的核心在于连接主义思想：“如果我们认为人工神经元类似于生物神经元，那么很大的神经网络理论上可以实现许多人类能力。” 这一理念支撑了深度学习的发展。
我们还提出了规模假设：“如果有足够大的数据集和神经网络，成功几乎是可以保证的。” 这一假设可以说是今天预训练模型（如GPT-2和GPT-3）的基础。
数据的局限与未来展望
然而，数据增长已经遇到瓶颈。正如我们有且只有一个互联网，数据资源有限。数据被比喻为“AI的化石燃料”，现有的数据资源已经接近饱和。未来的发展需要新的策略，例如：
合成数据：生成新的训练数据。
推理计算：优化模型的推理能力。
此外，推测未来的趋势之一是“智能体”（agents）的发展。另一种可能是“01模型”以及其他创新方法来应对预训练的局限性。
对超级智能的思考
演讲中还提到超级智能的可能性。相比于当前的语言模型，未来的AI可能具备真正的推理能力、自我意识以及不可预测性。
推理能力越强，模型的行为越不可预测。就像当前的顶级国际象棋AI，其策略对人类而言已经难以理解。同样，未来的AI可能会以更高效的方式处理信息，甚至发展出类似自我意识的特性。
从生物学的角度来看，过去的研究表明，哺乳动物的大脑与身体质量之间存在密切关系，但人类和近亲（如尼安德特人）在脑体比率上表现出了不同的标度。这为人工智能的发展提供了新的灵感：未来的AI可能会探索与当前不同的扩展路径。
人类与AI的共存
关于AI与人类共存的未来，有观点认为，AI可能需要被赋予类似人类的“权利”，例如作为一种新的智能生命形式存在。这一切都充满不确定性，但探索这些问题至关重要。
另一个值得关注的问题是，如何设计合理的激励机制，确保AI的行为和发展方向符合人类的利益。目前尚无明确的答案，但加密货币或其他创新形式可能成为未来的解决方案。
结论
最后，我想强调，深度学习领域在过去十年取得了令人难以置信的进步。展望未来，我们面对的挑战同样充满潜力。从数据的有限性到AI的推理与共存问题，所有这些都需要我们深入思考。
此外，随着AI的不断进步，我们可能会迎来一个具有真正推理能力、自我意识和超级智能的新时代。这将对我们的社会、科技和伦理提出全新的挑战和机遇。
感谢大家的聆听，也期待大家的共同努力来迎接AI的下一个十年。
