扎克伯格认为 GPU 紧缺不是问题，能源才是大问题。

还没有人建设过一个千兆瓦的单一训练集群，一个千兆瓦的概念，就如同一个有影响力的核电站，全部的能源只用来训练模型。

做计划时要考虑技术发展的速度，这是一件非常困难的事情。

***

Mark Zuckerberg: 过去几年我觉得 GPU 生产一直是个问题，没错吧？就算是有足够资金购买 GPU 的公司，也不一定能买到他们所需的数量，因为供应始终受限。但现在我觉得这种情况在逐渐好转。现在，许多公司开始考虑 "我们应该大力投资，大规模扩建这些设施"，我认为这种趋势会持续一段时间。会有一个问题，就是 "投资到何时才能收回成本？"，然而我认为在到达那个点之前，我们可能先会面对能源问题，对吧？

因为，我觉得还没有人建设过一个千兆瓦的单一训练集群。为了给你们一个概念，我觉得一个千兆瓦的规模，就如同一个有影响力的核电站，全部的能源只用来训练模型。然后你会遇到这些在世界上只是更为缓慢的问题，比如获取能源许可，这是一个严格受政府监管的程序。如果你在谈论建设大型新电厂或大规模扩建，然后横跨其他私有或公共土地建设输电线，这都是被严格监管的事情。所以你需要很长时间的准备，如果我们想要建立一个大规模的数据中心来供应电力，我认为这需要一个非常长期的计划。我认为我们可能会建设比现在更大的集群，如果我们能获得足够的能源。

Dwarkesh Patel: 所以我认为，这主要是资金的问题如果你有一万亿美元

Mark Zuckerberg: 我觉得现在投入是合适的但具体的时间，还要看技术发展的速度许多公司正在建设规模约为 50 兆瓦到 150 兆瓦的数据中心如果你把整个数据中心塞满你训练需要的所有设备你可以构建出最大的集群。

我认为这是一些公司正在做的事情但是，当你开始建设一个数据中心规模为 300 兆瓦、500 兆瓦，甚至 1 吉瓦时，我只能说目前还没有人成功建造过规模达到 1 吉瓦的数据中心。我确信，这肯定会发生只是时间问题。但不会在明年。

计划时要考虑技术发展的速度，这是一件非常困难的事情。我认为，技术发展的趋势还会继续投资数十亿甚至超过一千亿来建设基础设施是值得的，只要这种趋势持续，我们就会看到一些非常惊人的创新，这将推动我们开发出优秀的产品。但我认为没有人能肯定地说，这种规模的增长能否持续。历史上常常会遇到某些瓶颈，现在虽然大家都在努力解决这个问题，可能这些瓶颈很快就会被打破。但我并不认为这是一种像魔法一样的东西，好像只要拥有一定水平的 AI，再投入大量资本，模型就会突然出现。我认为你在过程中会遇到各种不同的瓶颈。

视频来源：https://t.co/YGTrFDqZm0