HINTON: 如果你看看这些大型语言模型，它们有大约一万亿个连接 ，像GPT-4这样的东西知道得比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。我认为这是因为反向传播可能比我们拥有更好的学习算法。这是可怕的。

它能够将更多的信息放入更少的连接中，我们将一万亿定义为很少。GPT4已经具备很强的推理能力，还可以通过副本，以万倍于前的速度分布学习和进化。

主持人：就是说，这些数字计算机比人类更擅长学习，这本身就是一个巨大的说法，但你还说我们应该为此感到恐惧，让我们了解一下你的这个论点，好吗？

HINTON: 让我给你一个单独的论点，如果计算机是数字的，它们涉及非常高的能源成本和非常小心的制造过程，你可以在不同的硬件上运作相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。这意味着，有10000个副本，它们可以查看10000个不同的数据子集，当其中一个学到了任何东西时，其他所有人都知道了，其中一个弄清楚了如何改变权重，它通过它的数据调整，然后它们都互相沟通的，它们都同意按照所有人希望的平均值改变权重。

现在，这10000个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多10000倍的数据。人类就做不到这一点。如果我学到了很多关于量子力学的东西，我希望你也了解这些关于量子力学的东西，让你理解是一个漫长而痛苦的过程，我不能只是将我的权重复制到你的大脑之中，因为你的大脑与我的不完全一样。

因为它们可以学到更多的东西，以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势是只看过1000名患者的医生做不到的。第一个医生可能只见过一个罕见的病患，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。

  

这就是为什么，能够处理大量数据的东西可能看到的数据结构，是我们永远看不到的。

主持人：给我一个应该对此感到恐惧的点？

HINTON: 请看看GPT-4，它已经能够进行简单的推理了。我问它，我想要我房子里所有房间都是白色的，目前有一些白色房间，一些蓝色房间，一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我该怎么做？

它回答：你应该把蓝色的房间漆到黄色。尽管这不是直观的解决方案，但它是正确的。这种常识性推理，用符号AI是很难实现。因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理推理时，智商大概是80或90左右。

正如，我的一个朋友说，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们会说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210.

主持人：我有过，相信很多人也有过类似感觉：与这些最新聊天机器人互动时，脖子后面的头发会竖起，有种奇怪的感觉。

AI的恶意使用难以避免，对齐解决遥遥无期

HINTON： 然而，人工智能正在从我们这里学习。它们可以阅读所有小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。我们甚至可能都意识不到发生了什么。所以，即便它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆，事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。