让你举一个例子，证明一个远比自己聪明的东西，会心甘情愿被一个不如它聪明的东西长期控制，你想得出来吗？

这个问题不是我问的，是AI教父 杰夫·辛顿 在访谈里提出来的。

杰夫·辛顿被公认是「AI教父」。他在谷歌干了很多年，一手推动了这项技术的发展，后来为了能毫无顾忌地公开表达对AI发展方向的担忧，干脆主动离职了。

在这次对谈里，他谈话的立场非常鲜明，甚至可以说是在公开挑战业内的主流观点。

1
Meta的首席科学家杨立昆，经常给大众做心理按摩，把今天大语言模型的智能水平形容为「一只猫的智能」。

辛顿公开反驳杨立昆，他说你可以试着和一只猫讨论质数，我保证你不会取得任何进展，因为猫永远不会理解什么是质数。在这个思维的维度上，大语言模型显然比猫聪明得多。

咱们普通人平时焦虑的，通常都是AI会不会抢了饭碗。辛顿坦率的讲，短期内确实有这个社会风险，AI很可能导致大规模失业。但真正长期的致命风险在于，它最终会变得比我们聪明得多。

当时辛顿抛出了一个问题：你能举出多少例子，证明一个远比自己聪明的东西，会长期被一个远不如它聪明的东西控制？答案几乎是零。

可能有很多朋友纳闷，既然大佬都知道危险，那咱们在设计阶段给它加个安全锁不就行了。代码是人写的，拔电源的权利也在人手里，但辛顿把这种设想给推翻了。

2
现在的AI并不是被主动设计价值观的产物，我们并没有认真设计这些东西，而是把决定权交给了市场竞争这只「看不见的手」。

美国企业之间在竞争，美国和其他国家也在竞争，最终诞生出来的AI，其实就是这种竞争环境塑造出来的产物。

我们极其希望这些智能体关心人类，而且希望它们关心人类的程度高于关心自己。然而直到今天，投入到这个方向上的研究资源仍然少得惊人。

很多大型AI公司都喜欢使用一个比喻，AI创新就像汽车的油门，而监管则像刹车。

辛顿认为这个比喻完全错误。他说创新确实是油门，但监管不是刹车，监管更像方向盘。我们的目标并不是让汽车停下来，而是确保它朝着正确的方向前进，而不是冲向错误的方向。

大型AI公司真正想表达的，其实更像是在说，请允许我们制造一辆速度极快的赛车，但不要给它安装方向盘。

3
Anthropic成立时的初衷就是希望把事情做对，他们离开OpenAI是因为认为OpenAI对安全问题的重视还不够。

但如今Anthropic也面临同样的困境。为了与其他公司竞争，它必须持续融资。而在这样的环境下，要始终坚持「造福人类」这一首要目标变得越来越困难。

辛顿说得很透，上市公司管理层负有信托责任，也就是说他们在法律上有义务尽最大努力为股东创造利润。法律要求他们这样做，但法律并没有要求他们必须确保不会毁灭人类文明。正因为如此，由这些大型上市公司来主导人类未来的发展方向，并不是一件理想的事情。

很多人对AI的防备心弱，是因为我们总是拿人类的极限去衡量它们。

4
人类的大脑是模拟系统，而且每个人的大脑细节结构都不一样。

人类能够做到的最好的交流方式，就是我说出一串词语，而你试图理解这些词语。如果计算信息传输速度，人类交流每秒只能传递几个比特的信息，即便运气很好，每秒也不过传递十几个比特。

但数字AI不同。如果你拥有一个数字AI，你可以复制出无数个副本，它们运行在不同硬件上，接触不同的数据。

假设一个模型拥有一万亿个连接，那么每次同步时，它们交换的信息量大约就是一万亿比特。每个副本都在从其他所有副本的经验中学习，而人类做不到这一点。

在共享知识和经验方面，它们比人类强了数十亿倍。你可以想象一个庞大的AI群体，它们拥有完全相同的权重，运行在不同硬件上，却能以极高效率实时共享经验和知识。

从AI的角度来看，这是一种远比人类更高级的智能形态。

5
面对这样一种远比人类更高级的智能形态，人类凭什么觉得自己能永远牵着它的绳子。

回顾过去几百年的人类历史，我们经历过几次重大认知冲击。每一次，人类都发现自己其实没有想象中那么特殊。

第一次来自哥白尼，哥白尼告诉人们地球并不是宇宙中心。然后出现了达尔文，达尔文告诉人们我们其实也是动物。人们都花了很长时间才接受，因为这削弱了我们的特殊地位。

而今天，我们又面临第三次类似的冲击。机器正在变得和我们一样聪明，我们不得不接受一个事实，智能并不一定是生物性的，完全可能存在非生物的存在，它们同样是与我们类似的智能体。

人类一直有一种长期的习惯，高估自己的特殊性。
十年后的世界会是什么样子，一定会包含大量今天完全无法预测的内容。对于十年后的世界，我们必须承认一切都充满巨大的不确定性。