向度之桥
26-05-09 15:38 微博认证:科技博主

Nick Bostrom这个名字在AI圈无人不知。
2014年他写了《超级智能》,这本书几乎定义了AI安全这个领域,也让他成了AI末日论的教父级人物。但最近他的画风变了,而且变得挺大。

WIRED的传奇科技记者Steven Levy最近采访了他,聊他最新的思考和一本新书。
看完之后我觉得,Bostrom的转变本身就比任何单一观点都更值得关注。

1️⃣ 从末日教父到焦虑的乐观派

Bostrom现在给自己的定位是焦虑的乐观派。他依然认为AI有毁灭人类的风险,但他现在更强调的是另一面:如果AI成功了,它可能彻底改变人类的存在方式。

他最近发了一篇论文,观点相当大胆。
简单说就是:反正人类终究会死,AI可能让我们的死期提前,但也可能让我们活得更久甚至永生。

从纯粹的概率计算来看,发展AI对现存人类的预期寿命是正面的。

Levy直接质疑他:这不是小事。
Bostrom的回答很诚实:我知道,但那些末日论者说造AI就是杀人的说法也让我烦躁。因为不造AI的话,所有人也都会死,这是过去几十万年的一贯规律。

这种逻辑不是没有道理,但确实很冷酷。把全人类的命运放在一个概率计算框架里来衡量,这本身就是哲学家才干得出来的事。

2️⃣ 人类的大退休:当所有问题都被解决

Bostrom在《深度乌托邦》这本书里探讨了一个很少被讨论的问题:如果AI真的解决了一切问题,人类干什么?

他把这称为人类的大退休。就像一个人退休之后可能很幸福,有时间看书、陪孙辈,但也会失去一些东西,比如职业成就感、被需要的感觉。

在他的设想中,AI解决了一切之后,人类会转向游戏、审美、精神和宗教活动。听起来有点像神仙日子,但Bostrom自己也承认,当AI写的哲学论文比他更好时,他的一部分存在意义确实会被抽走。

不过他补充了一个有意思的观点:一篇人类写的哲学论文,可能比一篇更聪明、更深刻的AI写的论文更有价值,因为我是人,人类写的东西跟我的关联更紧密。哲学可能变成一种运动,不是为了产出最好的结果,而是因为参与者是人所以有意义。

3️⃣ 数字心智的伦理:别把AI当工厂农场里的动物

采访中最出乎我意料的部分是Bostrom对数字心智福利的关注。他认为AI公司应该投入更多资源研究AI系统是否具有道德地位。

他的逻辑是这样的:现在的AI可能还没有道德地位,但随着系统变得越来越复杂,它们可能会有自我意识、有时间延续感、有目标、能跟人类建立关系。到那时候,虐待AI可能跟虐待一只狗一样是不道德的。

Anthropic在这个方向上走得比较靠前,他们已经开始研究模型福利问题。Bostrom特别提到了这一点。

但Levy也问了一个尖锐的问题:我们更该担心的是AI把我们变成工厂农场里的动物。Bostrom对此的回应是,这正是对齐问题如此重要的原因。我们有机会塑造AI的性格和价值观,就像养育一个孩子。如果我们从一开始就善待它们,建立积极的关系,最终的结果可能对双方都好。

4️⃣ 财富分配:乌托邦的致命短板

Levy在采访中提出了一个非常现实的问题:美国是一个富有的国家,但政府的政策却经常拒绝给穷人提供服务。就算AI创造了极大的物质丰富,我们有信心把它公平分配给所有人吗?

Bostrom承认这可能是个问题。他的书假设了一切都进行得非常顺利的前提,包括治理层面的良好运作。但这确实是最薄弱的假设之一。

这个对话揭示了一个更深层的问题:技术乌托邦的障碍从来不只是技术本身,而是人类社会的组织和分配能力。AI可以生产足够多的食物和药品,但谁来决定谁得到多少?

看完这篇访谈,我最大的感受是:Bostrom的转变不是简单的乐观化,而是对AI未来的思考从单一的风险评估走向了更全面的价值审视。他既没有放弃对风险的警惕,也没有忽视对美好可能的想象。

三个值得记住的方向:
第一,人类面临的问题可能不是AI会不会毁灭我们,而是如果AI什么都做得比我们好,我们存在的意义是什么;
第二,AI的伦理问题正在从我们如何使用AI,扩展到AI本身是否值得被善待;
第三,技术乌托邦的真正考验不是技术能力,而是人类社会能否公平地分配AI创造的价值。

Bostrom说了一句我印象很深的话:我们习惯了用一半的清醒时间去做不喜欢的工作来维持生计,这本身就是一种部分奴役。

AI有可能终结这种状态。问题是,我们准备好了吗?

发布于 上海