青祙素
26-09-09 15:10

X上这个讨论转疯了,2700万阅读量。Jacob Coxon 发的,他今天从 Anthropic 辞职,过去三年一直在做 pretraining 研究,先后在 OpenAI 和 Anthropic 工作过。

照他说的,人类文明危在旦夕,我们还讨论啥摸臀……

核心内容:
1. 两家公司都不负责任:都在全速冲向“自我改进的超级智能”,是在拿全人类的命运赌博。

2. 技术能力会被严重低估:很快就会出现超人系统,能黑进任何东西、一夜之间颠覆任何领域、并获取真实的权力和资源。进展没有放缓。

3. 内部人真的很害怕:建这些模型的人私下认真相信,AI 可能在这个十年结束前杀死所有人。这不是公关话术,而是内部真实的恐惧。

4. 为什么还在继续做?
• OpenAI 很多人还没真正把文明级风险内化。
• Anthropic 清楚风险,但陷入了“必须自己先跑到终点,否则别人更不负责任”的军备竞赛逻辑。

5. 他认为现在进入“终局”是傲慢的赌博,不应该由私人公司的 Slack 群决定。

6. 他呼吁实验室研究员认真思考:要不要在还没真正理解模型“心智”的情况下,就启动超级智能级别的 RL 训练?还是应该站出来说“条件不对,不应该这样冲”

#被指控摸臀男童父亲发声#

发布于 中国香港