前 OpenAI 和 Anthropic 预训练研究员 Jacob Coxon宣布离职并连续发推警告 AI 发展风险：

1. 离职声明与核心警告
我今天从 Anthropic 离职了。过去三年里，我先后在 OpenAI 和 Anthropic 从事预训练研究。这两家公司的表现都极不负责任。他们正不顾一切地奔向“自我迭代的超级智能（self-improving superintelligence）”，拿我们所有人的生命做赌注。

以下是我的一些思考：
2. 进化的速度无法阻挡
不要低估这项技术的力量。这些系统很快就会变成“超越人类水平”的存在：它们能黑进任何系统，一夜之间颠覆任何领域，并攫取真正的权力和资源。我们所有人都亲眼见证了这些领域所取得的进展，而且这种推进速度丝毫没有放缓。

3. 行业高层的真实恐惧
打造 AI 的这批人打心底里认为：这项技术有可能在本十年结束前（2030年前）毁灭我们所有人。 这绝非营销噱头。如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。

4. 为什么他们还要继续造？
一个常见的反问是：“如果他们真这么认为，为什么还要继续造它？”
* 在 OpenAI：很多人根本没有从内心深处真正意识到这关乎整个人类文明的生死存亡。
* 在 Anthropic：大家都清楚代价和利害关系，但他们陷入了“必须先拔头筹”的军备竞赛中——他们认定其他人不会负责任，所以哪怕冒着巨大风险，也必须由自己抢先完成。

5. 狂妄的豪赌
接受这场军备竞赛并直接迈入“终局”，是一种极其傲慢的豪赌，这种决定绝不该仅由一家私营公司的 Slack 内部讨论来发起。试图在“对齐（Alignment）”问题上抢时间速通，前提必须是对“除此以外别无更好出路”有着非同寻常的绝对把握。

6. 行业协同与全球竞赛
我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face 遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。

7. 致所有实验室研究员的呼吁
如果你是一名实验室研究员，我强烈敦促你认真想一想未来几年究竟会是什么样子：
你真的想在对其内在思维机制毫无严谨了解的情况下，就启动一次超级智能的强化学习（RL）训练吗？
你应该因为“反正迟早会发生”就选择埋头顺从，还是借此机会站出来，呼吁建立完全不同的发展条件？
#人工智能#