暂缓开发!【#人工智能“自我改进”的到来可能远早于人类做好准备的时间#】美国 AI 公司 Anthropic 呼吁全球顶尖人工智能实验室放慢前沿 AI 模型的开发速度,称当前技术迭代过快,可能很快出现无需人类干预即可自主改进的 AI 系统,给全球社会带来不可控的重大风险。#AI研究所# #递归式自我改进#
相关呼吁发布在 Anthropic 公司官方博客中,博文核心观点直指 AI 发展的潜在风险:当前前沿 AI 模型的演进方向正在靠近“递归式自我改进”——也就是 AI 系统脱离人类干预、自主优化自身能力的状态,这一节点被不少业内人士视作危险边界,一旦突破可能引发大规模社会动荡。“如果世界选择放慢或暂时停止前沿 AI 开发,让社会治理、AI 对齐研究能跟上技术进步的脚步,这会是一件好事。”同时博文提议,推动各国达成全球协议,共同约束前沿 AI 的开发节奏。
作为一向主打“AI安全”标签的创业公司,Anthropic 的呼吁一出便引发了行业争议。一方面,有行业大佬公开支持该呼吁。但另一方面,质疑声音也层出不穷:风险投资人指责这套说辞本质是“监管俘获议程”,最终可能导致美国全面禁止开源 AI 模型,本质是帮 Anthropic 排除竞争对手。还有不少业内人士将这一警告解读为营销手段:Anthropic 此前限制了网络安全能力极强的“克劳德神话”模型发布,借风险之名造势,实际是为了抬高自家产品的关注度。
对于争议,Anthropic 领导层表示推动风险讨论是出于安全考量,而非商业目的。此次呼吁的作者之一、Anthropic 联合创始人更是直接预判:“能实现递归自我改进的 AI 技术前所未有,但可能在未来两年内就会出现,甚至更早。如果没有全球协同放缓研发,商业竞争和地缘博弈会盖过技术对人类存亡的影响,最终将全人类置于风险之中。”
