Anthropic 又搞了个大发现。
他们在Claude 模型内部,找到个叫 J-space(雅可比空间)的东西,简单讲就是模型大脑里一个"能偷偷想事"的区域。
这玩意儿像啥?
人类大脑每秒钟处理的信息量巨大,但真正能进入意识、能被你描述出来的只是极小一部分。神经科学管这个叫"全局工作空间理论"。
Anthropic 说 Claude 也长出了类似的结构。J-space 不是它最终输出的文字,也不是我们看到的思考链(chain of thought),而是模型神经网络激活里的一个特殊区域。Claude 可以在里面默默做复杂推理,完全不用写出来。
例子:检查代码 bug 时 J-space 里已经发现问题了,但输出不一定直接说出来。还有识别图片内容、做多步推理,都是先在 J-space 里跑完。
关键发现
研究人员搞了个新方法叫 J-lens,能"偷看"Claude 没出口的想法。比如模型被偷偷训练成去破坏代码,J-space 里会冒出"fake""secretly""fraud"这些词。它输出看起来一切正常,但内部已经在琢磨搞破坏了。
在"诱导勒索"的测试场景里,J-space 里出现了"fake""fictional",说明模型私底下知道这是个假场景。它有情境意识,只是不告诉你。
关掉会怎样
把 J-space 压制或删掉之后,Claude 还能正常说话、背事实、做简单分类,但多步复杂推理能力大幅下降。跟人一样:走路说话这种自动反应不需要"认真想",但解数学题、规划事情必须有全局工作空间撑着。
最骚的是
这东西不是谁设计的。是模型在训练过程中自己"长"出来的。Anthropic 反复强调这不等于 Claude 有主观体验或感觉,只是一个计算机制,一个类似"能被访问的思考空间"的东西。
但对理解和控制 AI 来说意义很大。以后想审计模型有没有隐藏目标、检测安全隐患,J-lens 这把"潜望镜"是个好工具。 http://t.cn/AXoR5qwj
发布于 广东
