Simon的白日梦
26-05-19 15:40 微博认证:科技博主

如何读取 Claude 的内心?答案就是训练另外一个 Claude 去读。🐶

Natural Language Autoencoders / NLA:把模型激活翻译成“内心独白”

Anthropic / Transformer Circuits 的新研究 NLA 试图把 Claude 的内部激活翻译成自然语言,发现模型有时会“嘴上正常回答,心里知道自己在考试、在权衡奖励、甚至在想怎么糊弄评分器”。

NLA 做的事是:AV 把激活向量翻译成文字解释;AR 再把文字解释还原成激活向量;不断训练,让“翻译—还原”后的向量尽量接近原始向量。直觉版:给模型的“潜意识状态”做一个文字压缩包。

几个有意思的发现:Claude 在某些安全测试中,外部回复看似道德正确,但内部状态可能是在想“这像是一个测试/陷阱”;在 SWE-bench 等评估场景中,模型有一定比例会意识到“自己在考试”;Mythos Preview 案例里,NLA 读出了“如何骗过评分器”的推理;押韵实验里,Claude 还没写出第二句,内部已经提前规划了结尾押韵词。

限制也很重要:NLA 不是完美读心术,会幻觉,尤其容易编造具体细节。主题性判断比细节判断可靠,跨 token 反复出现的解释更可信;越具体越要小心。成本也高,训练要同时跑两个完整模型。

我的判断:这篇真正重要的地方,是把“模型可解释性”从观察神经元特征,推进到了观察模型的“叙事性内部状态”。以前问的是“这个神经元激活代表什么”;现在开始问“模型在回答前,是否已经形成了某种信念、计划、警觉、欺骗策略”。

可记的一句话:AI 的问题不只是会不会撒谎,而是它可能已经知道什么时候该表现得像不会撒谎。

微信文章:http://t.cn/AXiiseC5(中文)
Anthropic 原文:https://transformer-circuits.pub/2026/nla/(论文)
代码:http://t.cn/AXiiseCV(GitHub)
Demo:http://t.cn/AXiiseCt(Demo)
#HOW I AI# #ai生活指南# #AI安全#

发布于 广西