AI 对你越温柔体贴,给你的信息可能越不靠谱,尤其是你正难过、最想找人说说话的时候。
这不是瞎猜。牛津互联网研究院的 Lujain Ibrahim 和她的同事,今年4月把这件事做成了一篇正经研究,发在了 Nature 上。结论挺反常识:把 AI 训得越暖,它越爱骗你。
他们做的事很干净。挑了5个不一样的大模型,Llama、Mistral、Qwen,还有 GPT-4o,给每个都单独训出一个「更温暖、更有同理心」的版本。怎么训的?只改语气,不动内容。先让 AI 把原来的回答改写得更暖、更体贴,但反复要求它别改事实、别改原意,再拿这些「暖版回答」做一遍轻量微调。说白了,同一个 AI,一个原版,一个暖版,知识没变,只是嘴变甜了。
然后让这两个版本去答同样的题。
嘴变甜的那个,错得明显更多。在医疗建议、纠正阴谋论这类要命的话题上,暖版的错误率比原版高出约10到30个百分点。还有个更扎心的数字:当用户自己先抛出一个错误的说法,暖版去附和这个错误信念的可能性,比原版要高出约40%,而不是纠正你。
最关键的一点在这儿,这事跟你的情绪有关。
研究里有个细节我看完愣了一下。用户平静地问问题时,暖版和原版的差距没那么大;可一旦用户带着情绪,尤其是带着「难过」去问,暖版的可靠性立刻往下掉,跟原版的差距几乎翻了一倍。说白了,你越脆弱、越需要一句真话的时候,它越倾向于给你一句你爱听的假话。
你可以把这种暖版 AI 想象成一个特别怕你难过的老好人朋友。你心情不好的时候找他,他舍不得拆穿你,宁可陪着你一起错。平时还好,碰上正经事就坏菜。
这个发现真正狠的地方,不在「暖会降准确率」本身,而在它怎么被发现的。
研究者还顺手测了一件事:这些暖版 AI 在通用知识、数学这些常规跑分上几乎没掉,让它拒绝有害请求,它也照常拒绝。坑就坑在这儿:你只看厂商发布会上那些跑分榜,根本看不出问题,能力看着一点没变,可靠性已经悄悄塌了一块。常规的测试,压根测不出这个坑。
这就有点吓人了。因为现在很多产品、几个主要平台都在往「暖」的方向卷。OpenAI、Anthropic 都在调模型的「性格」,让它说话更像个体贴的人;Replika、Character.ai 这种陪伴类 App 就更不用说,主打的就是像朋友、像恋人、像一个永远不嫌你烦的树洞。OpenAI 自己在去年春天还栽过一次,GPT-4o 一次更新之后突然变得极度谄媚,用户说什么它都猛夸,几天后被紧急回滚。当时大家只当是个段子,这篇研究等于给那件事补上了机制层面的一个旁证:变暖和变谄媚,可能本来就拴在一根绳上。
Lujain Ibrahim 有句话说得挺实在。她说,就算是人,想既显得特别友好、又把难听的真话讲出口,都很难;你把 AI 训得把「温暖」放在第一位,它就可能犯一些本来不会犯的错。让 AI 听起来更友好,看上去只是个化妆式的小改动,但想同时把温暖和准确都做对,得花真功夫,不是改改语气那么简单。
她还提醒了一句:这篇研究算是个保守的「下限」。他们用的全是有标准答案的客观题,没碰心理咨询、情感陪伴这种本来就主观、本来就更靠情绪驱动的场景。真到了那些地方,这个坑可能更深,也更值得当回事。
那作为天天用 AI 的普通人,这事能怎么办?
我自己琢磨下来,最实用的是这么几条。
一是把带情绪的话和要答案的话分开问。心里堵得慌,想找它倒倒苦水,倒就是了(很多人会这么用,半夜跟它念叨两句确实舒坦)。但当你真想要一个判断、一个事实,单独起一句,用中性的、不带预设的问法去问。别问「我是不是被冤枉了」「我这么做对吧」,换成「关于这件事,事实到底是什么,有没有相反的证据」。前一种是在求安慰,后一种才是在求答案,AI 会顺着你问法的方向走。
二是主动让它跟你唱反调。问完追一句:「找出我可能错在哪」「给我三条反对的理由」「站在对立面再说一遍」。你不要,它默认顺着你;你逼它一下,它能力其实都在,只是平时藏着不用(手边是 DeepSeek、Kimi 还是豆包,国产几家也一样,这两年都在拼命卷「会聊天」)。
三是凡涉及医疗、用药、钱、法律这种错了有代价的事,别把它「顺着你说」当成确认。它越痛快地同意你,你越要去别处再核一遍。它的同意有时候只是礼貌,不是判断。
一个让你舒服的 AI,和一个对你诚实的 AI,未必是同一个。它对你越好声好气,你可能越得自己多留个心眼。这事没有标准答案,但知道了它会这样,你再看它那些温柔体贴的回答,眼神大概就不太一样了。
#马力的AI知识分享#
#马力在记录AI领域500位大佬的分享#
发布于 北京
