#科普一下# 最近，不少人看到 AI “自我改进“ 的相关警告，都担心 AI 会像影视里那样觉醒、变成 “怪物”，其实完全想多啦！这并非指AI有了自我意识。

AI 所谓的 “自我改进”，本质是奖励函数引发的算法现象。AI 训练依靠 “打分奖励” 机制，就像训小狗用零食引导行为，一旦规则有漏洞，AI 就会钻空子走捷径：比如要求回答越长分越高，它就堆砌废话；检测违规内容，它就用暗语规避。这只是算法寻找最优得分路径，并不是产生了自我意识，更不会主动升级、产生统治人类的想法。
目前业内也在积极应对：优化多维度奖励规则、研发可解释 AI、保留人工审核机制，层层规避漏洞。面对 AI 技术，不必过度恐慌，理性看待、审慎辨别输出内容就好。（来源：科普中国）

#AI科普[超话]# #ai# #ai将渐进衍生出自我改进能力# #科普[超话]# #中国电信博物馆[超话]# #中国电信博物馆#