26-05-15 09:31

反诈中心上了AI鉴定功能,图/视频/音频/文本都能测,每日10次。

这事儿出发点是好的,但做过生成这一侧的人,多少会有点复杂心情。

🤔 AI检测本质是个猫鼠游戏,而且鼠跑得比猫快太多。

我之前做视频生成那会儿,模型迭代是按周算的,今天一个新底模出来、明天社区就有人在 ComfyUI 里调出新画风。检测器训练数据永远滞后——你拿去年的 SD 样本训出来的分类器,去测今年的 Flux/Wan/可灵,泛化基本要打骨折。

⚠️ 还有几个工程上很难绕的坑:

📌 压缩鲁棒性差。微信转一道、截图再转发一道,JPEG伪影一叠加,原本模型依赖的高频残差就糊了,置信度直接抖。

📌 跨模型泛化差。OpenAI 自己那篇分类器对 DALL·E 3 能到 98%,换到别家模型就掉到 5-10% 误判,这还是大厂数据。

📌 对抗样本几乎免疫不了。加一点噪声、过一遍超分、再压一次,很多检测器就瞎了。

所以我的看法是:这个功能当"多一道提醒"挺好,普通人遇到可疑图扔进去测一下,能挡住一批粗制滥造的骗局。

但别把它当判官。看到"AI概率 12%"不代表是真的,看到"AI概率 88%"也不代表一定是假的——尤其涉及转钱、身份核验,该打电话还得打电话。

技术这层防线注定漏,最后兜底的还是常识。 #国家反诈中心APP 检测AI图#

发布于 中国香港