这两天有个新闻，25岁的Darren Zhou住在美国佛罗里达州，是高盛的一名金融分析师，，年轻有为，有体面的职业。

但和前女友交往六个月后被分手了，因为前女友认为他控制欲强且反覆无常。甚至没敢当面和他提分手，而是通过电话结束了关系。

分手以后，Zhou 没有接受。他持续骚扰她，被拉黑后就换号码继续。今年三月开始，Zhou开始在ChatGPT上倾诉自己的感情问题。

可在接下来的两个月内，内容逐渐升级成具体的暴力幻想和杀人计划。他还详细的告诉ChatGPT要到前女友所在健身房的停车场等她，带着花要求复合。如果遭到拒绝，就使用枪支杀害她并自杀。他还谈到绑架和xq，并告诉 ChatGPT 自己购买了枪支、束缚用品和手套等。

系统随即识别到了风险，立刻转到了人工审查，接着向 FBI 报警了。由于Zhou在现实生活中的确持续骚扰➕威胁前女友，调查人员认为他绝非单纯的幻想，而是已经实施且有预谋有计划的犯罪。

本周他刚刚认罪，被判处了8年的probation（类似于缓刑，需社区监管，前两年必须佩戴 GPS 脚环）。他也成为第一起由AI报警被抓起来的人。

大家纷纷讨论ChatGPT是不是没有隐私了？
其实这种“过激”反应的背后还有另外一个故事。

去年一位加拿大少年Jesse连续数天在 ChatGPT 中描述涉及枪支暴力的场景。 系统也自动的把账号列为高风险且交给人工审核。当时大约十几名内部人员参与讨论，最后的结论是封了他的账号，还没有必要报警。

可是八个月后，今年2月份，在这名男孩刚满18岁的时候，他先在家中持枪杀死了自己39岁的母亲和11岁的弟弟。接着前往自己曾经就读的中学，杀害了五名学生以及一名老师，接着自己zs了，就是当时轰动的Tumbler Ridge 校园惨案。

那么AI可能是一名最特殊的“旁观者”。它知道很多人不会告诉旁人的念头，也因此有可能比身边的人更早发现一个人正在走向危险。