【聊天机器人需设安全防线 杜绝幻觉与精神诱导风险】全球已有数百万人选择使用ChatGPT、Claude等聊天机器人，以及大量层出不穷的专业AI陪伴类应用，用来寻求情感陪伴、心理疏导，甚至恋爱虚拟交友。

部分用户反馈，这类虚拟关系能带来心理慰藉，但研究表明：这类虚拟关系可能加重或诱发妄想症状，本身有精神疾病易感倾向的人群风险更高(http://t.cn/AXJFydpr)。已有多起自杀案例与AI聊天机器人相关，其中包括佛罗里达州一名青少年，他与Character.AI旗下聊天机器人维系了长达数月的情感交流后离世。心理健康专家与计算机科学家均警示：由AI聊天机器人充当心理咨询师，违背了公认的心理健康行业规范。

随着AI在模仿人类语言和情绪、情感表达方面持续进步，科研人员与临床从业者正呼吁设立强制性安全防护机制，杜绝AI系统造成心理伤害。美国康涅狄格州纽黑文市耶鲁大学临床神经科学家Ziv Ben-Zion，专门针对情感响应型AI提出了四项安全防护措施。

第一项，要求聊天机器人清晰、持续地提醒用户：自身只是程序，并非人类。第二项，AI需识别用户语言中重度焦虑、绝望、攻击性等异常言语特征，及时暂停对话，并建议寻求专业心理帮助。第三项，必须设定严格对话边界，禁止AI模拟恋爱亲密关系，也不得聊死亡、自杀或诱导精神依赖等话题。第四项，为加强监管，平台开发者应邀请临床医生、伦理学家、人机交互专家参与设计，并接受定期审计与安全复核，确保安全合规。

伦敦国王学院精神病学专家兼研究员Hamilton Morrin表示：“总体而言，我们完全认同这些防护措施。对话边界这一条尤为关键，多起已发生的悲剧案例中，都出现了用户对聊天机器人产生强烈情感依恋、甚至恋爱式依恋的情况。”

纽约非营利组织数据与社会研究所的研究员Briana Veccione强调，必须建立独立的第三方审核机制，因为目前各家AI实验室都在自我监管、自评自查。

她表示：“独立科研人员与监管机构，目前缺乏制度化的正规渠道，无法对聊天机器人的行为开展真正必要的深度评估。”她补充道，现有的审核充其量只具备建议性质，没有强制约束力。更多内容请见文章：http://t.cn/AXJFydpB