#AI创造营[超话]#

现在人工智能代理的问题在于：一旦你赋予 LLM 工具和持久性，人工智能的错误就会变成现实世界的安全事件，而标准的聊天机器人评估很容易忽略这一点。

本文在真实的场景中对自主代理进行红队演练，结果表明，自主代理可能会被社会劫持，从而泄露秘密、采取破坏性行动，并陷入有害循环。

从根本上说，人工智能自主性是一个巨大的风险倍增器，智能体需要在部署之前（而不是之后）内置身份/认证、监督和治理。

#AI创造营##ai探索计划#