再补充一点，一般诸如Hermes能保护系统提示词不被压缩，但有一个关键问题：系统提示词中的安全规则是静态文本，而攻击者的指令是动态的、贴近当前任务的。当上下文紧张时，模型可能会"忘记"遵守系统提示词中的约束，尤其是在长上下文中，模型对远距离指令的遵循度会下降。
发布于 辽宁
贾凡-失落的大蒜
再补充一点，一般诸如Hermes能保护系统提示词不被压缩，但有一个关键问题：系统提示词中的安全规则是静态文本，而攻击者的指令是动态的、贴近当前任务的。当上下文紧张时，模型可能会"忘记"遵守系统提示词中的约束，尤其是在长上下文中，模型对远距离指令的遵循度会下降。