⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2024-04-03AI 评分56

Anthropic 研究长上下文窗口下的多示例越狱攻击

Many-shot jailbreaking

AI 导读

Anthropic 提出“多示例越狱”技术,利用长上下文窗口注入大量伪造对话引导大语言模型生成有害响应。研究表明该攻击成功率随示例数量增加符合幂律分布,且在 Claude 2.0 等模型上有效。通过提示词分类与修改方法,攻击成功率可从 61% 降至 2%,为长上下文安全风险提供了缓解路径。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com