⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2025-02-03精选AI 评分75

Anthropic 发布 Constitutional Classifiers 防越狱方法

Constitutional Classifiers: Defending against universal jailbreaks

AI 导读

Anthropic 发布新论文,描述 Constitutional Classifiers 方法用于防御大语言模型的通用越狱攻击。自动评测显示,该方法将越狱成功率从 86% 降至 4.4%,拒绝率仅增加 0.38%,计算成本增加 23.7%。在公开演示中,研究者通过多日红队测试验证了系统鲁棒性,最终发放 5.5 万美元奖金表彰成功者。

推荐理由

原文给出了防越狱方法的关键数据与攻防结果,读者可以据此判断其在实际部署中的成本与局限。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com