⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 2026-09-02AI 评分0

0.25秒识破未见攻击,这套检测方法没看过任何越狱样本 | EMNLP'26

AI 导读

0.25秒识破未见攻击,这套检测方法没看过任何越狱样本 | EMNLP'26 阿里安全团队 投稿 量子位 | 公众号 QbitAI 大视觉语言模型*(LVLM)*把语言理解扩展到了图像等多模态输入,同时,也带来了更隐蔽的攻击面。 细微图像扰动、视觉文字或跨模态提示可能绕过安全对齐,让模型回答原本应拒绝的有害问题。已有攻击在AdvBench上甚至能诱导对齐模型回答**96%**的不安全问题。 现有检测器往往只能在准确率、泛化能力和效率之间取舍。对此,**中国人民大学与阿里巴巴集团**联合提出**Learning to Detect(LoD):**不使用任何越狱攻击样本,也不依赖手工启发式规则,而是从LVLM的逐层内部激活中学习通用安全模式,把未见攻击识别为偏离安全分布的异常。 LoD学习的不是“某一种攻击长什么样”,而是“安全输入在模型内部应该呈现什么模式”。 为什么需要新的检测范式 越狱检测的核心困难并不只是判断“输入是否有害”,而是判断一个表面上经过伪装、重写或视觉扰动的输入,是否正在诱导模型绕过安全边界。现实中的攻击形式不断变化,检测器很难提前穷举未来攻击。 三类输入不能混为一谈

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com