⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 24 天前AI 评分0

肉眼看不出的幻觉?清华提出视觉源幻觉,仅用0.9%数据实现SOTA

AI 导读

肉眼看不出的幻觉?清华提出视觉源幻觉,仅用0.9%数据实现SOTA **新智元报道** 多模态大模型的物体幻觉,长期被归因于语言先验。 先看下面两组对话。 第一组,一张只有小狗的照片,问模型「图中有椅子吗」,它答「没有,图中是一只狗」,完全正确; 第二组,另一张照片,问「图中有餐桌吗」,模型却言之凿凿地回答「有一张餐桌,还有一个男孩站在它前面」,而画面里根本没有餐桌。 这就是困扰多模态大模型(MLLM)落地的物体幻觉:模型会「看见」并不存在的物体,或者对明明存在的物体视而不见。在自动驾驶、医疗辅助等高风险场景中,这种错误的代价可能非常高。 过去的主流解释是:这都怪语言先验。 模型在训练语料里见惯了「餐桌」和「男孩」共同出现,于是即便图里没有,也顺着语言统计规律说了出来。 但清华大学的研究团队认为,这个解释并不完整。 近日,来自清华大学的团队在ACM MM 2026(第34届ACM国际多媒体会议)论文中提出:当模型输出很短时,比如只回答Yes/No,推理更依赖视觉模态,此时会浮现出另一套幻觉机制,它根植于视觉特征提取本身。 研究人员将其命名为视觉源幻觉(visual-origin hal

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com