⌘ K
… 读取采集状态 同步中...
雷
原文
AISI Blog·· 2025-10-10AI 评分47

AI Security Institute 基于转录分析评估 AI Agent 行为与失效模式

Transcript analysis for AI agent evaluations

AI 导读

AI Security Institute(AISI)通过对近 6,400 条评估转录记录进行系统性分析,补充了平均通过率指标,以识别 AI Agent 的特定失效模式。在涉及 9 个模型和 71 个 CTF 任务的分析中,研究发现导致任务失败的主要原因包括安全合规拒绝、中途放弃任务以及未遵守脚手架指令。该方法帮助诊断评估中的质量问题,从而更准确地评估 Agent 在网络安全等关键领域的真实能力。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:AISI Blog · aisi.gov.uk