⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 15 天前AI 评分1

METR 实现并评估用于 eval 安全的逐动作监控器

AI 导读

METR 为降低自家评测中智能体造成现实危害的风险,实现并部署了一个实时逐动作监控器,由 LLM 评审每个工具调用,超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出,约 98% 良性动作评为 0 分,实测误报率约 0.025% 每动作;监控带来约 85% 成本和 43% 延迟开销。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · metr.org