⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 29 天前AI 评分1

Amazon 论文 GAUGE 探讨何时不能信任 LLM judge 评估任务型智能体

AI 导读

Amazon 发布 GAUGE 论文,研究 LLM 模拟用户加 LLM judge 这一评估关卡何时不可信。研究发现满意度不等于任务成功,57.5% 被评为满意的对话实际未完成客户任务;在能力相近的智能体之间,该关卡有 31% 的配对选出奖励更低的一方,而差距大的配对中这一比例不足 1%。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · x.com