⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2023-10-04AI 评分45

评估 AI 系统的挑战

Challenges in evaluating AI systems

AI 导读

Anthropic 指出构建鲁棒的模型评估极具挑战性,现有评估套件作为模型能力或安全性指标的能力有限。作者以 MMLU 为例,说明数据污染、格式敏感性及执行不一致会导致准确率波动约 5%;BBQ 测试则显示模型可能因未真正回答问题而得出误导性结果。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com