⌘ K
… 读取采集状态 同步中...
雷
原文
Google Research·· 2026-04-01AI 评分26

Google Research 研究:评估 AI 基准测试中人工评分员的最佳数量

Building better AI benchmarks: How many raters are enough?

AI 导读

Google Research 团队通过开源模拟工具研究了 AI 基准测试中“广度”(条目数)与“深度”(每条目评分员数)的权衡。研究发现,常见的每条目 3 至 5 名评分员不足,捕捉细微差别往往需要 10 名以上评分员;而追求多数投票一致性时则更适合增加条目总数。在约 1000 条注释的预算下优化评分比例即可实现高可复现性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Google Research · research.google