⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2024-11-20AI 评分31

Anthropic 提出基于统计理论的大模型评估报告规范

A statistical approach to model evaluations

AI 导读

Anthropic 发布研究论文,建议利用中心极限定理在报告模型基准测试分数时同时给出标准误,以区分真实能力差异与随机波动。针对 DROP 等阅读理解任务中题目非独立的问题,推荐采用聚类标准误,以避免因低估误差而得出错误结论;实验表明聚类标准误可比朴素标准误高出三倍以上。此外,通过减少单次回答的随机方差,如多次采样或链式推理,可进一步提升统计精度。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com