⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-11-04AI 评分35

可伸缩监督 LLM:实验设计与 MMLU/QuALITY 基准验证

Measuring Progress on Scalable Oversight for Large Language Models

AI 导读

Anthropic 提出一种用于研究可伸缩监督(scalable oversight)的实验设计,旨在通过任务让非辅助人类和当前通用 AI 失败而专家成功的情境下考察人类对模型的监督效果。在 MMLU 和限时 QuALITY 任务中,使用不可靠 LLM 对话助手的人类参与者显著优于模型单独表现及未辅助人类表现,验证了该设计在现有模型上的可行性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com