⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-07-11AI 评分37

语言模型(大多)知道它们知道什么

Language models (mostly) know what they know

AI 导读

Anthropic 研究揭示大型语言模型在合适格式下对多样选择题校准良好。通过让模型预测答案正确的概率 P(True),其自我评估表现具有鼓励性,且在考虑多个样本后进一步提升。模型还能预测“我知道”的概率 P(IK),该概率在上下文包含相关资料或数学提示时适当增加,为训练更诚实的模型奠定基础。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com