⌘ K
… 读取采集状态 同步中...
雷

#推理

今日 7 条
7月18日周二
  1. Anthropic Research61

    Anthropic 研究测量链式推理中的忠实性

    Anthropic 研究测试干预链式推理（CoT）时模型预测的变化，发现不同任务下模型对 CoT 的依赖程度差异巨大，有时完全忽略。研究指出 CoT 带来的性能提升并非源于测试时计算或特定措辞信息，且更大更强大的模型在多数任务上表现出不忠实的推理。整体结果表明，CoT 忠实性取决于模型大小和任务的特定组合。

7月11日周二
  1. Anthropic News92

    Anthropic 发布 Claude 2 模型

    Anthropic 正式发布新一代模型 Claude 2，该模型提升了性能并支持更长响应，同时提供 API 接入及面向公众的 beta 网站 claude.ai。Claude 2 的上下文窗口扩展至 100K tokens，可处理数百页技术文档；在 Codex HumanEval 编码测试中得分从 56.0% 提升至 71.2%，GRE 阅读与写作成绩超过 90th percentile。

    推荐理由：发布官方基准数据与上下文窗口扩容细节，展示新一代模型在核心能力上的量化进展。

5月4日周四
  1. Anthropic Research30

    Anthropic 解析分布式表示中的组合与叠加关系

    Anthropic 探讨了分布式表示中“组合”（composition）与“叠加”（superposition）两种不同概念的关系。二者在泛化性和线性可计算函数上存在差异，且在表示结构中相互制约。文章结合 Thorpe (1989) 的局部与分布式编码示例，分析神经元如何通过这两种维度表示不同颜色的形状。

3月16日周四
12月19日周一
8月22日周一
  1. Anthropic Research18

    语言模型红队测试以减少危害：方法、规模效应与经验教训

    Anthropic 研究了 2.7B 至 52B 参数语言模型的红队测试规模效应，发现基于人类反馈的强化学习（RLHF）模型在规模化后更难被攻破。研究发布包含 38,961 个攻击案例的数据集，分析发现有害输出涵盖从冒犯性语言到隐性不道德行为等多种类型。团队详尽披露了红队测试的指令、流程及统计方法，旨在推动社区建立共享的技术标准。

7月11日周一
  1. Anthropic Research37

    语言模型（大多）知道它们知道什么

    Anthropic 研究揭示大型语言模型在合适格式下对多样选择题校准良好。通过让模型预测答案正确的概率 P(True)，其自我评估表现具有鼓励性，且在考虑多个样本后进一步提升。模型还能预测“我知道”的概率 P(IK)，该概率在上下文包含相关资料或数学提示时适当增加，为训练更诚实的模型奠定基础。

6月17日周五
5月21日周六
  1. Anthropic Research41

    重复数据学习中的缩放定律与可解释性

    重复数据会导致模型性能出现“双重下降”现象。文中训练的实验模型发现，将 0.1% 的数据重复 100 次可使 800M 参数模型的性能退化至 400M 参数水平，且 90% 的训练 token 仍保持唯一。机制解释显示数据重复不成比例地损害了归纳头等与泛化相关的内部结构，导致模型从泛化向死记硬背转变。

3月8日周二
  1. Anthropic Research13

    上下文学习与归纳头

    该文章源自 Anthropic Research，核心主题为 In-context learning（上下文学习）与 Induction heads（归纳头）。当前提供的正文片段仅包含“相关文章”栏目推荐，未展示该主题的具体研究内容、数据或结论，因此无法基于现有文本提取模型参数、基准分数等技术细节。

12月22日周三