⌘ K
… 读取采集状态 同步中...
雷

全部动态

今日 6 条
5月9日周二
  1. Anthropic News78

    Anthropic公布Claude宪法及价值观对齐原则

    Anthropic官方发布Claude“宪法”，详细公开其训练模型所依据的原则体系，包括基于联合国人权宣言、苹果服务条款、DeepMind Sparrow规则及自身研究的价值观条目。该方法通过宪法原则指导模型自我批评与修订，并在强化学习阶段用AI生成的反馈替代大规模人工偏好，以提升模型在处理恶意输入时的安全性与有用性。

    推荐理由：Anthropic官方公开其Constitutional AI方法的具体原则集，展示了AI系统价值观如何被显性化、调整并与模型安全对齐的机制。

5月4日周四
  1. Anthropic Research30

    Anthropic 解析分布式表示中的组合与叠加关系

    Anthropic 探讨了分布式表示中“组合”（composition）与“叠加”（superposition）两种不同概念的关系。二者在泛化性和线性可计算函数上存在差异，且在表示结构中相互制约。文章结合 Thorpe (1989) 的局部与分布式编码示例，分析神经元如何通过这两种维度表示不同颜色的形状。

3月16日周四
2月15日周三
1月5日周四
12月28日周三
12月19日周一
12月15日周四
  1. Anthropic Research74

    Constitutional AI: 通过 AI 反馈实现无害性

    Anthropic 提出 Constitutional AI 方法，通过定义原则列表替代直接的人类有害输出标注来训练无害 AI 助手。该方法分为两个阶段：首先在监督学习阶段生成自我批评与修订并微调模型，随后在强化学习阶段利用 AI 偏好数据训练偏好模型并以 RLAIF 进行优化。

    推荐理由：提出无需人类标注有害输出的训练范式，结合监督微调与RLAIF流程展示了提升无害性的技术路径。

11月14日周一
  1. Qwen Blog61

    OFA: 统一架构、任务与模态的通用多模态预训练模型

    Qwen团队发布统一多模态预训练模型OFA，将视觉、语言和图像生成任务整合到单一序列到序列框架中，并基于8项任务进行多任务预训练。模型包含5个参数规模（33M至930M），在视觉问答、图像描述、视觉定位等任务上达到或接近该规模下最优性能，且在自然语言理解基准GLUE上可与RoBERTa等单模态模型竞争。论文同步开源了预训练和微调模型、代码库及在线演示，并指出多模态基础模型将在此方向上快速发展。

11月4日周五
  1. Anthropic Research35

    可伸缩监督 LLM：实验设计与 MMLU/QuALITY 基准验证

    Anthropic 提出一种用于研究可伸缩监督（scalable oversight）的实验设计，旨在通过任务让非辅助人类和当前通用 AI 失败而专家成功的情境下考察人类对模型的监督效果。在 MMLU 和限时 QuALITY 任务中，使用不可靠 LLM 对话助手的人类参与者显著优于模型单独表现及未辅助人类表现，验证了该设计在现有模型上的可行性。

9月14日周三
8月22日周一
  1. Anthropic Research18

    语言模型红队测试以减少危害：方法、规模效应与经验教训

    Anthropic 研究了 2.7B 至 52B 参数语言模型的红队测试规模效应，发现基于人类反馈的强化学习（RLHF）模型在规模化后更难被攻破。研究发布包含 38,961 个攻击案例的数据集，分析发现有害输出涵盖从冒犯性语言到隐性不道德行为等多种类型。团队详尽披露了红队测试的指令、流程及统计方法，旨在推动社区建立共享的技术标准。

7月11日周一
  1. Anthropic Research37

    语言模型（大多）知道它们知道什么

    Anthropic 研究揭示大型语言模型在合适格式下对多样选择题校准良好。通过让模型预测答案正确的概率 P(True)，其自我评估表现具有鼓励性，且在考虑多个样本后进一步提升。模型还能预测“我知道”的概率 P(IK)，该概率在上下文包含相关资料或数学提示时适当增加，为训练更诚实的模型奠定基础。

6月17日周五
5月21日周六
  1. Anthropic Research41

    重复数据学习中的缩放定律与可解释性

    重复数据会导致模型性能出现“双重下降”现象。文中训练的实验模型发现，将 0.1% 的数据重复 100 次可使 800M 参数模型的性能退化至 400M 参数水平，且 90% 的训练 token 仍保持唯一。机制解释显示数据重复不成比例地损害了归纳头等与泛化相关的内部结构，导致模型从泛化向死记硬背转变。

4月12日周二
  1. Anthropic Research55

    Anthropic 发布利用强化学习训练助手的研究

    Anthropic 研究人员应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，使其成为有帮助且无害的助手。研究发现这种对齐训练提升了几乎所有 NLP 评测的性能，并与 Python 编码和摘要等专业技能的训练完全兼容。研究探索了在线迭代训练模式，每周利用新的人类反馈数据更新偏好模型和 RL 策略，并识别出 RL 奖励与策略及其初始化之间 KL 散度平方根之间大致呈线性关系。

3月8日周二
  1. Anthropic Research13

    上下文学习与归纳头

    该文章源自 Anthropic Research，核心主题为 In-context learning（上下文学习）与 Induction heads（归纳头）。当前提供的正文片段仅包含“相关文章”栏目推荐，未展示该主题的具体研究内容、数据或结论，因此无法基于现有文本提取模型参数、基准分数等技术细节。

2月15日周二
  1. Anthropic Research28

    大型生成模型中的可预测性与意外性：政策影响分析

    该研究探讨了大型预训练生成模型（如 GPT-3）在损失降低方面具有可预测性，但具体能力、输入和输出存在不可预测性的反直觉特征。这种矛盾使得模型部署后果难以预见，并可能导致社会危害。文章分析了开发者的部署动机与挑战，并提出了旨在增强模型有益影响的干预措施建议，供政策制定者与技术人员参考。

12月22日周三
12月1日周三
  1. Anthropic Research87

    Anthropic 将通用语言助手视为对齐实验室的研究论文

    这篇由 Anthropic 发布的研究探讨如何使用大型语言模型构建符合人类价值观的通用文本助手，即做到有用、诚实且无害。研究发现，随着模型规模扩大，简单干预措施的对齐收益增加，且不会损害模型性能。对比多种训练目标后发现，排序偏好建模比模仿学习表现更好，且随模型扩展更优，而二元判别与模仿学习的性能和扩展趋势相似。

    推荐理由：作者比较了不同对齐训练目标的扩展趋势，指出排序偏好建模在规模化时表现优于模仿学习。