⌘ K
… 读取采集状态 同步中...
雷

#安全/对齐

今日 5 条
2月15日周三
12月15日周四
  1. Anthropic Research74

    Constitutional AI: 通过 AI 反馈实现无害性

    Anthropic 提出 Constitutional AI 方法，通过定义原则列表替代直接的人类有害输出标注来训练无害 AI 助手。该方法分为两个阶段：首先在监督学习阶段生成自我批评与修订并微调模型，随后在强化学习阶段利用 AI 偏好数据训练偏好模型并以 RLAIF 进行优化。

    推荐理由：提出无需人类标注有害输出的训练范式，结合监督微调与RLAIF流程展示了提升无害性的技术路径。

11月4日周五
  1. Anthropic Research35

    可伸缩监督 LLM：实验设计与 MMLU/QuALITY 基准验证

    Anthropic 提出一种用于研究可伸缩监督（scalable oversight）的实验设计，旨在通过任务让非辅助人类和当前通用 AI 失败而专家成功的情境下考察人类对模型的监督效果。在 MMLU 和限时 QuALITY 任务中，使用不可靠 LLM 对话助手的人类参与者显著优于模型单独表现及未辅助人类表现，验证了该设计在现有模型上的可行性。

8月22日周一
  1. Anthropic Research18

    语言模型红队测试以减少危害：方法、规模效应与经验教训

    Anthropic 研究了 2.7B 至 52B 参数语言模型的红队测试规模效应，发现基于人类反馈的强化学习（RLHF）模型在规模化后更难被攻破。研究发布包含 38,961 个攻击案例的数据集，分析发现有害输出涵盖从冒犯性语言到隐性不道德行为等多种类型。团队详尽披露了红队测试的指令、流程及统计方法，旨在推动社区建立共享的技术标准。

4月12日周二
  1. Anthropic Research55

    Anthropic 发布利用强化学习训练助手的研究

    Anthropic 研究人员应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，使其成为有帮助且无害的助手。研究发现这种对齐训练提升了几乎所有 NLP 评测的性能，并与 Python 编码和摘要等专业技能的训练完全兼容。研究探索了在线迭代训练模式，每周利用新的人类反馈数据更新偏好模型和 RL 策略，并识别出 RL 奖励与策略及其初始化之间 KL 散度平方根之间大致呈线性关系。

2月15日周二
  1. Anthropic Research28

    大型生成模型中的可预测性与意外性：政策影响分析

    该研究探讨了大型预训练生成模型（如 GPT-3）在损失降低方面具有可预测性，但具体能力、输入和输出存在不可预测性的反直觉特征。这种矛盾使得模型部署后果难以预见，并可能导致社会危害。文章分析了开发者的部署动机与挑战，并提出了旨在增强模型有益影响的干预措施建议，供政策制定者与技术人员参考。

12月1日周三
  1. Anthropic Research87

    Anthropic 将通用语言助手视为对齐实验室的研究论文

    这篇由 Anthropic 发布的研究探讨如何使用大型语言模型构建符合人类价值观的通用文本助手，即做到有用、诚实且无害。研究发现，随着模型规模扩大，简单干预措施的对齐收益增加，且不会损害模型性能。对比多种训练目标后发现，排序偏好建模比模仿学习表现更好，且随模型扩展更优，而二元判别与模仿学习的性能和扩展趋势相似。

    推荐理由：作者比较了不同对齐训练目标的扩展趋势，指出排序偏好建模在规模化时表现优于模仿学习。