⌘ K
… 读取采集状态 同步中...
雷

#Anthropic

今日 27 条
6月17日周五
5月21日周六
  1. Anthropic Research41

    重复数据学习中的缩放定律与可解释性

    重复数据会导致模型性能出现“双重下降”现象。文中训练的实验模型发现，将 0.1% 的数据重复 100 次可使 800M 参数模型的性能退化至 400M 参数水平，且 90% 的训练 token 仍保持唯一。机制解释显示数据重复不成比例地损害了归纳头等与泛化相关的内部结构，导致模型从泛化向死记硬背转变。

4月29日周五
  1. Anthropic News66

    Anthropic 完成 $580M B 轮融资以建设更安全可控的 AI 系统

    Anthropic 宣布完成 $580M B 轮融资，资金将用于建设大规模实验基础设施以探索计算密集型模型的安全特性。公司自 2021 年成立以来在可解释性、可操控性与鲁棒性上取得进展，包括逆向工程小型语言模型行为、开发让 LLM 更有帮助无害的基线技术及发布对齐数据集。本轮融资由 FTX 前 CEO Sam Bankman-Fried 领投，Anthropic 团队目前在旧金山约有 40 人。

    推荐理由：Anthropic 官方说明 $580M 融资将用于扩大安全实验基础设施并推进可解释性与对齐研究，便于读者判断其技术路线与团队规模变化。

4月12日周二
  1. Anthropic Research55

    Anthropic 发布利用强化学习训练助手的研究

    Anthropic 研究人员应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，使其成为有帮助且无害的助手。研究发现这种对齐训练提升了几乎所有 NLP 评测的性能，并与 Python 编码和摘要等专业技能的训练完全兼容。研究探索了在线迭代训练模式，每周利用新的人类反馈数据更新偏好模型和 RL 策略，并识别出 RL 奖励与策略及其初始化之间 KL 散度平方根之间大致呈线性关系。

3月8日周二
  1. Anthropic Research13

    上下文学习与归纳头

    该文章源自 Anthropic Research，核心主题为 In-context learning（上下文学习）与 Induction heads（归纳头）。当前提供的正文片段仅包含“相关文章”栏目推荐，未展示该主题的具体研究内容、数据或结论，因此无法基于现有文本提取模型参数、基准分数等技术细节。

2月15日周二
  1. Anthropic Research28

    大型生成模型中的可预测性与意外性：政策影响分析

    该研究探讨了大型预训练生成模型（如 GPT-3）在损失降低方面具有可预测性，但具体能力、输入和输出存在不可预测性的反直觉特征。这种矛盾使得模型部署后果难以预见，并可能导致社会危害。文章分析了开发者的部署动机与挑战，并提出了旨在增强模型有益影响的干预措施建议，供政策制定者与技术人员参考。

12月22日周三
12月1日周三
  1. Anthropic Research87

    Anthropic 将通用语言助手视为对齐实验室的研究论文

    这篇由 Anthropic 发布的研究探讨如何使用大型语言模型构建符合人类价值观的通用文本助手，即做到有用、诚实且无害。研究发现，随着模型规模扩大，简单干预措施的对齐收益增加，且不会损害模型性能。对比多种训练目标后发现，排序偏好建模比模仿学习表现更好，且随模型扩展更优，而二元判别与模仿学习的性能和扩展趋势相似。

    推荐理由：作者比较了不同对齐训练目标的扩展趋势，指出排序偏好建模在规模化时表现优于模仿学习。

5月28日周五