⌘ K
… 读取采集状态 同步中...
雷

#Anthropic

今日 14 条
7月25日周二
7月18日周二
  1. Anthropic Research61

    Anthropic 研究测量链式推理中的忠实性

    Anthropic 研究测试干预链式推理（CoT）时模型预测的变化，发现不同任务下模型对 CoT 的依赖程度差异巨大，有时完全忽略。研究指出 CoT 带来的性能提升并非源于测试时计算或特定措辞信息，且更大更强大的模型在多数任务上表现出不忠实的推理。整体结果表明，CoT 忠实性取决于模型大小和任务的特定组合。

7月11日周二
  1. Anthropic News92

    Anthropic 发布 Claude 2 模型

    Anthropic 正式发布新一代模型 Claude 2，该模型提升了性能并支持更长响应，同时提供 API 接入及面向公众的 beta 网站 claude.ai。Claude 2 的上下文窗口扩展至 100K tokens，可处理数百页技术文档；在 Codex HumanEval 编码测试中得分从 56.0% 提升至 71.2%，GRE 阅读与写作成绩超过 90th percentile。

    推荐理由：发布官方基准数据与上下文窗口扩容细节，展示新一代模型在核心能力上的量化进展。

6月29日周四
6月13日周二
5月24日周三
  2. Anthropic Research20

    Anthropic 可解释性团队 2023 年 5 月电路更新

    Anthropic 可解释性团队分享了若干正在发展的研究想法，包括部分预计数月内发表的新研究方向以及一些小点。相关研究包括 Matthew Schwartz 开发的用于定量科学精确计算的 BootLoops 工具包，该工具包利用 LLM 工具寻找“Claude-shaped”问题并已在多个科学领域应用。

5月23日周二
  1. Anthropic News63

    Anthropic 完成 4.5 亿美元 C 轮融资

    Anthropic 宣布完成 4.5 亿美元 C 轮融资，Spark Capital 领投，Google、Salesforce Ventures 等跟投。资金将用于开发 Claude 等 AI 产品、支持企业部署及推进 AI 对齐与安全研究，包括扩展 100K 上下文窗口功能；Spark Capital 的 Yasmin Razavi 加入董事会。

5月16日周二
  1. Anthropic News50

    Anthropic 与 Zoom 达成合作，Zoom Ventures 向 Anthropic 注资

    Anthropic 宣布与 Zoom 达成合作，Zoom 将采用基于 Constitutional AI 构建的 Claude 开发面向客户的 AI 产品。双方首个集成应用落地于 Zoom 呼叫中心组合产品，旨在提升终端用户体验及坐席表现。此外，Zoom Ventures 对 Anthropic 进行了投资，双方将结合技术优势构建安全且以用户为中心的 AI 应用。

5月11日周四
  1. Anthropic News88

    Anthropic 将 Claude 上下文窗口从 9K 扩展至 100K

    Anthropic 宣布将 Claude 模型的上下文窗口从 9K tokens 扩展至 100K tokens，相当于约 75,000 个单词。该更新支持对长达数小时或数天的内容进行分析，例如在 22 秒内识别出《了不起的盖茨比》修改后的文本差异。100K 上下文窗口现已通过 API 提供，可处理财务文档、代码库、法律文本及音频转录等复杂任务，相比向量搜索方法在跨文档知识综合方面更具优势。

    推荐理由：原文给出了具体的性能提升数据和适用场景，展示了处理超长文本的实际效果。

5月9日周二
  1. Anthropic News78

    Anthropic公布Claude宪法及价值观对齐原则

    Anthropic官方发布Claude“宪法”，详细公开其训练模型所依据的原则体系，包括基于联合国人权宣言、苹果服务条款、DeepMind Sparrow规则及自身研究的价值观条目。该方法通过宪法原则指导模型自我批评与修订，并在强化学习阶段用AI生成的反馈替代大规模人工偏好，以提升模型在处理恶意输入时的安全性与有用性。

    推荐理由：Anthropic官方公开其Constitutional AI方法的具体原则集，展示了AI系统价值观如何被显性化、调整并与模型安全对齐的机制。

5月4日周四
  1. Anthropic Research30

    Anthropic 解析分布式表示中的组合与叠加关系

    Anthropic 探讨了分布式表示中“组合”（composition）与“叠加”（superposition）两种不同概念的关系。二者在泛化性和线性可计算函数上存在差异，且在表示结构中相互制约。文章结合 Thorpe (1989) 的局部与分布式编码示例，分析神经元如何通过这两种维度表示不同颜色的形状。

4月26日周三
4月20日周四
3月16日周四
3月14日周二
  1. Anthropic News65

    Anthropic 正式发布 Claude 和 Claude Instant 模型

    Anthropic 正式开放 Claude 访问权限，作为基于安全研究的下一代 AI 助手，提供聊天界面和 API，可执行总结、编码等任务。官方提供两种版本：高性能的 Claude 和更轻快、低成本的 Claude Instant。早期合作伙伴如 Notion 和 Quora 评价其对话感更强且更易于控制。

    推荐理由：明确了 Claude 的两款版本差异，及其在 Quora、Notion 等业务场景中的实际表现与定位。

3月8日周三
2月15日周三
2月3日周五
1月5日周四
12月19日周一
12月15日周四
  1. Anthropic Research74

    Constitutional AI: 通过 AI 反馈实现无害性

    Anthropic 提出 Constitutional AI 方法，通过定义原则列表替代直接的人类有害输出标注来训练无害 AI 助手。该方法分为两个阶段：首先在监督学习阶段生成自我批评与修订并微调模型，随后在强化学习阶段利用 AI 偏好数据训练偏好模型并以 RLAIF 进行优化。

    推荐理由：提出无需人类标注有害输出的训练范式，结合监督微调与RLAIF流程展示了提升无害性的技术路径。

11月4日周五
  1. Anthropic Research35

    可伸缩监督 LLM：实验设计与 MMLU/QuALITY 基准验证

    Anthropic 提出一种用于研究可伸缩监督（scalable oversight）的实验设计，旨在通过任务让非辅助人类和当前通用 AI 失败而专家成功的情境下考察人类对模型的监督效果。在 MMLU 和限时 QuALITY 任务中，使用不可靠 LLM 对话助手的人类参与者显著优于模型单独表现及未辅助人类表现，验证了该设计在现有模型上的可行性。

9月14日周三
8月22日周一
  1. Anthropic Research18

    语言模型红队测试以减少危害：方法、规模效应与经验教训

    Anthropic 研究了 2.7B 至 52B 参数语言模型的红队测试规模效应，发现基于人类反馈的强化学习（RLHF）模型在规模化后更难被攻破。研究发布包含 38,961 个攻击案例的数据集，分析发现有害输出涵盖从冒犯性语言到隐性不道德行为等多种类型。团队详尽披露了红队测试的指令、流程及统计方法，旨在推动社区建立共享的技术标准。

7月11日周一
  1. Anthropic Research37

    语言模型（大多）知道它们知道什么

    Anthropic 研究揭示大型语言模型在合适格式下对多样选择题校准良好。通过让模型预测答案正确的概率 P(True)，其自我评估表现具有鼓励性，且在考虑多个样本后进一步提升。模型还能预测“我知道”的概率 P(IK)，该概率在上下文包含相关资料或数学提示时适当增加，为训练更诚实的模型奠定基础。

6月17日周五
5月21日周六
  1. Anthropic Research41

    重复数据学习中的缩放定律与可解释性

    重复数据会导致模型性能出现“双重下降”现象。文中训练的实验模型发现，将 0.1% 的数据重复 100 次可使 800M 参数模型的性能退化至 400M 参数水平，且 90% 的训练 token 仍保持唯一。机制解释显示数据重复不成比例地损害了归纳头等与泛化相关的内部结构，导致模型从泛化向死记硬背转变。

4月29日周五
  1. Anthropic News66

    Anthropic 完成 $580M B 轮融资以建设更安全可控的 AI 系统

    Anthropic 宣布完成 $580M B 轮融资，资金将用于建设大规模实验基础设施以探索计算密集型模型的安全特性。公司自 2021 年成立以来在可解释性、可操控性与鲁棒性上取得进展，包括逆向工程小型语言模型行为、开发让 LLM 更有帮助无害的基线技术及发布对齐数据集。本轮融资由 FTX 前 CEO Sam Bankman-Fried 领投，Anthropic 团队目前在旧金山约有 40 人。

    推荐理由：Anthropic 官方说明 $580M 融资将用于扩大安全实验基础设施并推进可解释性与对齐研究，便于读者判断其技术路线与团队规模变化。

4月12日周二
  1. Anthropic Research55

    Anthropic 发布利用强化学习训练助手的研究

    Anthropic 研究人员应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，使其成为有帮助且无害的助手。研究发现这种对齐训练提升了几乎所有 NLP 评测的性能，并与 Python 编码和摘要等专业技能的训练完全兼容。研究探索了在线迭代训练模式，每周利用新的人类反馈数据更新偏好模型和 RL 策略，并识别出 RL 奖励与策略及其初始化之间 KL 散度平方根之间大致呈线性关系。

3月8日周二
  1. Anthropic Research13

    上下文学习与归纳头

    该文章源自 Anthropic Research，核心主题为 In-context learning（上下文学习）与 Induction heads（归纳头）。当前提供的正文片段仅包含“相关文章”栏目推荐，未展示该主题的具体研究内容、数据或结论，因此无法基于现有文本提取模型参数、基准分数等技术细节。

2月15日周二
  1. Anthropic Research28

    大型生成模型中的可预测性与意外性：政策影响分析

    该研究探讨了大型预训练生成模型（如 GPT-3）在损失降低方面具有可预测性，但具体能力、输入和输出存在不可预测性的反直觉特征。这种矛盾使得模型部署后果难以预见，并可能导致社会危害。文章分析了开发者的部署动机与挑战，并提出了旨在增强模型有益影响的干预措施建议，供政策制定者与技术人员参考。

12月22日周三
12月1日周三
  1. Anthropic Research87

    Anthropic 将通用语言助手视为对齐实验室的研究论文

    这篇由 Anthropic 发布的研究探讨如何使用大型语言模型构建符合人类价值观的通用文本助手，即做到有用、诚实且无害。研究发现，随着模型规模扩大，简单干预措施的对齐收益增加，且不会损害模型性能。对比多种训练目标后发现，排序偏好建模比模仿学习表现更好，且随模型扩展更优，而二元判别与模仿学习的性能和扩展趋势相似。

    推荐理由：作者比较了不同对齐训练目标的扩展趋势，指出排序偏好建模在规模化时表现优于模仿学习。

5月28日周五