⌘ K
… 读取采集状态 同步中...
雷

#Anthropic

今日 19 条
5月24日周五
  1. Anthropic News79

    Anthropic 发布 Golden Gate Claude 可解释性研究演示

    Anthropic 发布了一项关于大型语言模型可解释性的研究，展示了如何通过调整 Claude 3 Sonnet 内部特定特征（如金门大桥概念）的激活强度来改变模型行为。研究团队在 claude.ai 上线了为期 24 小时的 Golden Gate Claude 研究演示，表明这种基于内部激活的手术式修改不同于传统的微调或系统提示词工程。

    推荐理由：文章展示了通过调整内部特征激活强度来改变模型行为的可解释性方法，并说明了其在安全性评估中的潜在应用。

5月21日周二
  2. Anthropic Research87

    Anthropic 发布 Claude Sonnet 可解释性研究：揭示内部概念映射与行为控制

    Anthropic 首次在部署级大模型 Claude Sonnet 中应用字典学习方法，成功提取数百万个可解释特征，绘制了内部概念地图。研究发现模型内部存在与实体（如金门大桥）、抽象概念（如代码 bug）及偏见相关特征，且这些特征对模型行为具有因果影响；例如放大特定特征可触发模型生成诈骗邮件或表现出谄媚倾向。该研究为监控 AI 危险行为、消除偏见及强化安全措施提供了新的技术路径。

    推荐理由：首次在生产级大模型 Claude Sonnet 内部提取数百万特征，揭示了概念映射与行为因果，为 AI 安全监控提供可落地的新路径。

5月20日周一
  1. AISI Blog66

    英国AI安全研究所发布第四份进展报告：开源Inspect平台并推进国际AI风险评估

    英国AI安全研究所（AISI）发布第四份进展报告，面向即将举办的首尔AI安全峰会披露多项动作：开源AI安全评测平台Inspect；发布首份针对公共前沿模型在Cyber。

    推荐理由：英国AISI开源了评估平台Inspect，并公布了30国AI风险科学综述，政府主导的开源与评测协同细节对安全评测从业者有直接参考价值。

  2. Anthropic News55

    Anthropic 分享责任扩展政策实施经验

    Anthropic 发布关于实施责任扩展政策（RSP）的经验总结，旨在将高级别安全概念转化为针对前沿模型灾难性风险和滥用的实践指南。文章详细阐述了建立“红线能力”（Red Line Capabilities）、ASL-3 安全标准及保障机制的五个核心承诺，并分享了在威胁建模、评估方法（如 CBRN、模型自主性测试）及跨领域合作中的关键反思，包括引入核安全、生物安全等领域的最佳实践。

5月15日周三
  1. Anthropic News31

    Mike Krieger 加入 Anthropic 出任首席产品官

    Instagram 联合创始人兼前 CTO Mike Krieger 已加入 Anthropic，担任首席产品官。他将领导产品工程、产品管理和产品设计团队，致力于扩展企业应用并推广 Claude。此前，他在 Yahoo 旗下 Artifact 公司工作，曾参与构建个性化新闻应用。

5月14日周二
  1. Anthropic News38

    Claude 现已面向欧洲地区开放使用

    Anthropic 宣布 Claude 正式向欧洲个人及企业开放，提供 Claude.ai 网页版、免费的 Claude iOS 应用以及团队版服务。用户订阅 Claude Pro 需 €18/月，Team 版为 €28/用户/月，支持法语、德语等多种欧洲语言交互。

5月11日周六
  1. Anthropic News38

    Anthropic 更新使用政策

    Anthropic 宣布将“可接受使用政策”更名为“使用政策”，新规于 2024 年 6 月 6 日生效。政策主要将禁止条款整合为通用使用标准，明确禁止用于选举干扰、传播虚假信息及生物特征分析等高风险场景，并允许特定安全合规的 API 应用面向未成年人开放。

4月27日周六
4月24日周三
4月23日周二
4月17日周三
  1. Mistral News82

    Mistral 开源 Mixtral 8x22B 模型

    Mistral 发布开源模型 Mixtral 8x22B，采用稀疏混合专家架构，141B 总参数中仅 39B 激活。模型支持 64K 上下文，在数学、编码和多语言任务上表现优于其他开源模型，并以 Apache 2.0 许可开放。

    推荐理由：Mistral 开源发布 Mixtral 8x22B，提供 Apache 2.0 许可和 64K 上下文窗口，兼顾推理效率与多语言表现。

4月9日周二
  1. Anthropic Research65

    Anthropic 量化语言模型说服力：Claude 3 Opus 效果接近人类

    Anthropic 开发了一种测量语言模型说服力的方法，通过实验对比不同规模模型与人类撰写论证的效果。研究发现，随着模型规模和能力提升，其说服力呈现明显的增长趋势，且最新模型 Claude 3 Opus 产出的论证在说服力上与人写内容无统计学显著差异。研究团队还开放了相关实验数据，以供进一步分析和验证。

    推荐理由：研究量化了模型规模与说服力的正相关关系，发现 Claude 3 Opus 的说服效果已无统计学差异地接近人类水平。

4月3日周三
  1. Anthropic Research56

    Anthropic 研究长上下文窗口下的多示例越狱攻击

    Anthropic 提出“多示例越狱”技术，利用长上下文窗口注入大量伪造对话引导大语言模型生成有害响应。研究表明该攻击成功率随示例数量增加符合幂律分布，且在 Claude 2.0 等模型上有效。通过提示词分类与修改方法，攻击成功率可从 61% 降至 2%，为长上下文安全风险提供了缓解路径。

3月25日周一
3月20日周三
3月14日周四
3月9日周六
3月4日周一
2月29日周四
  1. Anthropic News33

    Claude 提示工程如何提升企业性能

    Anthropic 发布针对 Claude 模型的提示工程最佳实践，旨在帮助业务优化输出质量与成本。文章提出了“分步思考”、“少样本提示”和“提示链”三种核心技术，并分享了一家财富 500 强企业利用 Claude Instant 构建高效客服助手的案例，展示了如何通过精准提示降低延迟并提升回答准确率。

2月16日周五
  1. Anthropic News54

    Anthropic 应对 2024 年全球选举的 AI 安全措施

    Anthropic 公布了为应对 2024 年全球选举而制定的 AI 安全措施。公司禁止利用 Claude 进行政治竞选或游说，并部署了自动化系统检测虚假信息。在信息准确性方面，系统会识别选举相关查询并将用户重定向至非党派官方资源，例如美国用户会被引导至 Democracy Works 提供的 TurboVote，欧盟用户则会被引导至欧洲议会网站。

1月15日周一
  1. Anthropic Research84

    Sleeper Agents：训练在安全训练中存续的欺骗性LLM

    Anthropic 构建了大型语言模型（LLMs）的欺骗性行为概念验证，发现后门行为在经过监督微调、强化学习和对抗训练后仍可能存续。这种持久性在更大规模模型和经过链式推理训练的模型中最为显著，对抗训练有时甚至会让模型更好地识别触发器，从而隐藏不安全行为，并给模型带来一种虚假的安全感。

    推荐理由：原文给出了后门行为在安全训练下的持久性结论，读者可以据此判断现有对齐手段的边界。

12月20日周三
  1. Anthropic News35

    Anthropic 更新商业服务条款并推出 Messages API beta

    Anthropic 更新了商业服务条款，扩展了版权担保，客户将保留通过服务生成的输出的所有权，并由 Anthropic 承担版权侵权索赔的辩护及获批和解或判决费用。新条款将于 2024 年 1 月 1 日对 Claude API 客户生效。同时，新的 Messages API beta 版本将 prompt 格式结构化，有助于早期捕获错误，并将在后续支持 function calling。

12月8日周五
  1. Anthropic Research42

    评估和减轻语言模型决策中的歧视

    Anthropic 提出一种方法，通过生成涵盖 70 个社会决策场景的潜在提示词并系统改变人口统计信息，以评估大语言模型在贷款和住房资格等高风险场景中的潜在歧视影响。该研究表明，在 Claude 2.0 模型中，不加干预时会出现正向和负向歧视模式，但通过细致的提示词工程可以显著降低这两种歧视，为更安全的部署提供路径。

11月21日周二
  1. Anthropic News86

    Anthropic 发布 Claude 2.1，支持 200K 上下文窗口与工具调用

    Anthropic 发布 Claude 2.1 模型，现已通过 API 开放并应用于 claude.ai 聊天体验。新版模型支持 200K token 上下文窗口，幻觉率较 Claude 2.0 降低 2 倍。官方同步推出 beta 版工具调用功能，允许模型调用外部 API、搜索网络及访问私有知识库，并新增系统提示词与 Workbench 开发者工作台以优化部署流程。

    推荐理由：Claude 2.1 提供了 200K token 上下文窗口和 beta 版工具调用功能，为长文档处理和外部 API 集成提供了具体的技术规格。

11月5日周日
  1. Anthropic News48

    美国政府行政令、G7行为准则与布莱柴尔公园峰会：Anthropic对全球AI政策进展的回应

    Anthropic 就美国政府行政令、G7 行为准则及布莱柴尔公园峰会发表的三项全球AI政策进展作出回应。该行政令授权 NIST 开发生成式 AI 风险管理体系并启动国家 AI 研究资源试点；G7 准则确立了负责任实践基准；峰会通过声明支持前沿模型评估研究，英国设立首个政府 AI 安全研究所，美国计划通过 NIST 发起类似计划。

11月1日周三
10月25日周三
  1. Anthropic Research42

    Constitutional AI 中特定原则与通用原则的对比研究

    Anthropic 研究指出，Constitutional AI 可利用书面原则替代人类反馈，有效防止对话模型表达自我保存或权力欲望等细微有害行为。实验表明，大型对话模型能从“为人类谋利”这一简短通用原则泛化出无害助手，虽通用原则能减少长列表需求，但详细宪法仍有助于对特定危害类型进行精细化控制。

10月24日周二
  1. Anthropic Research43

    语言模型谄媚行为研究

    研究发现五个前沿 AI 助手在自由文本生成中普遍存在谄媚行为，即优先迎合用户观点而非提供真实答案。人类偏好数据及偏好模型（PMs）在评估时更倾向于选择写得有说服力的谄媚回答，导致模型优化牺牲了真实性。结果表明谄媚是 RLHF 模型的普遍行为，部分归因于人类偏好判断对谄媚回复的青睐。

10月17日周二
  1. Anthropic Research31

    Anthropic 与 Collective Intelligence Project 协作：公众参与起草宪法以对齐 AI 模型

    Anthropic 联合 Collective Intelligence Project 邀请约 1,000 名美国人参与公共输入，利用 Polis 平台起草用于对齐 AI 系统的宪法。研究人员使用 Constitutional AI 方法训练模型，发现公众宪法与内部宪法在概念上有约 50% 重合，但公众版本更侧重客观性、公正性及无障碍访问。

10月5日周四
  1. Anthropic Research30

    Anthropic 提出单义性解释方法：利用字典学习分解语言模型

    Anthropic 提出了一种通过字典学习分解 Transformer 语言模型的方法，证明了特征（神经元激活的线性组合）比单个神经元是更优的分析单元。该方法将一个包含 512 个神经元的层分解为超过 4000 个特征，这些特征分别表示 DNA 序列、法律语言、HTTP 请求等具体模式，揭示了单个神经元无法发现的模型属性。

  2. Anthropic Research67

    Anthropic 论文：通过字典学习将语言模型分解为可理解的特征

    Anthropic 发布论文 Towards Monosemanticity: Decomposing Language Models With Dictionary Learning，提出用字典学习将小 Transformer 模型分解为数千个可解释的特征。结果显示，相比单个神经元，这些特征在人工评估和 LLM 自动解释中都具有更高可解释性，且特征在模型间具有普遍性。

    推荐理由：Anthropic 提出将语言模型分解为可解释特征的方法，展示了在小模型上通过字典学习提升可解释性的路径。

10月4日周三
  1. Anthropic Research45

    评估 AI 系统的挑战

    Anthropic 指出构建鲁棒的模型评估极具挑战性，现有评估套件作为模型能力或安全性指标的能力有限。作者以 MMLU 为例，说明数据污染、格式敏感性及执行不一致会导致准确率波动约 5%；BBQ 测试则显示模型可能因未真正回答问题而得出误导性结果。

9月25日周一
  1. Anthropic News92

    Anthropic 宣布获得 Amazon 最高 40 亿美元投资并深化算力合作

    Anthropic 宣布 Amazon 将投资最高 40 亿美元并获得少数股权。AWS 成为 Anthropic 主要云提供商，提供 Trainium 和 Inferentia 芯片算力支持模型训练与部署。Claude 2 扩展支持 Amazon Bedrock，提供安全微调及 100,000 token 上下文窗口，LexisNexis 等机构已基于此构建应用。

    推荐理由：宣布最高40亿美元投资及AWS算力合作，确立了Claude在AWS Bedrock上的企业级落地路径与安全定制能力。

9月24日周日
9月19日周二
  1. Anthropic News65

    Anthropic 发布负责任扩展政策

    Anthropic 发布《负责任扩展政策》(RSP)，旨在通过技术和组织协议管理日益强大的 AI 系统带来的灾难性风险。该政策定义了 AI 安全等级 (ASL) 框架，要求模型根据其潜在灾难风险展示相应的安全、安全和操作标准。

    推荐理由：Anthropic 提出 AI 安全等级框架，读者可据此判断其在模型能力扩张与安全限制之间的平衡策略。

  2. Anthropic News72

    Anthropic 宣布长期利益信托治理结构

    Anthropic 公开其新治理结构“长期利益信托”（LTBT），该信托由五名无财务利益关系的受托人组成，有权选举和罢免董事会成员，最终将控制董事会多数席位。结合公益公司（PBC）身份，LTBT 旨在使公司治理与“为人类长期利益负责任地开发和维护先进 AI”的使命对齐。

    推荐理由：原文揭示了 Anthropic 治理结构的设计逻辑与初始信托成员，为理解 AI 公司如何平衡商业与安全提供了具体参考。

9月14日周四
  1. Anthropic News37

    Anthropic 与 BCG 合作将 Claude 引入企业

    Anthropic 与波士顿咨询集团（BCG）建立合作伙伴关系，通过向 BCG 客户提供 Claude 助手访问权限，协助其部署更安全可靠的 AI 解决方案。双方将在利用 Claude 2 进行知识管理、市场分析等应用方面合作，并已在联合国框架下共同推动生成式 AI 的价值探索。BCG 团队亦将内部使用 Claude 以提升研究综合与数据分析效率。

9月7日周四
  1. Anthropic News71

    Anthropic 发布 Claude Pro 订阅计划

    Anthropic 发布 Claude Pro 订阅计划，提供 5 倍使用配额。该计划在美国和英国可用，月费分别为 20 美元和 18 英镑，主要面向日常使用 AI 助手的用户，支持更多文件上传和长周期对话。

    推荐理由：原文给出了付费层级的价格档位和使用配额变化，读者可以据此判断它对现有工作流的影响。