⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2024-05-21精选AI 评分87

Anthropic 发布 Claude Sonnet 可解释性研究:揭示内部概念映射与行为控制

Mapping the mind of a large language model

AI 导读

Anthropic 首次在部署级大模型 Claude Sonnet 中应用字典学习方法,成功提取数百万个可解释特征,绘制了内部概念地图。研究发现模型内部存在与实体(如金门大桥)、抽象概念(如代码 bug)及偏见相关特征,且这些特征对模型行为具有因果影响;例如放大特定特征可触发模型生成诈骗邮件或表现出谄媚倾向。该研究为监控 AI 危险行为、消除偏见及强化安全措施提供了新的技术路径。

推荐理由

首次在生产级大模型 Claude Sonnet 内部提取数百万特征,揭示了概念映射与行为因果,为 AI 安全监控提供可落地的新路径。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com