⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2023-10-05AI 评分30

Anthropic 提出单义性解释方法:利用字典学习分解语言模型

Towards monosemanticity: Decomposing language models with dictionary learning

AI 导读

Anthropic 提出了一种通过字典学习分解 Transformer 语言模型的方法,证明了特征(神经元激活的线性组合)比单个神经元是更优的分析单元。该方法将一个包含 512 个神经元的层分解为超过 4000 个特征,这些特征分别表示 DNA 序列、法律语言、HTTP 请求等具体模式,揭示了单个神经元无法发现的模型属性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com