⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-06-17AI 评分26

Anthropic 提出 Softmax Linear Unit (SoLU) 架构以提升模型可解释性

Softmax Linear Units

AI 导读

Anthropic 研究人员提出将激活函数替换为 Softmax Linear Unit (SoLU),在几乎不损失机器学习性能的情况下,显著增加了 MLP 层中具备“可解释性”神经元(即对输入的可阐述属性产生响应的神经元)的比例。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com