⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2023-03-16AI 评分25

Anthropic 研究:Transformer 残差流中的特权基

Privileged bases in the transformer residual stream

AI 导读

Anthropic 研究发现,Transformer 残差流中单个坐标在实践编码上具有特殊意义,推翻了理论上基向量任意的假设。研究初步指出,这种基对齐现象主要归因于 Adam 优化器中逐维归一化器。同时,排除了层归一化和有限精度浮点计算导致该现象的可能性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com