⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-09-14AI 评分36

Anthropic 研究:叠加效应下的小模型表征分析

Toy models of superposition

AI 导读

Anthropic 研究利用在合成数据上训练的小型 ReLU 网络,探讨模型如何在维度数少于特征数时实现“叠加”表征。该机制在特征稀疏时能实现超越线性模型的压缩,但代价是产生干扰,需通过非线性滤波处理。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com