⌘ K
… 读取采集状态 同步中...
雷
原文
人工智能学家· 人工智能学家·· 2026-08-21AI 评分36

DeepMind Recirculation 技术:深层激活回流,小模块超越全量微调

DeepMind又改Transformer了:深层激活回流,小模块反超全量微调

AI 导读

DeepMind 提出 Recirculation 机制,通过让深层激活回流至浅层更新内部状态,无需修改基础模型权重。结合小型 MLP 生成逐维回流系数后,该方案在 9 个语言建模数据集上平均困惑度降低 23.0%,效果略优于全量微调的 21.6%。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:人工智能学家 · mp.weixin.qq.com