⌘ K
… 读取采集状态 同步中...
雷
原文
人工智能学家· 人工智能学家·· 21 天前AI 评分41

清华与斯坦福团队在 LLM 内部发现价值与多巴胺神经元，定位奖励子系统

清华与斯坦福团队在LLM内部发现两种神经元，定位奖励子系统

AI 导读

斯坦福与清华大学团队发现 LLM 隐藏状态中的奖励信息集中在稀疏神经元群，即奖励子系统，包含编码状态价值的价值神经元和编码逐步奖励预测误差的多巴胺神经元。实验显示在 Qwen-2.5-7B 中置零 1% 价值神经元可使 MATH500 准确率从 75.2% 降至 20.3%，而利用多巴胺神经元辅助推理可在该任务上将准确率提升至 77.8%。

本文当前提供导读和图片预览，完整图文请查看原文。

来源：人工智能学家 · mp.weixin.qq.com

#论文/研究#推理#数据/训练