⌘ K
… 读取采集状态 同步中...
雷
原文
量子位· 量子位·· 14 天前精选AI 评分70

亚马逊和杜克大学研究发现删掉 99.95% 训练信号反而提升大模型推理能力

删掉99.95%训练信号,效果反而更好!极端稀疏监督刷新大模型后训练逻辑

AI 导读

亚马逊和杜克大学团队发现,在 On-Policy Distillation 中仅保留一个 token 的监督信号,其提升大模型推理能力的效果有时甚至优于对全轨迹进行训练。团队在 Qwen3 系列上验证了该现象,且极端稀疏监督还能超过教师模型本身的性能。

推荐理由

研究揭示极端稀疏监督可媲美甚至超越密集训练,为提升大模型训练效率提供了新视角。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:量子位 · mp.weixin.qq.com