⌘ K
… 读取采集状态 同步中...
雷
原文
机器之心· 机器之心·· 10 天前AI 评分40

亚马逊与杜克大学研究揭示大模型后训练中极端稀疏监督可提升推理能力

万分之一——大模型后训练中的极端稀疏监督

AI 导读

亚马逊与杜克大学研究表明,在 On-Policy Distillation 后训练中,仅保留单条 rollout 中 0.025% 的 token 梯度信号,学生模型推理性能即可显著提升。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:机器之心 · mp.weixin.qq.com