⌘ K
… 读取采集状态 同步中...
雷
原文
大模型智能· extreme1228·· 5 天前AI 评分23

从 TIS 到 score centering,重新理解 LLM RL 中的训推不一致

AI 导读

LLM RL中训推引擎差异及异步采样导致TIM不稳定。Score Centering通过中心化梯度消除drift,采用top-k(通常32或128)近似降低计算开销。为处理残余协方差误差,该方案需结合截断TIS,在off-policy场景下有效维持RL训练稳定性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:大模型智能 · mp.weixin.qq.com