⌘ K
… 读取采集状态 同步中...
雷
热点事件历史事件

Score Centering 解决 LLM 强化学习训推不一致

1 篇报道1 个报道来源5 天前更新

先了解这件事

AI 综述

2026年10月8日报道指出，在大语言模型（LLM）强化学习（RL）中，由于训练与推理引擎差异及异步采样，传统重要性采样（TIS）存在不稳定性。为此，研究提出“Score Centering”方法，通过中心化梯度消除偏差（drift）。为降低计算开销，该方案采用 top-k（通常设为32或128）近似。此外，为处理残余协方差误差，需结合截断 TIS，从而在离策略（off-policy）场景下有效维持 RL 训练的稳定性。

AI 根据报道生成 · 5 天前更新

最新进展10月8日 00:02
提出 Score Centering 结合截断 TIS，利用 Top-k 近似解决 LLM RL 训推不一致及稳定性问题。

报道时间线

沿着报道，了解事件的不同侧面。

10月8日
  1. 大模型智能
    从 TIS 到 score centering，重新理解 LLM RL 中的训推不一致

    LLM RL中训推引擎差异及异步采样导致TIM不稳定。Score Centering通过中心化梯度消除drift，采用top-k（通常32或128）近似降低计算开销。为处理残余协方差误差，该方案需结合截断TIS，在off-policy场景下有效维持RL训练稳定性。

本事件热度走势

当前热度 3·可比范围峰值 7（10月8日 14:00）·近 24 小时可比范围变化 -51%

0246810月8日14:0010月9日00:0010月9日11:0010月9日21:00

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。