⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-04-12AI 评分55

Anthropic 发布利用强化学习训练助手的研究

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

AI 导读

Anthropic 研究人员应用偏好建模和基于人类反馈的强化学习(RLHF)来微调语言模型,使其成为有帮助且无害的助手。研究发现这种对齐训练提升了几乎所有 NLP 评测的性能,并与 Python 编码和摘要等专业技能的训练完全兼容。研究探索了在线迭代训练模式,每周利用新的人类反馈数据更新偏好模型和 RL 策略,并识别出 RL 奖励与策略及其初始化之间 KL 散度平方根之间大致呈线性关系。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com