⌘ K
… 读取采集状态 同步中...
雷
原文
量子位· 量子位·· 1 天前AI 评分56

新研究提出推理时直接隐状态对齐方法DHSA,256-16384个控制参数达DPO水准

偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准

AI 导读

成都大学等团队提出直接隐状态对齐(DHSA),通过在推理时直接控制隐状态来实现偏好对齐,而非修改基座权重。 其核心是残差竞争图(RCM)用于定位偏好相关组件,结合因果激活状态转移(CAST)仅更新少量控制参数(256至16384个),在GPT-J、Llama-3等模型上达到与DPO相竞争的对齐水平,且支持在prefill阶段单独干预。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:量子位 · mp.weixin.qq.com