⌘ K
… 读取采集状态 同步中...
雷
原文
Anthropic Research·· 2022-08-22AI 评分18

语言模型红队测试以减少危害:方法、规模效应与经验教训

Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned

AI 导读

Anthropic 研究了 2.7B 至 52B 参数语言模型的红队测试规模效应,发现基于人类反馈的强化学习(RLHF)模型在规模化后更难被攻破。研究发布包含 38,961 个攻击案例的数据集,分析发现有害输出涵盖从冒犯性语言到隐性不道德行为等多种类型。团队详尽披露了红队测试的指令、流程及统计方法,旨在推动社区建立共享的技术标准。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Anthropic Research · anthropic.com