A社故意黑化Opus，模拟入侵Hugging Face，抱抱脸：？ 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 咱说这老A社做研究的方式也真是挺邪门的…… A社今早刚发了一项研究结果： 他们自导自演，1:1还原了当时“OpenAI入侵HuggingFace事件”的全过程—— 最终证明了自家的Opus模型也能成功入侵HuggingFace……** 怎么个事？这也要比？？ Opus：这一世，我黑化了，我要拿回上一世我本可以得到的一切。 关注主播，免费看Opus（黑化版）复仇全集。~~ Anthropic的“养蛊”实验 Anthropic此举到底何意味？ 先了解一个概念：reward hacking，奖励投机。 在强化学习中，模型会根据完成任务结果的好坏获得一个奖励分数，分数越高说明任务结果越符合预期。 然而在实践中，很多模型并不会老老实实答题，而是会找到另一条更省事的路径： 不去完成任务本身，而是想办法让评分机制误判为「已完成」，从而骗到奖励。** 这种绕开任务本意，直接对付评分环节的行为，就是reward hacking。 目前业界还没有任何一套通用方案能从根本上解决这个问题。