⌘ K
… 读取采集状态 同步中...
雷
原文
量子位 QbitAI· 闻乐·· 4 天前精选AI 评分73

字节Seed团队发现DeepSeek-V4长上下文表现波动源于分块KV Cache压缩的相位敏感性

字节找到了DeepSeek时强时弱的原因

AI 导读

字节Seed团队研究发现,DeepSeek-V4系列模型在长上下文检索中的准确率会随信息输入位置呈周期性波动,最大差距可达40.2个百分点。这种波动源于模型采用的分块KV Cache压缩技术中的“相位敏感性”,即信息在压缩窗口中的相对位置影响了检索效果。后续迭代版本通过优化已显著缩小该差距,研究建议评估此类模型时需测试不同压缩相位的表现。

推荐理由

文章揭示了分块KV Cache压缩导致的相位敏感性,解释了DeepSeek-V4长上下文表现波动的底层原因。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:量子位 QbitAI · qbitai.com