⌘ K
… 读取采集状态 同步中...
雷
原文
量子位· 量子位·· 27 天前AI 评分50

英特尔推出 KV Shrink 方案，利用 CPU QAT 加速优化大模型 KV Cache

把记忆交给CPU，大模型会变快

AI 导读

英特尔提出基于 CPU 的 KV Cache 优化思路，通过 QAT 硬件压缩将缓存空间降幅提升至 20% 至 30%。在 Qwen3-32B 模型测试中，KV Shrink 方案使 TTFT 最高获得约 5 倍加速。该方案通过分层存储与硬件压缩结合，降低数据中心推理成本。

本文当前提供导读和图片预览，完整图文请查看原文。

来源：量子位 · mp.weixin.qq.com

#教程/实践#部署/工程#推理