⌘ K
… 读取采集状态 同步中...
雷
原文
NVIDIA Generative AI Blog· Michelle Horton·· 8 小时前AI 评分23

ReplaySSM: 重新思考混合模型的状态存储以实现更快的解码

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

针对混合模型解码速度慢的问题,ReplaySSM 提出了一种重新思考状态存储的方法。该方法适用于 NVIDIA Nemotron 3、Qwen3.5至3.8、Kimi-K3 和 GLM-5.3-Flash 等模型,这些模型通过结合 SSM 层(如 Mamba-2)和少量注意力层来加速解码,旨在解决 SSM 层固定大小状态替代随长度增长的关键值缓存所带来的挑战。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:NVIDIA Generative AI Blog · developer.nvidia.com