⌘ K
… 读取采集状态 同步中...
雷
原文
大模型智能· Mind·· 2026-08-31AI 评分55

Macaron-V1 长上下文推理实践:分级缓存、投机解码与正交分片

分级缓存 + 投机解码 + 正交分片:Macaron-V1 的长上下文推理实践

AI 导读

Mind Lab 的 Macaron-V1 通过 HiCache 分级缓存、EAGLE 投机解码及 PD 分离结合正交分片优化,解决了长上下文高并发下的显存瓶颈。在 DCP=4 配置下,解码侧 KV 容量线性扩展,TPOT 仅增加约 5% 到 15%,系统稳定承载并发数从 20–40 提升至 100+,峰值解码吞吐从约 800 升至约 1800 token/s。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:大模型智能 · mp.weixin.qq.com