⌘ K
… 读取采集状态 同步中...
雷
原文
NVIDIA Generative AI Blog· Tanya Lenz·· 2026-09-10AI 评分17

NVIDIA Dynamo 中何时使用 Encode-Prefill-Decode 分离以加速多模态模型服务

When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving

AI 导读

在 NVIDIA Dynamo 中,对于图像密集型提示、短至中等长度输出以及量化混合专家(MoE)模型,应采用 Encode-Prefill-Decode(EPD)分离策略。该推理优化技术将视觉编码器阶段与预填充及解码阶段分离,最高可实现 5 倍的服务加速。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:NVIDIA Generative AI Blog · developer.nvidia.com