⌘ K
… 读取采集状态 同步中...
雷
原文
AWS Machine Learning Blog· Mona Mona·· 9 小时前AI 评分30

Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程实践

Mixture-of-Experts kernel engineering on Amazon SageMaker AI

AI 导读

Amazon SageMaker AI 通过实施融合 MoE 内核优化,在 NVIDIA H200 上将大规模 MoE 模型的端到端输出吞吐量提升 2-4%。该优化利用 Swap-AB 技术重新对齐矩阵运算以适配 Hopper 架构,并已上游至 vLLM 0.24.0 及更高版本。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:AWS Machine Learning Blog · aws.amazon.com