⌘ K
… 读取采集状态 同步中...
雷
原文
NVIDIA Generative AI Blog· Tanya Lenz·· 29 天前AI 评分28

NVIDIA Transformer Engine 加速 JAX 中的无丢包 MoE 训练

Accelerating Dropless MoE Training in JAX with NVIDIA Transformer Engine

AI 导读

NVIDIA Transformer Engine 优化了 JAX 框架下的 Mixture of Experts (MoE) 模型训练,实现了“Dropless”(无丢包)路由策略。该方案通过条件计算提升训练效率,使 DeepSeek、Qwen 和 Mixtral 等 MoE 模型能在较低计算成本下达到或超越稠密模型的性能。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:NVIDIA Generative AI Blog · developer.nvidia.com