⌘ K
… 读取采集状态 同步中...
雷
原文
Qwen Blog·· 2025-01-21AI 评分30

全局批次负载均衡如何近乎零成本优化 MoE 大模型训练

Global-batch load balance almost free lunch to improve your MoE LLM training

AI 导读

作者提出将 MoE 模型的负载均衡损失从 micro-batch 级别扩展至 global-batch 级别,仅需同步专家选择频率向量,几乎不增加通信开销。在 3.4B(激活 0.6B)、15B(激活 2.54B)和 43B(激活 6.6B) 的 MoE 配置上,该方法在所有任务中性能优于 micro-batch 基线,并显著促进专家域专精。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Qwen Blog · qwenlm.github.io