⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 28 天前AI 评分1

NVIDIA 技术博客解析 Dense 与 MoE 模型的激活参数、吞吐差异及选型方法

AI 导读

NVIDIA 技术博客讲解 dense 与 MoE 两种架构的参数使用差异:MoE 通过 router 网络在每个 token 只激活部分 FFN 专家,30B 总参数的 Nemotron 3.5 Lightning 每 token 仅激活 3B。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · developer.nvidia.com