⌘ K
… 读取采集状态 同步中...
雷
原文
量子位· 量子位·· 9 天前AI 评分28

异构分组混合专家架构MoHGE上线:参数瘦身20%,推理反超传统MoE

异构分组混合专家架构上线:参数瘦身20%,推理反超传统MoE | ACL'26

AI 导读

中国联通数据科学与人工智能研究院团队开源了异构分组混合专家架构MoHGE,在3B和14B规模下较传统MoE削减约20%整体参数量,并在MMLU等基准测试中实现性能反超。MoHGE在ACL 2026正式发表,其设计解决了异构架构中的GPU负载不均衡问题,验证了极高的工业级扩展潜力。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:量子位 · mp.weixin.qq.com