⌘ K
… 读取采集状态 同步中...
雷
原文
Qwen Blog·· 2024-03-28AI 评分62

Qwen Team 发布 Qwen1.5-MoE-A2.7B:1/3 激活参数匹配 7B 性能

Qwen1.5-MoE: Matching 7B Model Performance with 1/3 Activated Parameters

AI 导读

Qwen Team 发布 Qwen1.5-MoE-A2.7B,其 2.7B 激活参数在 MMLU、GSM8K 等基准上匹配 7B 模型性能。该模型通过细粒度专家和共享路由架构,将训练成本降低 75%,推理速度提升 1.74 倍,目前已在 Hugging Face 和 vLLM 提供部署支持。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Qwen Blog · qwenlm.github.io