⌘ K
… 读取采集状态 同步中...
雷
原文
Mistral News·· 2023-12-11精选AI 评分96

Mistral AI 发布开源稀疏混合专家模型 Mixtral 8x7B

Mixtral of experts

AI 导读

Mistral AI 发布开源稀疏混合专家模型 Mixtral 8x7B,其采用 Apache 2.0 许可。该模型总参数量为 46.7B,每个 token 仅激活 12.9B 参数,推理速度比 Llama 2 70B 快 6 倍且性能在多数基准上优于 Llama 2 70B 和 GPT-3.5。

推荐理由

Mixtral 8x7B 在提供 Apache 2.0 许可的同时实现了比 Llama 2 70B 更快的推理速度,为开发者提供了高效且开放的 MoE 模型选项。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Mistral News · mistral.ai