⌘ K
… 读取采集状态 同步中...
雷
原文
Ai2 News·· 9 天前AI 评分56

Ai2 发布 Olmo-core 3:面向万亿级参数 MoE 的开源训练基础设施

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI 导读

Ai2 正式发布 Olmo-core 3,这是一个支持万亿参数级混合专家(MoE)模型训练的开源框架。在 8 块 NVIDIA B300 GPU 上测试显示,该新栈将 47B 参数 MoE 模型的训练吞吐量提升至 52,000 tokens/s/GPU,相比早期 FSDP 实现提高了约 2.7 倍。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Ai2 News · allenai.org