⌘ K
… 读取采集状态 同步中...
雷
原文
大模型智能· 闻乐·· 20 天前AI 评分66

Laya-MLX 开源 1GB 内存本地运行非自回归决策模型

本地版Jev 1G内存就能跑!四舍五入等于不要钱啊

AI 导读

Laya-MLX 在 Apple MLX 框架实现 Laya 架构,421M 参数版本峰值内存占用 943.6MiB,322M 多语言版降至 687.6MiB。在 M3 Max 上,322M 版本短决策 P50 延迟仅 7.39ms,批量处理 50 个问题时吞吐达 395 questions/s,无需云端 API 或 PyTorch 依赖即可本地运行。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:大模型智能 · mp.weixin.qq.com