⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 15 天前AI 评分0

MiniCPM5-2B 社区 EXL3 4-bit 量化版发布

AI 导读

社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · x.com