⌘ K
… 读取采集状态 同步中...
雷
原文
Hugging Face Blog·· 2026-08-25AI 评分21

Hugging Face 提出 QAH:压缩至 4-bit 的 60B 模型在 7 项基准上超越其全精度原版

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

AI 导读

Hugging Face 提出量化感知修复(QAH)方法,通过从原始 120B 模型直接蒸馏,修复结构压缩并量化至 MXFP4 的 60B 模型。该 4-bit 模型在 7 项评测基准中得分超过其 bfloat16 全精度版本,兼具更小体积、更低成本与更高精度,验证了 QAH 在长上下文修复中的有效性。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Hugging Face Blog · huggingface.co