⌘ K
… 读取采集状态 同步中...
雷
原文
Hugging Face Blog·· 21 天前精选AI 评分77

Hugging Face 宣布 transformers 支持运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 宣布 transformers 新增对 GGUF 量化模型的支持，允许在本地 Apple Silicon 设备上通过熟悉的 transformers API 加载和推理。

推荐理由

在 transformers 中复用 llama.cpp 的 Metal 内核，用户可直接通过标准 API 运行 GGUF 量化模型。

本文当前提供导读和图片预览，完整图文请查看原文。

来源：Hugging Face Blog · huggingface.co

#产品更新#部署/工程#Hugging Face