⌘ K
… 读取采集状态 同步中...
雷
原文
Hugging Face Blog·· 2026-08-10AI 评分50

Hugging Face 论文提出离线 Top-K Logits 与融合分块 KL 损失,大幅降低 LLM 知识蒸馏显存成本

Making Knowledge Distillation Cheap Enough to Run at Scale

AI 导读

Hugging Face 论文提出两项系统优化:缓存教师模型 Top-K logits 实现离线蒸馏,及融合分块 KL 损失避免构建完整词表矩阵。针对 gpt-oss-120b 在 32K 序列下的训练场景,该方法将显存峰值从约 250GB 降至 128GB,使单 GPU 完成长上下文知识蒸馏训练成为可能。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Hugging Face Blog · huggingface.co