⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 20 天前AI 评分0

音视频生成提速54倍!TurboT2VA:分布蒸馏与轨迹蒸馏的联合蒸馏方案

AI 导读

音视频生成提速54倍!TurboT2VA:分布蒸馏与轨迹蒸馏的联合蒸馏方案 TurboT2VA 团队 投稿 量子位 | 公众号 QbitAI 核心技巧:通过离散一致性蒸馏做warmup、确定初步结构、逐步引入连续一致性蒸馏和分布蒸馏;音视频采用不同shift、量化策略。 文本到音视频的联合生成模型,成本来自两个方向。 长采样轨迹**要求模型反复执行前向计算,**高分辨率音视频token**又让每一次前向都很重。只减少采样步数,单步计算仍然昂贵;只优化算子,多步采样带来的重复计算依然存在。 为降低此计算成本,来自**浙江大学、清华大学、新加坡国立大学**等的研究团队推出**TurboT2VA**。它从两个层面同时处理问题,在模型LTX-2上,训练端将40步教师蒸馏为**4步学生**。 最终,在单张NVIDIA H20、1024×1792分辨率、121帧的测试设置下,TurboT2VA将生成器耗时从318.74秒降至5.83秒,实现**54.67倍**生成器加速。 **△**TurboT2VA总体框架:联合音视频生成、三阶段课程蒸馏与推理加速 核心技巧:先确定生成结构,再逐步引入联合目标

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com