⌘ K
… 读取采集状态 同步中...
雷
原文
X:Greg Brockman (@gdb)·· 2026-09-02AI 评分1

Microsoft 论文:滑动窗口注意力在低内存推理上胜过线性注意力改造

AI 导读

Microsoft 论文《Sliding-window beats linear attention》发现,目标是降低推理内存时,免训练的滑动窗口注意力(SWA)优于多数改造的线性注意力方法,只需保留小窗口加前 4 个 sink token。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:X:Greg Brockman (@gdb) · x.com