⌘ K
… 读取采集状态 同步中...
雷
原文
新智元· 新智元·· 22 小时前AI 评分43

MiTA 提出快权重视角下的注意力五维分类框架,NeurIPS 2026 接收并开源

注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26

AI 导读

北京邮电大学团队提出混合专家注意力模型 MiTA,将其发展为五维分类框架,已在 NeurIPS 2026 接收并开源代码。该模型通过地标查询构造可复用专家,在 LRA 长序列任务上将训练时间从 10.6 小时降至 2.4 小时,平均准确率 58.91%。在 64K 至 1024K 序列长度下,相比完整注意力分别获得 19 倍、56 倍和 159 倍推理加速。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:新智元 · mp.weixin.qq.com