⌘ K
… 读取采集状态 同步中...
雷
原文
极市平台· 极市平台·· 2026-08-07AI 评分55

苏剑林解读 K3 架构设计:MoE 与 MLA 的取舍逻辑

苏剑林:浅谈K3,模型架构的下一步,可能不在颠覆而在最小改动

AI 导读

苏剑林撰文拆解 K3 的架构设计思路,K3 = KDA + MLA + Stable LatentMoE + AttnRes,训练优化器沿用 Moonlight 版 Muon 并改为 Per-Head 形式。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:极市平台 · mp.weixin.qq.com