⌘ K
… 读取采集状态 同步中...
雷
原文
大模型智能· 大模型智能·· 2026-08-06AI 评分51

苏剑林解析 Kimi K3 的 MoE 与 Attention 架构设计

苏剑林:简单谈谈 K3 的 MoE 和 Attention

AI 导读

苏剑林解析 Kimi K3 的架构设计,重点讨论 Stable LatentMoE 和 MLA 的技术取舍。K3 引入 SiTU-GLU 和 RMS Norm 解决 LatentMoE 稳定性问题,并用分位数平衡改进 Expert 负载均衡。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:大模型智能 · mp.weixin.qq.com