⌘ K
… 读取采集状态 同步中...
雷
原文
智东西· 李水青·· 13 天前AI 评分42

Kimi K3 推理优化:浪潮信息与 Inferact 分别推出超级算子与内核级方案

硅谷扔出“巨内核”,中国团队祭出“超级算子”,万亿参数模型效率战打响!

AI 导读

浪潮信息发布元脑SD200 Ultra超节点,通过超级算子融合实现Kimi K3 Token生成时延5.85毫秒。Inferact开源tpu-megakernels,利用16颗TPU v7将K3装入单个内核,低并发Decode吞吐达709 tokens/s。两者均通过打破算子边界提升万亿参数模型推理效率。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:智东西 · mp.weixin.qq.com