⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 26 天前AI 评分1

智谱两周跑通10万张国产加速卡:GLM开始“帮自己修路”

AI 导读

智谱两周跑通10万张国产加速卡:GLM开始“帮自己修路” 专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!* 这次智谱没有发布新模型,也没有公布新的榜单成绩。 它晒出来的,是一场“模型帮自己修基础设施”的工程实战。 9月17日,智谱发布技术文章,介绍由GLM-5.3驱动的Infra Agent,如何参与搭建和优化GLM-5.3-Flash的推理系统。 智谱技术原文听起来有点像“AI开始制造AI”,但事情没有这么科幻。 10万张卡,难的不是把模型装进去 智谱称,GLM-5.3-Flash的生产推理服务运行在超过10万张中国制造的AI加速器上。 从模型第一次在新硬件上跑起来,到系统能够承载生产流量,用时不到两周。经过一系列优化后,端到端吞吐量提升到初始基线的约3倍,硬件利用效率和单Token成本达到与主流英伟达GPU相近的水平。 图 1:GLM-5.3-Flash 的端到端吞吐量演变 这些数字很容易成为标题,但真正麻烦的部分在后面。 芯片的内存和带宽有限,部分算子没有成熟支持,软件生态也不够完善。与此同时,系统还要

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com