⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 24 天前AI 评分1

一张3090就能跑!全栈国产模型,把AI办公搬到企业本地

AI 导读

一张3090就能跑!全栈国产模型,把AI办公搬到企业本地 henry 发自 凹非寺 量子位 | 公众号 QbitAI AI办公这块蛋糕,中国电信可能要先切走一块了。 这个夏天,大厂们集体加注AI办公。卷Agent能力,卷工作入口,卷企业工作流,Coding之后,办公成了Agent的下一个必争之地。 但就在大伙忙着抢入口的时候,还有一批企业,连门都没进去。 原因现实得很扎心。他们数据不能出域,模型最好就地部署,手头算力又不算富裕。可偏偏,长文档要读,复杂业务要办,该干的活一样不少。 中国电信AI这次最新开源的**Xing4.0-29B-A4B**,瞄准的就是这批需求。 而且,这次带来的还是一款**全栈国产化的轻量级代码智能体大模型**。从国产芯片、国产训练框架,到模型训练和推理部署,整条技术链路都做了系统适配。 为了尽可能实现本地部署,Xing4.0-29B-A4B采用**MoE**架构,**290亿**的总参数,每次推理只激活约**40亿**参数,经过4-bit量化后,一张**RTX 3090**就能运行。 当然,跑起来只是第一步。 企业真正关心的,还是这张显卡上的模型,到底能干多少活

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com