⌘ K
… 读取采集状态 同步中...
雷
原文
机器之心· 机器之心·· 14 天前精选AI 评分74

清华与无问芯穹等开源具身端侧推理引擎 APXInf,推理延迟降至 26ms

提速10.7倍!这个端侧推理引擎一开源,机器人本体跑大模型终于不卡了

AI 导读

清华大学联合无问芯穹与上海交通大学开源了面向具身模型的端侧推理引擎 APXInf,在 Thor 芯片 FP8 配置下将 π0.5 推理延迟从 278ms 降至 26ms,端到端提速约 10.7 倍,控制频率达 38.46Hz。

推荐理由

原文用具体延迟数字和分层验证设计说明了端侧推理优化如何落地,可迁移给正在部署具身模型的团队。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:机器之心 · mp.weixin.qq.com