⌘ K
… 读取采集状态 同步中...
雷
原文
Datawhale· Datawhale·· 26 天前AI 评分48

APXInf 开源具身端侧推理引擎实测:Agent 辅助适配 Qwen3-VL 并在 DGX Spark 上超越 vLLM

Agentic native的具身端侧推理引擎,最新实测来了!

AI 导读

无问芯穹联合清华、上交开源 Agentic native 具身端侧推理引擎 APXInf,已适配 2 款主流具身模型和 3 款芯片,在 Jetson AGX Thor 上达到行业 SOTA 性能。实测 Qwen3-VL-2B 时,通过 Agent 参与优化,在 DGX Spark 上首 token 延迟从 150.7 秒降至 2.51 秒,解码速率超 vLLM 与 SGLang。

本文当前提供导读和图片预览,完整图文请查看原文。

来源:Datawhale · mp.weixin.qq.com