⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 26 天前AI 评分1

流式推理优化,让机器人决策延迟低至0.68秒

AI 导读

流式推理优化,让机器人决策延迟低至0.68秒 SimpleMemVLA 团队 投稿 量子位 | 公众号 QbitAI 不增加专用记忆模块,直接把带时间戳的视觉历史作为上下文,机器人能做到什么? SimpleMemVLA给出的答案是:**在论文比较范围内,四项记忆基准的总体成绩达到SOTA,并在不更新参数的情况下,表现出视觉上下文学习能力。**它也是**MiniCPM-RobotManip中上下文记忆和流式记忆的支撑技术。** 这条路线的核心很直接:让机器人结合过去发生的事情,理解眼下该做什么。被遮住的物体在哪里、某个动作已经完成几次、任务进行到了哪一步,都可以从**原生视觉历史**中获得依据。 为什么现在可以这样做?按论文设置,60秒历史仅占约5.6k token,而主干模型支持262k token上下文。分钟级历史已经能够直接放入模型,不必一开始就将其压缩成另一套记忆表示。 该工作由面壁智能联合华中科技大学、中国人民大学、清华大学、北京大学、北京智源人工智能研究院和北京中关村学院共同提出。* 原生视觉上下文,让机器人在长任务中记得更准 从遮挡、计数到长程交互,SimpleMemVLA

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com