Embodied RSI范式突破机器人零样本泛化瓶颈:Recursia长时任务超英伟达ASPIRE 10个点


机器人 RSI 时刻远远未到达,先看一个动作:机械臂把碗放到盘子上,再抓起杯子,放进刚刚移动过的碗里。 视频地址:https://mp.weixin.qq.com/s/_k6rZzeLXpmmiA5vFyr8BQ 视频 1. 长序列真机任务 T3 :先把碗放到盘子上,再把杯子放进移动后的碗里。 对人来说,这只是顺手收拾桌面。对机器人来说,即使识别、抓取、放置等单项技能已经相当可靠,第二步也发生在一个被第一步改变过的世界里:碗的位置更新了,机械臂的姿态变了,接下来可能看不清、抓不稳或放不准。所以, 核心研究问题是:能否自动通过源任务学习技能,并把源任务上学到的单技能可靠地组合到新的任务中? 来自北京交通大学、北京大学、纽约大学(NYU)、南加州大学(USC)、北京灵行智能科技有限公司等机构的研究团队提出了 Recursia,把这个 “组合泛化问题” 放进具身 RSI,也就是递归自我改进的讨论中。 Recursia 将系统组织为 “内外双层循环”:内层 Agent(Inner Loop)负责当前任务中的观察、决策和代码执行;外层 Agent(Outer Loop)汇总执行经验,提出、验证并保留对共享栈的修改,让有用的改变进入后续循环。 实验发现,Recursia 在目标任务上不进行代码调试的零样本迁移设置下,在 LIBERO-Pro Long 上取得 28%(位置扰动)/ 53%(任务扰动)的成功率,比英伟达 ASPIRE 分别 高出 5.8 和 15.1 个百分点 ,而 OpenVLA、π₀ 等 VLA 模型几乎全军覆没(0%),π₀.₅ 在两类扰动下分别为 8% 和 1%。另一组迭代分析中,Task 方向的成功率从第 0 轮的 0% 提高到第 18 轮的 43.4%,中间存在波动。按表 1 的真机结果,Recursia 的三任务平均成功率比 SD-only 高出 40 个百分点(66.7% vs 26.7%) ;其中 “先把碗放上盘子、再把杯子放进移动后的碗” 这一强组合依赖任务,基线为 20%,Recursia 为 100%。 这条结果之所以值得注意,是因为它发生在具身智能最尴尬的背景上:部分 VLA 路线训练时 overfit,漂亮 demo 背后经常会有很差的泛化,换个物体位置、换句任务描述就当场罢工。训练场景中的高成功率,不等于换个位置、换种任务组合后仍然可靠。LIBERO-PRO 等研究已经揭示,部分 VLA 模型对任务与场景扰动较为敏感。多模态大模型通过代码调用感知与控制工具的 Embodied Agent 路线,为组合泛化提供了另一种可检验的途径,也让一个更激进的设想浮出水面:如果 Agent 能从失败中学习,它能不能改进 “改进自己的那套机制” 本身?[3,4] 这就是 Embodied Recursive Self-Improvement(具身递归自我改进) 所追问的问题。听上去有点科幻:AI 先把自己改得更强,再用更强的能力继续改自己。目前不同工作对 RSI 的使用范围并不完全相同:有的侧重把经验写进记忆或技能,有的进一步改变产生改进的机制。这些工作都有价值,但距离 “机器人能持续研发更强的下一代机器人”,还需要不同层次的证据。 理解 Embodied RSI,关键在于追清楚一件事:这轮到底改了什么,改动有没有留下来,又能不能让下一轮改进做得更好。把这条线理顺,参数、上下文、记忆、Skills、Harness,以及各种眼花缭乱的论文,就能放回各自的位置,也能看清 Recursia 的研究位置。项目主页与代码地址如下。 论文标题:Learning to Compose: Recursive Self-Improvement of Shared Executable Stacks for Zero-Shot Long-Horizon Robot Manipulation 项目主页:https://cocacola-lab.github.io/Recursia-website/ 项目 GitHub:https://github.com/cocacola-lab/Recursia 一、背景:我们距离机器人 RSI 有多远? 用编程举例,Coding Agent 在单次任务中通过 “写码→测试失败→修复→再测试” 的 在线闭环纠错 ,交付更好的产物; 自我改进(SI,也叫自进化) 还要求把经验沉淀为可复用的记忆、技能或工具,让改进在后续任务中持续生效。本文采用更严格的 RSI 讨论口径:这种改进还应增强系统发现、设计和验证下一轮改进的能力, 即让 AI 去改进 “改进 AI 的 AI”。 [5] 从 Agent 的角度来看,RSI 已是兵家必争之地。国外 AI 御三家在本月均有密集动作,可能正在集体冲刺 “奇点”。早

about image