直播预告！聊聊跨本体移动操作世界模型 Ropedia W0
青稞AI · 人工智能
青稞编辑部 2026-11-05 00:00 河北 以下文章来源于：青稞具身智能 青稞具身智能 青稞=青年科学家！聚焦具身智能World Model、VLA、RL等核心前沿技术。拒绝浅层科普，只做硬核干货与同频交流！ 主页：http://qingkeai.online/ 青稞社区为科研人员提供成果宣传支持，如有优秀研究成 主页： http://qingkeai.online/ 青稞社区为科研人员提供成果宣传支持，如有优秀研究成果分享推广，投稿联系：aiFreeCode 机器人数据不够用，是个老问题。 更麻烦的是换个本体就不好用：同一段“把杯子放进盒子”的视频，夹爪录的换到灵巧手上，手型和接触全变了；机械臂、人形机器人、夹爪、灵巧手，动作空间对不上，一批数据往往只能喂一个本体。另一边，人类的第一人称视频多到用不完，可它和机器人之间隔着一层本体差异。 来自南洋理工大学 MMLab@NTU、Ropedia 等机构的团队提出 Ropedia W0：把人类的第一人称经验和机器人数据接到同一条预训练路径上，并开源了代码。 工作：Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience 链接： https://arxiv.org/abs/2610.26855 项目主页： https://ropedia.github.io/ropedia-w0/ 代码： https://github.com/Ropedia/ropedia-w0 团队：Tianqi Liu、Hanfei Zhao、Qifeng Liang、Hui En Pang、Jiarui Xu、Sayang Mu、Penghao Qiu、YingSheng Zhang、Jun Wang、Ziang Cao、Mingze Sun、Yukang Cao、Fangzhou Hong、Zhaoxi Chen、Ziwei Liu 机构：南洋理工大学（MMLab@NTU）、Ropedia、杜克大学、加州大学圣地亚哥分校（UCSD）、清华大学 一个接口，让人类和机器人说同一种“动作” W0 的答案是相机位姿加投影骨架。 移动靠相机位姿：人走路、机器人移动，视角怎么变，由位姿描述。操作靠投影骨架：手在画面里怎么动，就用投影到图像上的骨架表示。 人类的骨架来自 21 个手部关键点；机器人这边，用本体原生的前向运动学投影，再加大量人工关键点标注和修正，把不同本体的末端执行器对齐到同一张图像坐标系。 接口统一之后，移动和操作进了同一套表示，人形、机械臂、夹爪可以共用同一个模型。 图：左右是人和机器人的第一人称预测，中间是统一的相机/骨架条件；底部曲线是随人类数据量增加的变化。来源：arXiv:2610.26855 数据：1 万小时人类视频 + 3 千小时机器人数据 训练数据叫 Xp-Data。 人类部分是 14 个公开第一人称数据集加自采；机器人部分是 13 个公开数据集。所有数据过五阶段清洗管线，最后留下约 1 万小时人类视频和 3 千小时机器人视频。 标注分三层：几何（相机位姿）、运动学（骨架）、语义（描述文本）。有了这三层，人类数据和机器人数据才能进同一个训练集。 图：人类和机器人数据经过五阶段清洗，合成 Xp-Data。来源：arXiv:2610.26855 模型：一个视频扩散模型，两种规模 W0 是一个 latent video diffusion，输入初始观测、文本和运动学条件，预测未来的第一人称视频。 两种规模：dense 5B；A14B MoE，基于 Wan2.2-I2V-A14B，约 27B 总参、14B 激活。训练分两段：先用人类视频预训练，再用人类加机器人的混合数据做 mid-training。 条件注入也分开：空间对齐的条件（相机射线图、骨架渲染图）直接加到视频 token 上，其余上下文走 cross-attention。 图：初始观测、文本与运动学条件怎么进入视频扩散模型。来源：arXiv:2610.26855 评测：5B 对上 14B、64B 评测覆盖五个机器人基准：DreamDojo、Ψ0、ω-HOME、Xp-Teleop、AgiBot，外加人类第一人称的留出集。其中 Xp-Teleop 是新搭的长时程基准，约 1 小时灵巧人形遥操作数据，覆盖六类家务活动。 DreamDojo 上，1% 的后训练预算，5B 的 In-lab PSNR 是 20.85，14B 的 DreamDojo 是 18.98；100% 预算时，A14B 23.22 对 21.41。 Ψ0 上，A14B 零样本 17.36 dB，高过 Cosmos3-Nano（16B）全数据训练的