苹果披露机器人“大脑” 研究进展
21世纪经济报道 · 财经与投资
21世纪经济报道 2026-11-07 18:44 广东 据澎湃新闻，苹果研究团队披露机器人“大脑”研究进展。 当地时间11月4日，苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》，披露了人形机器人自主控制系统HALO。 研究团队将该系统部署在宇树科技的G1人形机器人上进行验证，让机器人将在仿真环境中学到的动作，带到陌生的现实房间中执行。 研究团队还公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。 搭载HALO系统的宇树G1机器人在不同真实环境中演示钻过桌底、坐上沙发和推箱子等任务。图片来源：HALO研究团队 项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子，以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境，并根据空间条件调整身体姿态。 执行任务时，HALO由三个层级协同控制。 最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B，在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作。 系统也可选择通过API调用云端模型，以获得更强的推理和规划能力。 中间的动作生成层采用另一款千问模型Qwen3.5-2B。 研究团队将其作为参数冻结的编码器，与负责生成动作的DiT解码器配合，根据机器人看到的画面和当前子任务，规划未来约5秒的全身动作。这一层每秒重新规划约3次，使动作计划能够随环境变化持续更新。 底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒50次的频率运行，结合深度图像和机器人自身状态，将动作计划转化为关节控制指令。 三个层级分别承担任务安排、动作规划和身体控制，协同完成从理解指令到执行动作的过程。 HALO的三层控制架构：视觉语言模型负责任务编排，作生成模块规划全身动作，经强化学习训练的动作跟踪器执行关节控制。图片来源：HALO项目页面截图拼接 据介绍，研究团队使用250张英伟达H100 GPU，耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练，使用64张B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，使用4张H100。 需要指出的是，仿真生成数据并未完全摆脱人工参与。团队表示，新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。 研究团队同时指出，目前机器人主要依赖视觉感知，难以直接感知接触情况；当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降。加入触觉感知，是后续改进方向之一。 推荐阅读：21财经客户端24小时热文 SFC 来源丨澎湃新闻 编辑丨朱芷葵 跳转微信打开