Loop才是精髓：Physical AI技术全面综述
PaperAgent · 人工智能
PaperAgent 2026-11-05 10:40 湖北 大模型已经能解释如何拿起玻璃杯，但真正执行时，还要判断重量、摩擦、滑移与接触力。这个差距，正是 Physical AI 的入口。 这份 388 页的综述试图回答一个核心问题： AI 能否在真实世界里感知、行动、验证，再根据结果修正自己，形成一个 closed loop？ 图 1.3 本专著框架内的具身 AI 与物理 AI 具身 AI 强调智能体的身体如何塑造其感知与行动。 物理 AI 强调对真实物理过程的 闭环（closed loop） 干预。二者在物理部署的具身系统中存在重叠。 分界线不是机器人外形，而是现实闭环 将 Physical AI 定义为一种系统能力：感知物理状态，维持与任务相关的表征，通过物理接口执行干预，并利用反馈达成目标。 图 1｜Physical AI 通过物理接口形成交互闭环（ closed loop） 它不以人形机器人为前提。机械臂、自动驾驶汽车、自动实验室，乃至分布式电网，都可能具备这种能力。 关键不是有没有身体，而是观察、决策与物理后果能否形成闭环。 只会识别图片是感知，只会按脚本运动是自动化；能依据结果调整后续行动，才进入 Physical AI 的讨论范围。 真正的主角不是单模型，而是整套系统 把 闭环 拆成四个相互依赖的要素： 状态感知与估计、世界模型、决策规划与控制、反馈与多尺度适应 。数据与仿真提供训练基础，传感器、执行器和端边云系统负责落地。 图 2｜Physical AI 核心要素及其关系 反馈也不是单一回路。毫秒级回路修正位置与力，秒级回路根据任务进展重规划，更慢的离线回路则利用部署数据持续学习。于是，系统能力无法只看某个模型的 benchmark；传感器校准、执行器精度、通信时延与安全联锁，都会改变最终表现。 数据的价值，取决于离真实行动有多近 物理数据难以直接照搬语言模型的扩展逻辑。论文的数据金字塔显示，塔尖是目标机器人自身产生的可执行命令与真实后果，最相关也最昂贵；塔底是互联网图文与视频，规模最大，却不包含机器人的动作和力。 图 3｜越靠近塔尖，数据与目标本体越相关，采集成本也越高 中间的手持设备、可穿戴设备与人类视频，在成本和可迁移性之间搭桥。仿真被单独画在一旁，因为它能低成本生成动作轨迹，但后果由模型计算， 有效性取决于仿真与现实的校准，而不是画面是否逼真 。 因此，数据策略不是单纯堆积时长，而是同时获得多样性与行动相关性，并把部署中的失败、接管和恢复重新送回训练。 世界模型负责在行动前预演后果 如果说数据提供经验，世界模型就把经验组织成可查询的内部状态。它要回答的不只是下一张图像是什么，更是 采取某个动作后，物体、接触关系与任务成功概率会怎样变化 。 图 4｜世界模型通过观察、状态、转移与决策查询服务规划器 这也划清了它与视频生成器的边界。视频可以看起来连贯，却未必正确响应推、拉等干预；世界模型则必须保留决策所需的隐藏状态与不确定性。例如抓杯子时，视觉接触不等于稳定抓取，系统还要根据力与滑移反馈修正判断，再比较候选动作的后果。 表 1｜不同系统接口能够证明什么、不能证明什么 VLA 把通用知识接到可执行动作上 视觉语言动作模型 VLA 是这条技术链的关键接口。它复用视觉语言模型的语义知识，再加入动作输出模块，把相机观测、指令和本体状态转换为一段可执行动作。 图 5｜共享自注意力与交叉注意力两类 VLA 结构 归纳出两类主流结构。混合 Transformer 让动作专家逐层读取骨干表示，耦合更紧；交叉注意力则让独立动作专家按需读取特征，便于缩小模型并采用不同运行频率。 架构取舍的本质，是知识复用、控制精度与实时性之间的平衡。 但接上动作头并不等于获得物理智能，仍需真实反馈验证动作是否产生了预期结果。 落地看系统安全，未来看可靠复制 Physical AI 的错误会留下现实后果。传感器饱和、通信延迟、芯片过热、执行器磨损，都可能沿感知、控制、执行链路放大为碰撞或失稳。因此， 安全不能只验收模型准确率，也不能止于上线前测试 ，而要覆盖故障注入、独立保护、运行监控、维护更新与事后复评。 图 6｜从跨层故障传播到全生命周期安全治理 面向未来，论文提出基础模型融合、自我进化智能体、软硬件协同、物理智能体互联网与科研技术生态五个方向。路线却很务实：先形成可靠任务闭环，再建设可复用、可迁移系统，最后才走向跨节点协作。 图 7｜Physical AI 的五项发展重点及阶段性研究视野 Physical AI 的真正衡量单位，不是一次精彩演示，而是持续、可验证、可恢复的真实工作。 Physical AI：Concepts，Techniques，and Challenges arXiv：2610.27045 动手设计AI Agents