和 Robotic × LLM 研究员聊：LLM 会“吃掉”机器人模型吗？
海外独角兽 · 商业与创投
原创 Best Ideas 2026-11-06 17:08 北京 LLM 冲击下，具身公司拼的是数据、硬件、部署一体化 Astra、Opus 等 LLM 对 robotic 的冲击，远远超出了许多 robotic 研究员的预期： LLM 也开始能做机器人的 “ 小脑 ” 了。 过去，一种常见的分工是，LLM 先理解任务、制定计划，再由专门的机器人模型生成动作。但今天这个分工开始松动： • “LLM 降临派”认为，既然 LLM 已经开始生成动作，随着模型继续变强，任务规划和动作生成就可能交给同一个模型。具身公司可以借此更快做出产品，但自研模型的部分优势也可能被追上。 • 实际部署视角出发，模型能否让机器人持续达到客户的要求是最根本的。生成有效动作之后，机器人还要满足速度、质量和稳定性的要求。因此，专门的机器人模型仍然值得重视。 这些分歧背后，更根本的问题是：LLM 的进步究竟改变了机器人的哪些研究路线？哪些能力可以直接从通用模型中获得，哪些仍需要专门的数据与训练？ 围绕这些问题，我们组织了一场 Best Ideas 线下活动，邀请 robotic 和 LLM 研究员坐在一起，交流各自的实验、观察和判断。我们整理了活动中可公开的部分 notes，分享给大家： 1. 机器人是否还需要独立的“小脑”模型，是今天 robotics researcher 们之间的主要分歧； 2. 给机器人加上记忆，不等于它就会 in context learning； 3. 机器人对动作精度的要求，可能是近期 UMI 数据需求上升的原因之一； 4. LLM 让研究者重新看好 simulation，但环境搭得快，不等于物理模拟得准； 5. 灵巧手的价值，是让机器人能用人类现有工具完成整套工作流程； 6. 具身公司要想清楚自身定位：是让模型更聪明，还是让机器人干活更快、更便宜？ 我们也期待更多来自 frontier labs 的研究员和 Physical AI 、 AI4S 方向的研究者一起参加未来的线下讨论。如果你感兴趣，非常欢迎添加微信 Unicorn_observer ，和我们聊聊你正在做的研究，以及希望交流的话题。 / Insight 01 LLM 开始能做机器人的“小脑” 1. Astra 等 LLM 在机器人控制中的表现，远远超出了许多 robotic researcher 的预期：虽然之前 LLM 就已经能帮助机器人理解任务、制定计划，但这次最值得重视的变化，是 LLM 开始直接生成机器人动作。也就是说， LLM 的能力正在从理解任务、制定计划的“大脑”（System 2），延伸到负责动作生成的“小脑”（System 1）。 2. 以 Astra 为例，虽然它不是专门为操作机器人训练出的模型，却能根据视觉输入，生成机器人位置、姿态或关节层面的控制指令，它还能随当前场景灵活生成机器人双手操作轨迹，而不只是复现固定轨迹。 3. 在 RoboDojo 仿真评测中，Astra 在推理强度设为 medium、采用简单零样本设置的情况下，平均得分为 28.97（满分 100），平均成功率为 22.48%，超过了当时参评的大部分 VLA、WAM 类机器人基础模型。 在这个测评中，得分反映任务完成了多少，成功率则要求完整做完任务。 4. 不过，28.97 分也不一定是 Astra 现有能力的上限。为了公平比较不同模型，RoboDojo 最初的测试采用了较简单的 harness，基本只让模型直接输出动作，如果可以让模型在操作后检查结果、分析错误，再调整下一步动作，完成任务的效果可能进一步提高。 5. 有观点预计， 到 2026 年底，会有模型在 RoboDojo 评测中拿到接近满分的成绩。 6. Astra 让 robotic researcher 感到震撼的另一个能力，是跨本体泛化： 即同一个模型可以根据机器人自身的身体信息和执行反馈，逐渐适应不同结构的机器人。 • 一位测试者向 Astra 提供了自制机器人的外观、自由度、夹爪或手的类型等信息后，就让 Astra 操作机器人，Astra 起初会出错，但经过少量重试和反思，控制逐渐变准； • 另一位测试者让 Astra 直接控制陌生机器人的关节，最初几帧动作较乱，但随着尝试继续，控制也越来越准确，动作也越来越流畅。 7. 但也有 researcher 认为，Astra 的这些表现并不意味着机器人能力发生了质变，因为 模型在操作机器人上的表现更像是已有的 coding 和游戏能力的自然延伸。 考虑到 LLM 早就能正确理解任务意图，这一轮能力提升可能主要来自更准确的三维位置估计。 • 比如在测试中，模型会花大