换一句指令，93.2%的成功就无法复现：自动驾驶VLA是真听懂了，还是碰巧开对了？
AI科技大本营 · 人工智能
奇点折射 2026-11-04 20:53 北京 清华AIR等团队发布Language2Drive，给自动驾驶VLA做一场“反事实听话测试” 「以棱镜之思，折射 AI 研究的多维光谱」——学术棱镜是奇点折射公众号推出的精品论文栏目，专注遴选全球顶会顶刊及产业前沿的优质研究成果。我们相信，每一篇扎实的论文都是照亮技术未来的光束，而棱镜，让光芒绽放出应有的色彩。 论文投稿请联系：zhanghy@csdn.net 责备| 梦依丹 出品丨奇点折射（ID：rgznai100） 当 VLA 进入自动驾驶，一个很自然的想象是：乘客说「 前面左转 」、「 跟着那辆绿车 」、「 停进B204 」，车辆便能理解并执行。 但一辆车安全完成行程，并不等于它真的听从了指令——它也可能只是沿着自己最熟悉的路线行驶，碰巧做对了。 近日，来自清华大学智能产业研究院（AIR）、东南大学、上海交通大学、香港科技大学（广州）、阿德莱德大学等高校，以及理想汽车、蔚来、Amazon、AMD 等产业机构的研究团队发布了自动驾驶 VLA 评测基准 Language2Drive。 该论文由 Zihan You 担任项目负责人，Zihan You、Zehua Fan、Wenqi Lyu、Aoqi Wang 为核心贡献者，Yan Wang 为通讯作者。 论文： https://arxiv.org/abs/2610.16634 项目与代码： https://github.com/ZihanYou/Language2Drive 团队没有再问“车开得好不好”，而是追问了一个更基础的问题： 当场景不变、只改变乘客说的话，车辆的行为真的会随之改变吗？ 论文给出的答案并不乐观。 在六个主要 CARLA 系统已经成功的运行中，93.2% 无法在另一条同样可行的指令下组成“双侧成功”。LMDrive的单条严格指令成功率最高，达到 12.24%，但严格配对成功率为 0。整个 CARLA 主评测中，最高严格配对成功率也只有1.04%。 更具反差的是，Alpamayo 1.5 在重建真实场景中取得了 100% 的安全分和 97.17 的 DrivingScore，严格配对成功率却仍然为 0。 这意味着，当前驾驶 VLA 可能已经很会“开车”，却未必真正把乘客的语言变成驾驶行为。一次看似正确的转弯、变道或停车，也可能只是模型沿着默认策略，碰巧开对了。 Language2Drive 整体框架与四类语言控制任务 把“碰巧开对”找出来 Language2Drive 的核心设计叫作 成对反事实单元 （Paired Counterfactual Unit，PCU）。 每个 PCU 都从同一个驾驶场景出发：地图相同，车辆和其他交通参与者的初始状态相同，历史观测相同，连仿真随机种子也保持一致。 测试分成两次独立运行，唯一改变的是自然语言指令。 例如： 在路口左转与直行通过路口； 超过前方车辆与继续跟在它后面； 停进 B204 与停进相邻的 B205； 先到 B208，再去 F206 与先去 F206，再到 B208。 两侧任务都必须安全、合法且物理可行，但要求彼此排斥。 模型只有在两种指令下都完成对应动作，才能证明自己不是依赖场景惯性或默认策略，而是能够按照语言，在多个可行行为之间切换。 这种设计很像给自动驾驶做一场控制变量实验：同一辆车、同一条路、同一个起点，只换一句话，看它是不是真的会改变行为。 不只检查终点，还要检查「怎么做到的」 只做成对测试还不够。真实驾驶指令，往往不是“到达某个点”这么简单。 「 停进 B204 」意味着整车轮廓进入指定车位，车身方向正确，速度降到足够低，并且稳定停留一段时间。 「 全程保持在 50 公里每小时以下 」 要求车辆真正进入并走完指定路段，不能靠停在路段外躲过检查。 “ 先接乘客，再前往目的地 ” 则必须满足动作顺序。即使两个地点都到过，只要顺序相反，仍然算失败。 因此，Language2Drive 没有要求模型复现唯一的参考轨迹，而是为每条指令设计可由机器检查的空间、时间、行为和安全条件。 只要最终执行满足完整契约，不同的合理轨迹都可以获得成功。 论文由此把语言控制划分为四个层级： 原子动作 ：左转、变道、启动、停车等局部决策； 持续行为 ：在一段路程内维持速度、保持车道或者持续跟随某辆车； 场景落地指令 ：找到指定道路、区域、车辆或具体车位； 长程程序 ：按顺序访问多个地点、执行条件分支，并在后续阶段保留之前的约束。 从“ 一次动作 ”到“ 持续记住并完成一串要求 ”，难度逐层上升。 评测关注的也不再只是模型有没有对语言作出反应，而是它能否把指令正确绑定到物理世界，并将其中的约束一直保留到任务结束。 从场景筛选、几何绑定到任务编译与验证的构建流程 六个系统接受测试，93.