模型能感知调整3D物体位姿吗？首个交互式投影对齐空间推理基准
新智元 · 人工智能
新智元 2026-11-05 12:07 北京 新智元报道 认出一个物体之后，换个角度还能认出来，进一步想象它转动后的样子，这些都涉及空间感知。人类需要在头脑中表示物体的形状与方向，理解不同视角之间的关系，并从二维投影中推断三维几何。 当视觉语言模型进入交互场景，这种理解还需要落到动作上。一次旋转会改变物体的轮廓、比例和遮挡关系；模型需要先预判变化，再观察执行结果，决定下一步怎么调整。回答对一道空间关系题，能否进一步支持这样连续的姿态控制？ 现有基准对此各有侧重。静态基准通常通过固定图像上的问答评估空间推理，缺少动作执行和闭环反馈；许多交互式基准则关注任务规划、工具调用或路径搜索。这些任务能够考察交互能力，却难以专门检验模型能否从视觉线索理解三维方向，并将这种理解转化为精确旋转。 因此， 视觉语言模型能否把二维观察转化为支持精确动作的三维理解？ 这要求模型联系物体的几何与姿态，预判旋转对投影的影响，并利用动作后的新观察不断修正。对于需要探索环境、理解几何并采取行动的智能体来说，这些判断连接着视觉感知与实际控制，也正是业界希望通过评测进一步观察的能力。 为此，来自厦门大学与南洋理工大学的团队提出了 RoTA-Bench ，通过交互式3D-to-2D投影对齐来评估这一能力。 论文链接 ： https://arxiv.org/abs/2610.17665 代码与数据集 ： https://github.com/MAC-AutoML/RoTA-Bench 在线 Demo ： https://www.modelscope.cn/studios/san2333333/rotabench-anon?mode=full&app_path=%2Fportal Hugging Face ： https://huggi ngface.co/papers/2610.17665 下面是RoTA-Bench中一个真实任务的交互界面。图片左上是T恤形状的目标轮廓，左下是物体当前的投影，右侧是带有深度明暗的物体视图。任务要求选择旋转动作，逐步让当前投影与目标轮廓对齐。 RoTA-Bench的真实任务示例。图片左上为目标轮廓，左下为当前投影，右侧为深度明暗辅助视图；底部按钮用于选择旋转方向与角度。 先往左转一点，还是先向上翻？这一步该转30°，还是只调5°？规则很直观，但每一步都需要将二维画面与三维姿态联系起来。 实验中，GPT-5.6-Sol在100个测试任务上的成功率为17%；20位本科生共同完成的400次任务运行则全部成功。 这个差距值得进一步拆开看：模型在哪一步遇到了困难？轮廓看起来更像目标，是否就意味着三维姿态也转得更对？ 看到这张图之后 下一步该怎么转？ 以前面的T恤示例来说，左右转动可能改变两侧轮廓，向上翻转可能改变整体比例；同一个物体换一个朝向，也可能出现遮挡。模型需要把眼前的投影与背后的三维姿态联系起来，判断应该沿哪个轴、朝哪个方向、转多大角度。 在RoTA-Bench中，模型每一步都会看到三部分信息：目标轮廓、当前投影，以及与当前投影使用相同视角的深度明暗辅助视图。辅助视图补充了二值轮廓中缺失的深度和遮挡线索。 随后，模型从 24种离散旋转动作 中选择下一步：三个旋转轴、正反两个方向，搭配 1°、5°、10°、30° 四种步长。每次执行后，环境重新渲染画面，模型再利用更新后的观察和交互历史继续调整。 这里既需要较大幅度的转动，也为精细调整保留了空间。朝向还差很多时，可以选择较大的步长；接近目标时，则可以尝试更小的角度。 当当前投影与目标轮廓的交并比（IoU）达到 0.90 ，任务成功。IoU衡量两个轮廓的重叠程度，数值越高，投影越接近。评测最多允许48次决策，也设有主动停止和停滞终止规则。 研究人员将交互限制为纯旋转，是为了把三维方向推理与平移、抓取、接触摩擦等因素区分开来，让问题集中在「如何根据视觉证据控制姿态 」 上。 这些物体从哪里来 为什么保证转得回去？ 如果直接使用常见三维物体，模型可能借助熟悉形状的先验作判断。 为了减少这类语义捷径，研究人员从二维矢量图标出发，在球形体积约束内构造三维物体。生成的物体在标准正面投影下能够还原原图，并保留细节。 接下来，用一串可逆的离散旋转把物体转到初始姿态。既然每一步都可以逆转，就能够通过逆序旋转回到目标姿态，从构建过程上保证任务可解。 在此基础上，研究人员进一步搜索并验证参考路径，按照参考路径长度分层选取测试任务。这里的参考路径用于任务筛选与分析，并不保证是最短解，也不会提供给被测模型。 最终，RoTA-Bench包含 674个任务 ，其中 100个任务组成冻结测试集 ，其余574个保留供后续训练与研究使用。 任务构建与闭环评测流程（论文图2）。图片上半部分展示从二维图标生成三维物体、通过可逆