对话英伟达李柏依：物理智能的基本单位可能是运动
返朴 · 科学与科普
加洋 2026-09-06 09:29 北京 以下文章来源于：DeepTech深科技 DeepTech深科技 DeepTech是一家专注新兴科技的创新赋能机构，致力于推动科学与技术的创新进程。DeepTech同时是《麻省理工科技评论》中国区独家运营方。 运动要回答的问题不是单纯语言问题，而是要真正落实到物理层面的执行。 撰文 | 加洋 2020 年底，李柏依在康奈尔大学的博士生涯进入第三年，也走进了一段研究上的困顿期。 此前，她一直从事表征学习研究，但在那段日子里，她越往前走，似乎越不知道这条路还能通向哪里。也就是在那段时间，她开始接触多模态学习。当时，多模态还不是视觉研究的主流热点，三维视觉吸引了更多关注。她向同学说起自己正在做多模态，得到的反应往往礼貌而寡淡。 但她隐约觉得，当时按照固定类别完成检测和分割的视觉系统太“死”了：输入是预设的，输出也是预设的，像功能机上的实体按键，只能完成事先规定好的操作。有没有可能像智能手机一样，让输入变得任意，让视觉系统根据人的意图灵活地理解世界？ 这个问题把她引向视觉与语言的对齐，也让她恰好赶上了 CLIP 发布后多模态研究爆发的前夜。 几年后，多模态已经成为 AI 领域最核心的方向之一。李柏依也从那个“不知道该往哪里走”的博士生，成为英伟达研究院和加州大学伯克利分校的研究员与研究负责人，带领团队推进 Foundation Motion，探索机器能否通过运动理解物理世界。 她的研究从计算机视觉出发，经过多模态学习，延伸到自动驾驶和具身智能。应用场景不断变化，贯穿其中的问题却始终指向同一条路径：机器能否从不同的感知信号中，形成一种可泛化、可交互、能够支持行动的世界表征？从“看见什么”，到“正在发生什么”，再到“接下来可能发生什么”，最终走向“为了目标应该做什么”。 2026 年，李柏依入选《麻省理工科技评论》“35 岁以下科技创新 35 人”中国区名单。这次采访从她的研究经历谈起，话题也逐渐延伸到研究究竟是如何被推进的：怎样判断一个方向是否值得长期投入，一次失败的实验能够留下什么，以及个人的判断如何在团队中被验证和修正。她谈多模态、自动驾驶和具身智能，也不断回到一个更基础的问题：面对尚无确定答案的方向，研究者如何形成判断，又如何根据新的证据改变判断。 以下是 DeepTech 与李柏依的对话。 保有继续生长的能力 DeepTech： 早先一篇报道里，你说“女孩子像水一样有无数种可能”，你今天怎样理解当时所说的“给自己很多选项”？这些经历有没有改变这句话的含义？ 李柏依： 首先，那篇报道可能美化了我的语言，应该是写稿的人比较有水平 （笑） 。 我理解的“给自己很多选项”，不是同时抓住所有机会，也不是很长时间都不做决定，而是在每一个阶段主动建立可以迁移的能力，让下一次选择不完全由外部条件决定。 比如，我没有因为喜欢音乐和画画，就把自己定义成一个“艺术型的人”；也没有因为进入计算机领域，就放弃自己感性的一面，而是选择把两者都保留下来。最开始做计算机视觉，我比较看重的是计算机视觉和机器学习之间自由探索的空间。博士毕业后，我也没有把道路简单理解成“要么去学术界，要么去产业界”。 我现在同时处在伯克利和英伟达两种环境里。伯克利提供了开放的学术氛围、跨方向的碰撞，以及对基础问题的耐心；英伟达则提供了真实、系统、规模化的数据和算力，以及闭环验证的条件。这样，我既可以理解一个想法为什么在论文里成立，也可以理解它为什么会在复杂现实中失败。 回过头来看，我的判断标准一直围绕三个问题：这件事能否提高长期的学习斜率，能否和真正尊重问题的人一起工作，以及这条路是否让我更接近自己长期关心的问题。 所以，“给自己很多选项”并不是说选项越多越好，而是在做出选择之后，依然保有继续生长的能力。 DeepTech： 音乐和绘画是否影响了你在研究上的兴趣和看待问题的方式？虽然这是一个很容易被事后赋予意义的问题，但我想知道，你自己是否真的能感受到这种联系。 李柏依： 老实说，我没有感觉到特别直接的影响。但我会感觉到，自己思考问题的方式似乎和别人有一些不同。 音乐可能训练了我理解时间、节奏和结构，绘画则训练了我观察局部与整体、对象与背景之间的关系。这些东西可能对我理解视觉、多模态和交互系统产生了一些潜移默化的影响，但我很难说存在一条明确的因果链条。 真正的转折也不是某一个瞬间，而是在研究和实习的过程中，我逐渐把原本很模糊的直觉转化成一个个更清晰的问题。 长期追问机器如何理解图像、声音、语言和运动的耐心，可能也和我的性格有关。很多尝试不会成功，但我还是想继续做下去。 从视觉到多模态：一条连续的路径 DeepTech： 如果不按论文和应用场景分类，而按你反复追问的问题来分类，从计算机视觉、多模态到自动驾驶和具身智能，背后的那条主线是什么？