初次接触计算机视觉作业是用Canny边缘检测和霍夫变换检测图片里的直线。我当时想的是这不就是找像素梯度大的地方连一连嘛有什么难的。结果面对一张倾斜拍摄的建筑照片透视汇聚让所有垂直线都变成了斜线霍夫空间里的峰值乱成一团。那次作业让我第一次意识到二维图像背后藏着一个三维的物理世界而要把这个三维世界恢复出来远不是找几条线那么简单。这件事困扰了计算机视觉领域整整半个世纪。David Marr在1982年提出视觉计算理论时就把从二维图像恢复三维结构定义为核心问题。但那之后的很多年里多视图几何像是一门神秘的玄学。人们用对极几何、三角测量、束平差这些方法小心翼翼地重建场景每一步都可能因为噪声和误匹配而崩溃。2015年MonoDepth那类单目深度估计的工作开始出现时圈子里普遍持怀疑态度。从单张图片估计深度本来就是病态问题——同一个二维投影可以对应无穷多种三维场景。人类能做到是因为我们有强大的先验知识知道物体通常长什么样、光通常从哪来、阴影通常意味着什么。CNN即使能学又能学到几分结果让人大跌眼镜。仅仅用NYU Depth这样的室内数据集训练模型就能从单张照片中输出相当合理的深度图。沙发比地面近窗户比墙远这种相对深度关系处理得很不错。虽然绝对精度还比不上雷达或结构光但已经足够惊艳了。真正让我对整个方向刮目相看的是2020年前后开始涌现的一系列工作。这些论文不仅仅估计几何深度而是试图从图像中恢复物理世界的完整参数表示——表面材质、光照环境、物体运动、流体动态。它们把物理定律编码进神经网络的结构或损失函数里让模型的预测不仅要在像素层面准确还要符合物理约束。有一篇Nature子刊上的工作特别有意思。研究者训练了一个网络来预测透明液体的三维形状和折射属性只从单视角视频作为输入。通常这种事情需要精密的光学设备和校准流程。但他们的网络在没有任何流体力学显式知识的情况下居然学到了近似斯涅尔折射定律的行为。不是靠硬编码而是靠观察大量数据后自发涌现出来的规律。这就是深度学习最迷人的地方——它能够从数据中学到隐含的物理规则即使训练时没有告诉它这些规则是什么。但这也带来了新的问题模型到底是真的学会了物理还是只是找到了某种复杂的统计近似如果是后者它预测的东西在训练分布边缘会不会灾难性地失效去年我们组做了一组系统性的实验。我们在仿真环境中渲染了各种场景地面真实值是完全已知的。然后把一个标准的U-Net架构分别在物理仿真数据和随机纹理数据上训练比较它们的预测特性。结果很有意思在训练分布内的测试数据上两组都表现不错。但一旦引入训练时没见过的光照条件物理数据训练的那组表现明显更鲁棒。这说明接触真实物理变化确实让模型学到了更有迁移能力的表征。但U-Net终究不是一个物理引擎。它的预测在某些极端情况下会出现违反物理定律的错误——比如某个像素的深度值突然跳变形成一个现实中不可能出现的几何奇点。而人类视觉系统永远不会犯这种错误因为我们对三维世界的理解是建立在物理直觉之上的。最近比较热的方向是显式地结合神经渲染和物理模拟。NeRF类方法用神经网络隐式地表示场景的几何和外观已经能合成出非常逼真的新视角图像。但NeRF本身对物理规律一无所知——如果给它一张照片它重建出来的场景是静态的、光照烘焙死的。新的工作在尝试把NeRF和可微物理引擎耦合起来让重建出的场景可以被重新点亮、被风吹动、被外力改变。这意味着从单张图片中恢复的不再仅仅是几何外壳而是一个活的、遵循物理定律的虚拟世界。这件事如果做成了影响会远超学术界。自动驾驶、机器人、增强现实这些领域都在疯狂渴求对物理世界的精确感知。激光雷达和毫米波雷达测距很准但它们只给你稀疏的点云不懂语义不知道测到的是可压过的塑料袋还是不能撞的消防栓。摄像头便宜且信息丰富但二维到三维的鸿沟始终跨不过去。如果单目或双目视觉能够鲁棒地输出物理上合理的三维世界模型整个感知栈都会被重写。但我们离这个目标还很远。从像素中推导物理定律本质上是反向求解一个极度欠定的方程。当前的进展让我们看到了希望但要把这个希望变成工程上可靠的系统还需要很多年的积累。或许真正需要的不是更好的网络架构而是一种新的表征方式让视觉信息和物理约束在同一个空间里自然融合。
初次接触计算机视觉作业是用Canny边缘检测和霍夫变换检测图片里的直线。我当时想的是这不就是找像素梯度大的地方连一连嘛有什么难的。结果面对一张倾斜拍摄的建筑照片透视汇聚让所有垂直线都变成了斜线霍夫空间里的峰值乱成一团。那次作业让我第一次意识到二维图像背后藏着一个三维的物理世界而要把这个三维世界恢复出来远不是找几条线那么简单。这件事困扰了计算机视觉领域整整半个世纪。David Marr在1982年提出视觉计算理论时就把从二维图像恢复三维结构定义为核心问题。但那之后的很多年里多视图几何像是一门神秘的玄学。人们用对极几何、三角测量、束平差这些方法小心翼翼地重建场景每一步都可能因为噪声和误匹配而崩溃。2015年MonoDepth那类单目深度估计的工作开始出现时圈子里普遍持怀疑态度。从单张图片估计深度本来就是病态问题——同一个二维投影可以对应无穷多种三维场景。人类能做到是因为我们有强大的先验知识知道物体通常长什么样、光通常从哪来、阴影通常意味着什么。CNN即使能学又能学到几分结果让人大跌眼镜。仅仅用NYU Depth这样的室内数据集训练模型就能从单张照片中输出相当合理的深度图。沙发比地面近窗户比墙远这种相对深度关系处理得很不错。虽然绝对精度还比不上雷达或结构光但已经足够惊艳了。真正让我对整个方向刮目相看的是2020年前后开始涌现的一系列工作。这些论文不仅仅估计几何深度而是试图从图像中恢复物理世界的完整参数表示——表面材质、光照环境、物体运动、流体动态。它们把物理定律编码进神经网络的结构或损失函数里让模型的预测不仅要在像素层面准确还要符合物理约束。有一篇Nature子刊上的工作特别有意思。研究者训练了一个网络来预测透明液体的三维形状和折射属性只从单视角视频作为输入。通常这种事情需要精密的光学设备和校准流程。但他们的网络在没有任何流体力学显式知识的情况下居然学到了近似斯涅尔折射定律的行为。不是靠硬编码而是靠观察大量数据后自发涌现出来的规律。这就是深度学习最迷人的地方——它能够从数据中学到隐含的物理规则即使训练时没有告诉它这些规则是什么。但这也带来了新的问题模型到底是真的学会了物理还是只是找到了某种复杂的统计近似如果是后者它预测的东西在训练分布边缘会不会灾难性地失效去年我们组做了一组系统性的实验。我们在仿真环境中渲染了各种场景地面真实值是完全已知的。然后把一个标准的U-Net架构分别在物理仿真数据和随机纹理数据上训练比较它们的预测特性。结果很有意思在训练分布内的测试数据上两组都表现不错。但一旦引入训练时没见过的光照条件物理数据训练的那组表现明显更鲁棒。这说明接触真实物理变化确实让模型学到了更有迁移能力的表征。但U-Net终究不是一个物理引擎。它的预测在某些极端情况下会出现违反物理定律的错误——比如某个像素的深度值突然跳变形成一个现实中不可能出现的几何奇点。而人类视觉系统永远不会犯这种错误因为我们对三维世界的理解是建立在物理直觉之上的。最近比较热的方向是显式地结合神经渲染和物理模拟。NeRF类方法用神经网络隐式地表示场景的几何和外观已经能合成出非常逼真的新视角图像。但NeRF本身对物理规律一无所知——如果给它一张照片它重建出来的场景是静态的、光照烘焙死的。新的工作在尝试把NeRF和可微物理引擎耦合起来让重建出的场景可以被重新点亮、被风吹动、被外力改变。这意味着从单张图片中恢复的不再仅仅是几何外壳而是一个活的、遵循物理定律的虚拟世界。这件事如果做成了影响会远超学术界。自动驾驶、机器人、增强现实这些领域都在疯狂渴求对物理世界的精确感知。激光雷达和毫米波雷达测距很准但它们只给你稀疏的点云不懂语义不知道测到的是可压过的塑料袋还是不能撞的消防栓。摄像头便宜且信息丰富但二维到三维的鸿沟始终跨不过去。如果单目或双目视觉能够鲁棒地输出物理上合理的三维世界模型整个感知栈都会被重写。但我们离这个目标还很远。从像素中推导物理定律本质上是反向求解一个极度欠定的方程。当前的进展让我们看到了希望但要把这个希望变成工程上可靠的系统还需要很多年的积累。或许真正需要的不是更好的网络架构而是一种新的表征方式让视觉信息和物理约束在同一个空间里自然融合。
