ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。
如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本论文是由中国科学院计算技术研究所、加州大学圣芭芭拉分校和KIRI Innovations的研究人员合作完成。
三维重建是计算机图形学的经典任务，具有很强的使用价值。近年来，诸如神经辐射场的隐式场方法正成为重建任务广泛采用的表示。
这些方法能在不需要掩膜等额外输入的情况下，对具有漫反射和光滑反射的场景进行重建。然而，对于具有折射或透明材质的，乃至出现嵌套现象（即透明物体内部还有其他物体，内部物体也可以是透明的）的场景的重建，无论是隐式场方法还是传统方法都难以解决。
诚然，已经有一些工作对透明物体的重建进行探索，然而这些工作都不能重建嵌套物体，且他们需要额外的输入信息以减少透明物体的二义性，如掩膜或要求场景在特殊的背景下进行拍摄等。
为解决此问题，中科院计算所高林老师团队、加州大学圣芭芭拉分校闫令琪教授、3D 重建公司 KIRI Innovations 合作提出了一种通过对嵌套透明物体进行重建的方法 NU-NeRF《NU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment》。
项目主页：http://geometrylearning.com/NU-NeRF/
该方法能在不需要额外输入，也不需要特殊捕捉场景的情况下对嵌套透明物体进行重建。该项研究工作已经被 ACM TOG 录用，并将在 SIGGRAPH Asia 2024 报告。
图 1 和图 2 即为 NU-NeRF 对实拍嵌套透明场景的重建效果展示。
研究目标
塑料、玻璃等透明材质是日常生活中最为常见的材质之一，然而这些材质的重建任务十分具有挑战性。其根本原因是光线在透明材质表面发生折射，从而产生高度不连续的表面颜色，且此颜色十分容易和背景混淆。
为解决此问题，已有工作的基本思路是对问题施加更多约束。早期方法施加约束的方法是利用特殊的捕捉设备来捕捉光线的偏振和光程等信息，并利用确定性的算法来进行重建。也有基于计算机视觉和机器学习的方法利用预先渲染的大量数据学习从图像中预测透明物体的方法。
近年来基于神经辐射场的方法通过在物体后面放置一个具有已知图案的背景来直接得到光线经过折射之后的精确位置，从而利用此先验设计损失函数，进行重建。
然而这些施加约束的方法有两个限制：1）需要额外的捕捉设备、捕捉环境或输入信息（如掩膜等），无法让用户在随机的环境下进行拍摄重建；2）因为在使用先验的过程中假设了光线在物体内部没有遭到遮挡和反射，并只经过两次折射，所以这些方法无法重建嵌套的物体。
针对以上问题，论文作者提出了 NU-NeRF。它是一种新的嵌套透明物体重建管线。如图 3 所示，NU-NeRF 的输入是以不同视角拍摄同一包含嵌套透明物体的场景的图片，输出则是对该场景内部、外部几何的重建以及一定程度的解耦。重建和解耦结果可以导入渲染软件中（如 Blender 等）进行重新渲染，实现现实物体的数字化。
研究方法
NU-NeRF 的管线由两步组成。第一步的目标是重建外层几何。外层几何的重建是至关重要的一步，因为它直接影响了第二步的内层几何质量。其要解决的首要问题就是上述的折射的二…
实验效果
为检验所提出的方法的有效性，NU-NeRF 在合成、实拍数据集上均进行了实验，其中合成数据集具有真值（ground truth），实拍数据集有一部分从网络上收集得到，因此没有真值。重建实验的对比方法是 [5] 和 [6] 两种已有方法。
重建
图 7 展示了不同方法重建合成场景的效果，可以看到之前的方法在没有嵌套几何时的表现较好，但在出现嵌套几何以及不透明材质和透明材质混合场景时，会出现较严重的性能下降。图 8 图 9 展示了不同方法重建实拍场景的结果。可以看到，NU-NeRF 在不同类型的场景上都能准确重建出外层几何，并较为准确的重建出内层几何。
总结与展望
NU-NeRF 的核心思想是将复杂的嵌套透明物体重建问题简单化，并分为两步进行重建。针对透明物体固有的二义性问题，NU-NeRF不选择此前类似方法直接进行光线追踪的方案，而是利用网络直接预测折射的颜色，这样在牺牲新视角合成准确性的前提下，提高了几何重建的准确性。
而有了外层几何的准确重建，就去除了问题中的大部分二义性，并可以利用显式光线追踪来进行内层几何的重建。同时，NU-NeRF也针对容器类物体提出了一种折射计算的近似方案，能够在不过多降低运行速度的前提下进行较为复杂的物体的重建。
参考文献:
[1] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Communications of the ACM. 65 (1): 99-106 (2021)
[2] …
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建
