ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。
如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本论文是由中国科学院计算技术研究所、加州大学圣芭芭拉分校和KIRI Innovations的研究人员合作完成。
三维重建是计算机图形学的经典任务，具有很强的使用价值。近年来，诸如神经辐射场的隐式场方法正成为重建任务广泛采用的表示。
这些方法能在不需要掩膜等额外输入的情况下，对具有漫反射和光滑反射的场景进行重建。然而，对于具有折射或透明材质的，乃至出现嵌套现象（即透明物体内部还有其他物体，内部物体也可以是透明的）的场景的重建，无论是隐式场方法还是传统方法都难以解决。
诚然，已经有一些工作对透明物体的重建进行探索，然而这些工作都不能重建嵌套物体，且他们需要额外的输入信息以减少透明物体的二义性，如掩膜或要求场景在特殊的背景下进行拍摄等。
为解决此问题，中科院计算所高林老师团队、加州大学圣芭芭拉分校闫令琪教授、3D 重建公司 KIRI Innovations 合作提出了一种通过对嵌套透明物体进行重建的方法 NU-NeRF《NU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment》。
项目主页：http://geometrylearning.com/NU-NeRF/
该方法能在不需要额外输入，也不需要特殊捕捉场景的情况下对嵌套透明物体进行重建。该项研究工作已经被 ACM TOG 录用，并将在 SIGGRAPH Asia 2024 报告。
图 1 和图 2 即为 NU-NeRF 对实拍嵌套透明场景的重建效果展示。
研究目标
塑料、玻璃等透明材质是日常生活中最为常见的材质之一，然而这些材质的重建任务十分具有挑战性。其根本原因是光线在透明材质表面发生折射，从而产生高度不连续的表面颜色，且此颜色十分容易和背景混淆。
为解决此问题，已有工作的基本思路是对问题施加更多约束。早期方法 施加约束的方法是利用特殊的捕捉设备来捕捉光线的偏振和光程等信息，并利用确定性的算法来进行重建。也有基于计算机视觉和机器学习的方法 利用预先渲染的大量数据学习从图像中预测透明物体的方法。
近年来基于神经辐射场的方法 通过在物体后面放置一个具有已知图案的背景来直接得到光线经过折射之后的精确位置，从而利用此先验设计损失函数，进行重建。
然而这些施加约束的方法有两个限制：1）需要额外的捕捉设备、捕捉环境或输入信息（如掩膜等），无法让用户在随机的环境下进行拍摄重建；2）因为在使用先验的过程中假设了光线在物体内部没有遭到遮挡和反射，并只经过两次折射，所以这些方法无法重建嵌套的物体。
针对以上问题，论文作者提出了 NU-NeRF 。它是一种新的嵌套透明物体重建管线。如图 3 所示，NU-NeRF 的输入是以不同视角拍摄同一包含嵌套透明物体的场景的图片，输出则是对该场景内部、外部几何的重建以及一定程度的解耦。重建和解耦结果可以导入渲染软件中（如 Blender 等）进行重新渲染，实现现实物体的数字化。
研究方法
NU-NeRF 的管线由两步组成。第一步的目标是重建外层几何。外层几何的重建是至关重要的一步，因为它直接影响了第二步的内层几何质量。其要解决的首要问题就是上述的折射的二义性。
NU-NeRF 解决此问题的方法十分简单：分开建模透明表面的反射和折射。对于其反射颜色进行准确建模，但对其折射颜色直接利用一个 MLP 网络进行预测。这一策略的底层逻辑是，在重建过程中不需要准确建模折射颜色，只需要提供对折射的一个「平均化」估计即可。
第二步的目标是利用重建得到的显式外层几何，在几何内部进行第二次重建。这一步对…
Continue reading with full content
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建
