两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

专注于计算机图形学的全球学术顶会 SIGGRAPH，正在出现新的趋势。在上周举行的 SIGGRAPH 2024 大会上，最佳论文等奖项中，来自上海科技大学 MARS 实验室的团队同时拿到两篇最佳论文荣誉提名，其研究成果亦在快速走向产业化。

---

作者使用生成模型的方法，开启了将想象力直接转化为复杂 3D 模型的新路。

拿到最佳论文提名的两篇论文——CLAY 和 DressCode，二者的主题分别是 3D 生成和 3D 服装生成。在 SIGGARPH 的 Real-Time Live 环节，上科大这一团队更实时展示了基于这两项工作的一系列应用场景。论文作者，研究生二年级学生，同时也是初创公司影眸科技的 CTO 张启煊首先演示了基于 CLAY 的 3D 生成解决方案。影眸团队去年用简单的文字提示词（Prompt）给扎克伯格和黄仁勋构建了真实风格的 3D 模型，成为第一个登上 SIGGRAPH Real-Time Live 的中国团队。今年他们的 3D 生成方案，通过单张图片作为输入，可以生成出小扎和老黄不同风格的卡通形象。

这些生成内容的背后是新一代 3D AI 引擎 Rodin，致敬著名雕塑家罗丹。现场展示的 3D 内容都是由用户上传的单张图片直接生成的，Rodin 可以进一步生成 PBR 纹理和四角面，以方便艺术家进一步修改和使用。

通过 3D ControlNet，Rodin 可以控制 AI 生成的形状。仅需提供简单的几何元素作为指导，就可以将其转换为体素，并根据参考图片的语义信息将其转换为所需要的 3D 资产。

Rodin 也支持直接手绘的图片，甚至是简单涂鸦。几张照片生成 3D 人物，儿童涂鸦生成树木作为背景，开发人员现场实时操作，一分钟内便搭建了一个完整的 3D 建模的场景。当主持人问到中间的小怪物是谁时，张启煊风趣的说，这就是 AI。

说起来，3D 模型生成的上一次出圈其实也是在 SIGGRAPH 上：在 2021 年，英伟达在这个舞台上介绍了给黄仁勋制作 3D 模型的方法，以假乱真的效果震撼了世界。

彼时的 3D 模型生成被认为对于数字人、虚拟现实等技术而言至关重要。但毫无疑问，高精度人体扫描 + 深度学习重建方式的高成本，决定了它注定不会成为投入大规模生产的方式。使用 AI 生成或许才是更好的路径。然而此前在这个方向上，人们提出的技术一直「叫好不叫座」。对实际应用而言，这些方法存在一些挑战：3D 是一个工业问题，模型仅仅在视觉上表现好是不够的，还需要符合特定的工业标准，比如材质如何表现，面片规划、结构如何合理。如果不能和人类工业标准对齐，那生成结果就需要大量调整，难以应用于生产端。就像大语言模型（LLM）需要对齐人类的价值观，3D 生成的 AI 模型需要对齐复杂的 3D 工业标准。更实用的方案已经出现：3D 原生。上科大 MARS 实验室获得最佳论文提名的工作之一——CLAY 让行业看到了上述问题的一个可行的解决思路，即 3D 原生。我们知道，最近两年，3D 生成的技术路线大致可以分为两类：2D 升维和原生 3D。2D 升维是通过 2D 扩散模型，结合 NeRF 等方法实现三维重建的过程。由于可以利用大量的 2D 图像数据进行训练，这类模型往往能够生成多样化的结果。但又因为 2D 扩散模型的 3D 先验能力不足，这类模型对 3D 世界的理解能力有限，容易生成几何结构不合理的结果（比如有多个头的人或动物）。近期的一系列多视角重建工作通过把 3D 资产的多视角 2D 图像加入 2D 扩散模型的训练数据，在一定程度上缓解了这一问题。但局限性在于，这类方法的起点是 2D 图像，因此它们关注的都是生成图像的质量，而不是试图保持几何保真度，所以生成的几何图形经常存在不完整和缺乏细节的问题。换句话说，2D 数据终究只记录了真实世界的一个侧面，或者说投影，再多角度的图像也无法完整描述一个三维内容，因此模型学到的东西依旧存在很多信息缺失，生成结果还是需要大量修正，难以满足工业标准。考虑到这些局限，CLAY 的研究团队选择了另一条路 ——3D 原生。这一路线直接从 3D 数据集训练生成模型，从各种 3D 几何形状中提取丰富的 3D 先验。因此，模型可以更好地「理解」并保留几何特征。不过，这类模型也要足够大才能「涌现」出强大的生成能力，而更大的模型需要在更大的数据集上进行训练。众所周知，高质量的 3D 数据集是非常稀缺且昂贵的，这是原生 3D 路线首先要解决的问题。在 CLAY 这篇论文中，研究者采用定制的数据处理流程来挖掘多种 3D 数据集，并提出了有效的技术来扩展生成模型。具体来说，他们的数据处理流程从一个定制的网格重构（remeshing）算法开始，将 3D 数据转换为水密性网格（watertight meshes），细致地保留了诸如硬边和平整表面等重要几何特征。此外，他们还利用 GPT-4V 创建了细致的标注，突出显示重要的几何特性。众多数据集经过上述处理流程后，汇成了 CLAY 模型训练所使用的超大型 3D 模型数据集。此前，由于格式不同，缺乏一致性，这些数据集从来没有一起用于训练 3D 生成模型。处理后的组合数据集保持了一致的表示和连贯的注释，可以极大地提高生成模型的泛化性。利用该数据集训练出的 CLAY 包含一个参数量高达 15 亿的 3D 生成模型。为了保证从数据集转化到隐式表达再到输出之间，信息损失尽可能小，他们花了很长时间去筛选、改良，最终探索出了一套全新、高效的 3D 表达方式。具体来说，他们…

为了使生成的数字资产能够直接用于现有的 CG 生产管线，研究者进一步采用了一套两阶段方案：1、几何优化确保结构完整性和兼容性，同时在美观和功能上对模型的形态进行细化，如四边面化、UV 展开等；2、材质合成通过真实的纹理赋予模型逼真的质感。这些步骤共同将粗糙的网格转变为在数字环境中更可用的资产。

其中，第二个阶段涉及一个近 10 亿参数的多视图材质扩散模型。在进行网格四边面化与 UV 展开之后，它通过多视图方法生成 PBR 材质，随后将其反向投影到 UV maps 上。相比先前的方法，该模型生成的 PBR 材质更加真实，最终实现逼真的渲染效果。

为了让 CLAY 支持更多任务，研究者还设计了 3D 版 ControlNet，极简的架构使它能够高效地支持各种不同模态的条件 （Condition）控制。他们实现了几种用户可以轻松提供的示例条件，包括文本（原生支持），以及图像 / 草图、体素 (Voxel)、多视图图像（Multiview Images）、点云（Point Cloud）、边界框（BoundingBox）和带有边界框的部分点云。这些条件可以单独应用，也可以组合应用，使模型能够基于单一条件忠实生成内容，或结合多种条件创建具有风格和用户控制的 3D 内容，提供广泛的创作可能性。

此外，CLAY 还直接支持在 DiT 的注意力层 (attention layers) 上进行 Low-Rank Adaptation (LoRA)。这允许高效的微调，使生成的 3D 内容能够针对特定风格。

从这些设计不难看出，CLAY 的设计从一开始就瞄准了应用场景，这和一些纯学术研究有很大的不同。这也让该模型实现了快速落地：目前 Rodin 已经成为很多 3D 开发者的常用 3D 生成器。

国内外很多行业使用者反馈认为，Rodin 生成的 3D 资产几何科学、布线规则、材质贴图精致，而且可以直接被导

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。