机器之心编辑部
近日，腾讯宣布推出一项名为 Paint3D 的技术，它能够根据文本或图像输入，为无纹理的 3D 模型生成高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。
效果演示视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
相关技术论文已经公开。
项目主页：https://paint3d.github.io/论文地址：https://arxiv.org/abs/2312.13913Code: https://github.com/OpenTexture/Paint3D
据论文介绍，这项技术主要解决的挑战是如何生成没有内嵌光照信息的高质量纹理，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管道。
Paint3D 通过引入预训练 2D 图像生成模型来获取文字和图像输入的引导能力，从不同的提示中概括出丰富且高质量的纹理。在此基础上，Paint3D 利用 3D 数据高质量的无照明纹理作为监督，在 UV 纹理空间上训练无光照扩散模型，生成无光照纹理。这些纹理没有内嵌光照阴影效果，同时保持了语义一致性，大大提升了 3D 模型纹理生成方面的最优效果。
3D 生成领域学者 Yawar Siddiqui 评价道：「终于有一种无内嵌光照的纹理生成方法了，结果非常出色，是我所见过的最好的纹理生成方法！
」
推特用户 COBALT 评价道：「这真是令人难以置信，对视频游戏开发的未来感到兴奋，这些强大的工具可以加速进程！
」
方法概述
两阶段纹理生成框架
为了基于输入条件（如文字信息或图像）合成高质量且多样化的 3D 模型纹理贴图，Paint3D 的研究人员设计了一个由粗到精细的框架，逐步生成和改进纹理贴图。
该框架主要分为粗糙纹理生成和纹理细化两个阶段：1）在粗糙阶段，从预训练的 2D 图像扩散模型中采样多视角图像，然后将这些图像反投影到网格表面上，创建初始纹理贴图。2）在细化阶段，通过在 UV 空间中执行扩散过程来增强粗糙纹理贴图，实现无光照、修复和高清功能，以确保最终纹理的高质量和完整性。
粗糙纹理生成阶段
在粗糙阶段，研究团队基于预训练的视角深度感知的 2D 扩散模型为 3D 模型生成粗糙的 UV 纹理贴图，从不同的相机视角渲染深度图，然后使用深度条件从图像扩散模型中采样图像，最后将这些图像反投影到网格表面上。
为了提高每个视角中纹理网格的一致性，研究团队交替执行渲染、采样和反投影的三个过程，首先，从第一个视角将 3D 网格渲染成深度图，然后根据输入纹理条件和深度图像，利用 2D 扩散模型采样得到纹理图像：
接下来，将这个图像从第一个视角反投影到 3D 网格上，生成该视角的纹理贴图。在预先定义的 n 个相机视角上依次进行上述过程，融合后得到 3D 模型粗糙的纹理贴图。
纹理细化阶段
对于细化阶段而言，尽管第一阶段生成的粗糙纹理外观是连贯的，但仍存在一些问题，比如由 2D 图像扩散模型引起的光照阴影，或者在渲染过程中由自遮挡引起的纹理空洞。为了缓解这些问题并在纹理细化过程中进一步增强纹理贴图的视觉美感，研究团队在 UV 空间中训练扩散模型，基于粗糙纹理贴图在 UV 空间中完成纹理细化过程。
为了在 UV 空间中训练扩散模型，研究人员引入了位置图来表示纹理片段的 3D 邻接信息。位置图中的每个非背景元素都是一个 3D 点坐标，可以通过将 3D 点坐标进行 UV 映射来获得。
研究人员在预训练的图像扩散模型中添加了一个独立的位置图编码器，用于在扩散过程中融合 3D 邻接信息。这个编码器与图像扩散模型中的编码器具有相同的架构，并通过零卷积层连接在一起。新的编码器利用 3D 数据高质量的无照明纹理作为监督，在 UV 空间上训练无光照扩散模型：
通过纹理细化过程，研究团队减轻了光照阴影和纹理空洞等问题，并进一步提升了纹理贴图的视觉美感。
实验结果
Paint3D 通过一系列的量化和定性实验，证明了其在生成多样化纹理贴图方面的显著能力。该评估随机选取了多个 3D 模型生成纹理贴图，覆盖了人物、汽车、飞机、桌椅等多种物体类别，通过评估 FID 得分及用户调研来定量评估其纹理生成的效果。
实验结果显示，Paint3D 有着更好的纹理生成质量，同时能生成更符合输入条件的纹理结果，实验结果对比如下：
研究人员也在相同的 3D 模型上与当前最佳的纹理生成算法进行比较。结果显示，Paint3D 几乎在所有的样本上都达到了更好的效果，也是唯一一个能生成无内嵌光照纹理的算法。比较结果如下：
Paint3D 的实验中还展示了多种输入条件引导的纹理贴图生成，包括文字描述和示例图像引导下的纹理生成。
文字描述引导的纹理生成链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
示例图像引导的纹理生成:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650902583&idx=4&sn=f6dc3e249733814aedb8d01a86aa899c&chksm=84e45449b393dd5f5f2daaf40751040789796ca82975d03e20462fa95f82873d9243de094ac8&token=452211561&lang=zh_CN#rd
结论
综上所述，Paint3D 的出现标志着自动化纹理贴图生成领域的重大进展。它在生成高质量纹理贴图的同时，提供了包括文字描述和示例图像的纹理生成控制选项，通过精确控制纹理贴图中的内容和风格，Paint3D 可以生成高质量、多样化的纹理贴图，从而显著推进 3D 对象纹理化的最先进技术。
更为重要的是，Paint3D 生成的纹理贴图是没有内嵌光照阴影效果的，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管线，在艺术创作、数字媒体制作和游戏内容创作等领域发挥重要作用。
