SIGGRAPH 2018 ：基于深度学习的重光照技术详解

这是一种基于图像的重照明方法，它可以在预定义的定向光源下捕获五幅图像，从而在可见半球的远距离光照下合成场景外观。也就是说给机器输入5不同方向光照图，然后机器根据相应的算法解算后，你就可以在任意位置打光得到你想要的光照方向效果了。当然了这个技术不是第一次出现，之前有很多基于不同方法实现了这个技术。但是，今天这个方法最简便（只需5张图），效果最好。

他们的方法是使用深度卷积神经网络从这5张图中复原重构图像。人家当然不是随意就重构的。这个卷积神经网络是在一个大型的合成数据集上经过严格训练过的。其中的数据集由程序生成的有真实世界反射率的形状组成。

为了证明这项研究成果的真实性，研究小组对网络进行了广泛的评测，包括重建的质量，不同场景的最佳照明配置以及备选网络架构。

下面我们还是把视频里的内容拆开解释给大家。

▲

“为了短时间内生成数据，

我们培训和测试的图像是由Mitusba

使用BDPT提供的196个样本。

由于样本数量有限，

在标准参考图像中会观察到一些随机噪点”。

视频里有个Ground Truth，是机器学习中经常出现的一个专有词，简单解释就是“标准参考”、“真实值”之意。理解了这个词看视频就都懂了。

首先输入5个在不同方向的光照图。

然后用单个平行灯光在各个方向的结果与Ground Truth的对比。几乎是无差异的。

然后再使用环境贴图的方式进行测试，与Ground Truth也是非常的接近。

然后又用这个成果与其他重光照技术进行了对比。

▲

“我们的方法使用5个输入图像与

不同分辨率的重心插值之间的比较”。

在这个对比中，我们可以看到最左侧的64张或者196张图使用重心插值方式得到的效果，阴影部分有所谓的“Ghosting Shadow”

下面又与另一个重光照技术进行了对比。

▲

“使用5张输入图像和多项式纹理映射之间的比较”

和多项式纹理映射之间的比较结果如下图

接下来是一组实际数据的测试效果。

▲

输入的5张图

▲

重光照360度测试

还有很多的图像测试结果，剩下的小伙伴们自己看视频吧。

此视频是无声的

小伙伴们看了之后觉得这个技术咋样？