正文
与其他神经网络风格转移的方法不同,他们的方法执行的是非参数纹理合成,保留了示例中的很多局部细节和绘制的笔画特征。它也具有可调节水平的连贯性,从而产生从头至尾每帧绘制的错觉。
背景
这篇论文是以布拉格捷克技术大学的Jakub Fiser博士的论文为基础。Duided Texture Synthesis是论文的核心概念:把一个绘制的面部纹理效果应用到另一个视频中的面部的想法。这个过程最重要的是让新合成的面部效果与手绘或者油画的平面感觉一样,而不是3D纹理跟踪投射上去的感觉。此外,艺术风格甚至可以是一尊真实的铜像,而不需要绘制的纹理。
发展过程
之前的关键性论文和研究是2016年的
“StyLit:基于3D渲染风格指导的示例”。在文中,绘画风格被转移到已知的目标3D模型上,只是用正确的手绘风格艺术外观。与2017年的Face系统所采用的可以将任何绘画肖像应用于任何视频面部的方案不同,该系统是把手绘风格应用到已知的3D场景中。这也是关键的所在。在2016年的案例中,程序知道目标对象的表面法线,因为它拥有来自3D场景的AVO。而在2017年的情况下它知道如何将绘画风格应用到一个面部,因为所有的脸部都有大致相同的形状和法线。
在2016年的例子中,如果一个圆圈的着色塑造的像是个球体,那么这个程序就会从“球”中提取某些假定的数据然后将其应用到3D图形中。例如,如果把球的着色从右上方向左下方进行附上阴影,那么同时也定义了3D图形的着色效果,就好像打亮了右上角,因为3D图形有已知的表面法线。它假定球是的明暗关系,然后使用相同的逻辑关系运用到3D形体上。
在下面这几个图中,我们就可以大致明白其中的意思了。3D球体被绘制上铅笔风格的效果,然后右边的3D模型会以相同的逻辑进行着色处理。