正文
语音动画是生成逼真的角色动画中重要且耗时的一部分。从广义上讲，语音动画是一种这样的任务：改变图形(或机器人)模型的面部特征，使嘴唇的动作与发出的声音同步，形成一种在说话的感觉。作为人类，我们都是面部表情的专家，糟糕的语音动画可能会让人分心，不愉快，产生困惑。例如，当看到的嘴型和听到的声音不一致时，有时会让观众以为自己听到的是另一种声音（McGurk和MacDonald的论文，1976）。对于实际的角色动画来说，高保真语音动画至关重要。
目前在电影和视频游戏制作中使用的传统语音动画方法通常趋向于两个极端。一种做法是，高预算的产品通常会采用表演捕获技术或雇一个大型的专业动画制作团队，这样花费巨大，而且很难大规模复制。例如，目前没有什么好的生产方法，可以跨多种语言，划算且高效地生成高质量的语音动画。另一种做法是，对于成本低、内容多的产品，可能会使用简单的唇形库来快速生成质量相对较低的语音动画。
最近，人们对开发出自动生成语音动画的数据驱动方法越来越感兴趣，以找到将这两个极端折中的解决办法（De Martino等的论文，2006；Edwards等的论文，2016；Taylor等的论文，2012）。但是，以前的工作需要预先定义一组数量有限的唇形，还必须将这些唇形混合起来。简单的混合函数限制了可以建模的视觉语音动态的复杂度。所以我们另辟蹊径，计划利用现代机器学习方法，直接从数据中学习视觉语音的复杂动态。
我们提出了一种自动生成语音动画的深度学习方法，这种方法提供一种划算且高效的手段，能大规模地生成高保真的语音动画。例如，我们用100多个自由度，在电影特效制作级别的人脸模型上生成逼真的语音动画。我们工作中的一个重点是开发一种高效的语音动画方法，可以无缝地整合到现有的作品生产中。
