SIGGRAPH 2017｜迄今为止最高品质实时数字人

作者：李妍

本文原文刊登于FXGuide.com（https://www.fxguide.com/featured/real-time-mike），由腾讯互娱NEXT研发中心进行编译。

RENDERS IN REAL TIME ON ONE PC (30FPS)

MEETMIKE项目展示了数字人科技的最新研究，在洛杉矶SIGGRAPH2017的VR Village现场，几位业界领袖人物接受了一个照片级真实的数字人的在线实时采访，而这个数字人是在悉尼的一个虚拟演播室中。

Crowds on Day 2

在VR Village，SIGGRAPH的观众可以观看fxguide的联合创始人Mike Seymour作为MEETMIKE演示的主持人，使用Epic Games的虚幻引擎对业界几位领袖人物在VR中进行实时立体的采访对话。

Mike in the Technoprops Stereo HMC rig

Mike的数字分身在展会的每一天都在和业界传奇和学术巨擘进行切磋，通过虚拟现实他们一起策划了这场发生在“悉尼”的采访，而观众可以在VR中观看，也可以通过一个巨型屏幕围观。这个项目是虚拟数字人作为演员、代理和替身的崭新研究领域的关键部分。

2K rendered at 30fps

这场分享将会为数字人的研究到达下一个全新的阶段提供珍贵的数据和洞察。“项目的目标是探索数字虚拟人的制作和接纳程度。”为了达成这个VR体验，9台高端的图形工作站同步运行虚幻引擎制作出迄今为止最高品质实时数字人。

这个特殊的展示源自全世界四大洲的多个团队的合作，包括3所大学和6家公司，以及Wikihuman国际研究机构，涵盖了最好的扫描、骨骼绑定以及实时渲染技术。

Monitor at the show, showing 60fps live (see stats on screen)

这次在SIGGRAPH2017的独特展示集结了数家赢得SIGGRAPH2016 REAL TIME LIVE（实时直播）大奖的公司。与去年不同的是，这次数字人是在立体VR环境中以90帧每秒的帧率渲染的，使用了新科技和更高的保真度。此外，来自腾讯公司和美国旧金山的Loom.AI公司的团队也参与其中。

Rendered at 30fps above, and at 90fps in stereo at Siggraph

“能将虚拟制作、数字人和虚拟现实的结合带到SIGGRAPH展示，我们感到非常骄傲，这也是数字演员、代理和替身等的全球研究努力的一部分”，Mike Seymour评论道。项目目标是针对数字人作为虚拟助手在不同场景下应用的需求所做的研究，比如卫生保健、老年护理、教育以及娱乐等场景。

此次VR体验使用虚幻引擎并搭配特殊的HTC VIVE消费者硬件，演示中有两个avatar，一个是定制化的3D数字脸部avatar，通过参与嘉宾的一张静态照片利用特殊的AI算法生成。另一个avatar是通过在USC ICT的LightStage进行大量的面部扫描来创造的。来自Disney Zurich Research的研究团队也帮助贡献了许多研究成果，他们创作了眼部扫描数据来帮助实现直播过程中实时渲染的数字脸。通过来自英国的Cubic Motion公司的深度学习工具来实时追踪解算嘉宾的脸和数字主持人Mike的脸。

然后这些数据用来实时驱动由3Lateral公司运用当今最新技术发展的脸部骨骼绑定。嘉宾的数字分身的三维脸部重建由Loom.AI运用深度学习来完成。

现场嘉宾包括来自Pixar、Weta Digital、Weta Digital、Magnopus、Disney Research Zurich、Epic Games、USC-ICT、Disney Research和Fox Studios的业界领袖。

这项技术运用了多项AI深度学习的引擎技术，包括追踪定位、处理运算、重建嘉宾和主持人的脸部。“这是一个不折不扣的团队成果，成员来自世界各地，美国的北卡罗来纳、塞尔维亚、英国的曼彻斯特、中国、美国旧金山和澳大利亚的悉尼。这项科技的接受度研究由悉尼大学、印第安纳大学和爱荷华州立大学完成”，来自悉尼大学的教授Kai Riemer说，他领导了学术团队对此次演示活动进行研究数据采集。

这个项目的独特性还在于它是在Wikihuman项目上展开，Wikihuman是一个非营利性的由实践者和研究人员组成的团队，他们不仅仅研究数字人，并且分享他们的发现和大部分数据，可以供任何人非商业化使用。

作为Wikihuman项目的一部分，主持人Mike Seymour在USC-ICT被扫描出来，眼部扫描由Disney Research Zurich完成。图形引擎和实时渲染是虚幻引擎的一个定制版本。脸部追踪和解算由来自英国曼彻斯特的Cubic Motion提供解决方案。先进的脸部骨骼绑定技术由来自塞尔维亚的3Lateral提供。一套全新的复杂的皮肤着色器（skin shaders ）由来自腾讯互娱NEXT研发中心和Epic Games合作开发完成。嘉宾的数字分身是由一张静态照片生成，技术来自旧金山的Loom.ai。

技术概览：

- MEETMIKE中数字人有大约44万个三角形被实时渲染，这意味着每9毫秒完成一次立体VR渲染，其中70%是花在渲染头发上。

- Mike的脸部骨骼绑定使用了大约80个关节，大部分是为了头发的运动和脸部毛发。

- 脸部模型大约只用了10个关节，分别用在下巴、眼睛和舌头，目的是为了运动更加圆滑。

- 最终版本的头部模型是综合使用了以上关节和750个融合变形（blendshapes）。

- 系统使用了复杂的传统软件和三种深度学习AI引擎

- Mike的脸部使用了Technoprop公司先进的配有立体红外摄像头的固定在头部的面部捕捉装置

- 大学关于接受度的研究将计划在未来的ACM会议上发表

Behind the scenes.

Epic Games公司成立于1991年，是虚幻引擎的开发者，《战争机器 》、《机械重装》、和《无尽之剑》系列等游戏的缔造者。目前Epic正在打造《Paragon》、《Fortnite》、《 SPYJiNX》和《Battle Breakers》等新游戏。Epic的虚幻引擎技术被广泛使用在各种规模的团队中，用来开发惊艳视觉效果的高品质跨平台游戏和体验，包括PC、主机、移动端、VR和AR平台。选用虚幻引擎进行视觉呈现、设计、电影、电视和仿真模拟的开发者们逐渐攀升。虚幻引擎在unrealengine.com可免费下载。

3Lateral一直怀有热情致力于创造虚拟角色和生物，公司聚焦在无缝、实时的真人数字化技术研发上，并提供复杂的骨骼绑定技术。

Cubic Motion是一家享誉国际的计算机视觉公司，团队由研究者、工程师和富有经验的产品化人员组成。他们的创新成果包括世界领先的对无标记的视频，立体数据或深度数据的精确追踪技术。

来自腾讯互娱NEXT研发中心的实时渲染和图形学的研究者帮助提升了数字人脸部皮肤的细节和真实性。

Wikihuman研究团队是一个非营利性的组织，致力于研究、理解、攻克和分享数字虚拟人类的技术。

Loom.ai创建了一个机器学习平台，通过照片来生成定制化、富有表现力的数字脸部avatar。他们开放了许可给到移动AR、信息传递、游戏、VR社交和电子商务等商业领域。创始团队由前DreamWorks和Lucasfilm的获得过奥斯卡视觉特效奖的资深从业者们组成，Loom.ai的愿景是让虚拟人制作不再通过使用昂贵的专业扫描来完成。

Christophe Hery (PIXAR) and render expert.