Body Labs利用人体统计学研究为AR-VR创造虚拟化身

一家纽约科技初创公司表示，基于神经网络，深度学习，以及人类身体形状和运动的软件将能用于动画化或控制虚拟化身。

Body Labs成立于2013年，他们正专注于人类身体形成和运动的研究，以及所得到的统计学模型，然后根据视频，甚至是一张图片来预测和生成动画。

Body Labs联合创始人兼技术总监埃里克·拉查林（Eric Rachlin）表示，这家公司正在把研究成果部署在以人类身体为中心功能或者是把人类身体作为控制者本人的移动、VR、AR和游戏应用，而无标记动捕领域是软件的另一个潜在应用。

Body Labs是一家建立在人体统计学模型研究的公司，而这项研究是在布朗大学和德国马克思普朗克科学院智能系统研究所完成的，由迈克尔·布莱克（Michael Black）教授领衔。该研究的最新成果是“SOMA: Human-Aware AI”。

这个花哨的名字与深度学习有关，也就是从扫描，测量，照片，视频和其他来源获取有关人类的已知数据，并使用它来预测人类的形状和运动。其想法是提取日常RGB照片或视频中身体形状的关键部分，并通过深度学习算法来生成身体可能采取的运动。

拉查林解释道：“举个简单的例子。假如你拥有原始的运动捕捉数据以及某人的3D扫描。Body Labs的技术可以把两种类型的数据转换为3D身体，这样我们能够将3D扫描中存在的高质量形状信息与运动捕获的高质量动画相结合。”

拉查林补充说：“由于所产生的身体总是具有一致的结构。我们可以把先前存在的纹理贴图或其他动画资源库应用起来。更重要的是，如果一些原始的动捕或扫描数据是存在嘈点或缺失，我们模型的统计性质允许我们通过结构感知算法来智能地去噪数据。”

实际上，Body Labs正在向感兴趣的开发者提供“SOMA Shape API”。这个API通过引用单张图像，加上高度和重量来产生完整的3D模型或任何对象的数字测量。

但面部动画呢？市场上已经存在一定的面部追踪应用，可以通过记录用户脸部的静态图像来生成虚拟化身，或根据脸部视频来驱动某种动画角色。拉查林说道：“我们的路线图包括面部追踪，但我们目前主要专注于通过RGB视频和照片改进SOMA的3D形状和运动预测功能。”

SOMA的一个可能用途是把人类身体转变成精确的游戏控制器，而不是手持式的控制器。例如用户伸出手臂就能发射能量光束，或者是双手交叉来格挡攻击。API已经把目光放在让消费者通过虚拟化身进行虚拟试衣的应用程序。

SOMA的另一个应用可能是无标记运动捕捉，亦即只使用一个人的原始视频来驱动动画，无需任何身体套装或标记。拉查林说：“SOMA输出一个完整的3D身体，不仅只是一个棒状图。这样的结果是，我们带来了可以创建逼真角色动画的工具。”

然而，Body Labs尚未把SOMA看作是高端动捕的替代品，但他们相信其算法的准确性将能随着时间的推移而改善。拉查林说：“今天，我们把虚拟试衣，游戏，视觉效果和增强现实视为SOMA可以提供最大价值的领域。”