【评测】Oculus DK2表情识别感应器 Affective Wear

很多人也许不知道，VRHMD的第一台原型机产生于1968年一所美国大学的实验室，近几年，由于虚拟现实前沿科学领域的发展迅猛，各大院校的VR研究也飞快发展，其中亚洲地区数东京大学、庆应义塾大学的研究成果最为显著，今天介绍的就是在秋季召开的2015前沿科学展示会上披露的一种配合OculusDK2使用的表情捕捉装置，这种技术比诺亦腾曾经在HTC峰会上展示的动作捕捉技术更为精密也更难以把控。

具有视线追踪功能的VR HMD“FOVE”曾受到大家的关注。在某次展示大会上也展示了一些类似这样、通过佩戴HMD或AR眼镜而得到用户即时表情并进行交互式处理的技术。

其中，最有代表性的就是2015秋季前沿科学展示会上展出、由庆应义塾大学理工学院信息工程系杉本研究室开发的一种叫做Affective Wear的装置。从公开展示的官方影像资料中可以大概了解这个装置。

Affective Wear的目的是，增加一个低成本的感应器来读取佩戴HMD用户的表情。有的数码相机很早以前就具备了“笑脸识别”的功能，两者的技术性在大方向上是相近的。不过，数码相机的表情识别是建立在画像识别技术的基础上的，这与Affective Wear的识别方式相差很大。

感应装置的样品，一个个小小的红外线测距感应器分布在眼罩型的柔软的电路板上。

在眼罩型的柔软电路板上面安装多个光学式测距感应器，这就组成了Affective Wear的感应器。

这次样品演示使用的是VR HMD“OculusRift”的第二代测试机（Development Kit 2，以下简称DK2）。将Affective Wear电路板嵌入DK2的贴近眼睛处。如果能将包含Affective Wear的HMD产品化，那么感应器电路板就可与HMD融为一体了。

DK2贴近眼睛处嵌入了Affective Wear感应电路板，这样就可以读取体验者的表情。

Affective Wear的基本概念是很简单的。人大笑或者发怒时，脸部的肌肉运动导致脸部表面凹凸变化，这时，Affective Wear的作用就是，位于脸部前方的多个测距感应器检测出凹凸的改变量，再从已与多处凹凸状态相结合的表情模型中推断出表情。

不是利用需使用相机的画像识别技术，而是利用较之更为便宜的红外线测距感应器来进行表情识别。这就是Affective Wear的独特性。

当然，由表情变化而带来的凹凸改变量及表情模型存在个体差异，所以，首先需要体验者登录设定自己的表情模型，其实也就相当于是感应器的校准吧。

先记录每个体验者的基本表情模型，然后与从感应器处取得的凹凸变化相比较，就可以识别表情了。

展示会上进行了两种演示:

第一种是，游戏引擎“Unity”的吉祥物Uni模仿头戴贴附Affective Wear的HMD的体验者的表情。

演示的情形。体验者的表情被DK2掩盖而无法被看见，但从前面的笔记本电脑中可见，经过表情识别后的Uni是笑着的。

笔者也体验了一下，表情识别的反响非常好。戴上DK2后，别人就看不到自己的表情了，所以可以无所顾忌地朝VR世界里的人物做夸张的表情。

Uni进行表情识别的演示。体验者（左）的表情普通，Uni（右）也是毫无表情的样子。

体验者（左）如果微笑的话，Uni（右）也会笑起来。

另一种则不是HMD头显，而是附着了Affective Wear的眼镜，未来使用的方向也不是VR而是类似谷歌眼镜的AR领域。

与HMD Affective Wear型识别装置不同，第二种眼镜型在使用时，体验者的表情是能被大家看到的，当着很多人的面做出喜怒哀乐的表情还是比较不好意思。当配合眼镜型使用时，体验者面前的小型机器人会根据表情做出不同的反应。如下图所示。