多远都要在一起－VR社交初探
更多原创文章请关注微信公众号：VR新观察
作者：沈黎
现任腾讯互娱研发部副总经理，管理腾讯游戏引擎技术中心和美术设计中心的相关工作。在加入腾讯之前，曾任Epic Games China的CTO，带领商业游戏引擎研发工作。再之前担任Ubisoft上海工作室的软件部门经理，主导研发了《分裂细胞1 PS2》、《分裂细胞2》、《分裂细胞4》等多款AAA游戏。
Oculus的第一代消费者版本VR头显2016年3月底正式发货，HTC的Vive头显紧随其后送到了消费者手中，Sony的Playstation VR也在秣兵历马，准备出货。Virtual Reality，已经跨越虚拟，直面现实，带着消费者级别的硬件来到了市场上。
黎明破晓前，我们虽然期待着曙光，但四周却仍不明朗。目前，任何一种VR头显在使用上都会对用户造成很大的负担：头显笨重闷热，设置繁琐复杂，再加上体验中可能有的眩晕……虽然我们相信硬件一定会不停迭代改进，相应的基础体验也会不断优化，但只要我们的体验方式仍旧是使用头戴设备，遮挡真实环境并通过透镜观看眼前小屏幕绘制出虚拟场景的方式，VR的体验就永远都会让用户有较大的使用成本，较高的门槛和障碍。
现实似乎令人有些沮丧，重负担高门槛的VR体验会不会始终难以大众化普及化？但也许，换个角度，我们不再局限于思考如何降低用户的使用成本，而是从另一方面仔细推敲：究竟在VR里，什么样的内容，用户愿意承受这样高的使用成本并且经常去体验的？
在VR体验中加入社交元素，或许是其中的一个答案。
问题一：VR里的社交会比传统意义上的互联网社交更有价值吗？
生动体验前所未见，VR为互联网社交带来质变的可能性
VR相较于电脑和手机等终端，提供了其他设备难以比拟的身临其境的“在场感”，这种用户的“在场感”会使得用户“忘记”设备本身，本能得使用现实中他（她）习惯了的交互方式，闪躲／触摸／抓握／四处张望……所以几家VR头显厂商都配合设备本身试着提供更自然的交互手段，包括头部位置和转向追踪，手部基于体感的控制器等等。通过这种“在场感”和新的交互手段，用户具备了“肉身”相见和丰富情感表达的能力，这将为我们带来前所未有的全新体验。人与人的交互将变得更丰富立体，如果说互联网本身让社交变得更有效率，那么VR则具备了让互联网社交更生动、并且带来质变的可能性。
我们已经可以在一些VR应用中看到这方面的尝试，比如象AltspaceVR。这是一个基于VR的虚拟社区和社交共享平台。用户可以在虚拟社区中参与不同的活动，和其他用户互动，比如开派对、玩D&D游戏、欣赏视频等等。当用户真正走入虚拟场景，利用自然交互技术将动作投射到VR世界中，展现出视频中类似的交互，就可能构建一个类似线下的社交环境，全面提升虚拟社交的质量。
http://v.qq.com/boke/page/y/0/9/y0186lah4s9.html
AltspaceVR
我们相信，这种可能性会是吸引用户经常使用VR的原因之一。但是纯粹工具类的VR社交应用一开始价值不会太大，一方面是因为一开始VR的用户基数不会特别大，另一方面纯粹满足工具性的需求，VR也并不是最便捷的方式。所以，我们更多得应该去考虑利用社交元素来增加VR内娱乐或者应用的用户体验。
如此，又抛出
第二个问题，VR内什么样的娱乐或者应用整合社交元素会有意义呢？
重现现实生活社交活动，VR让我们多远都能在一起
让我们回到现实生活中来看一看，什么样的事情是大家喜欢在一个社交环境下做的，比如看比赛、打牌，唱K，玩桌游这些娱乐活动，都是有了社交的成分后变得更有趣的。想象一下，在进行这些活动时，如果去掉社交元素，你一个人独自进行，少了周围朋友们的嬉笑欢闹交流分享，是不是顿时少了很多乐趣？即使在电脑或者手机上，通过互联网你虽然也可以和其他人一起参与，但你能感触到的永远只是一行行冰冷的聊天文字或者耳机里的语音，这也远不如和别人一起在现场的那种亲近感。对于这类活动，我们相信，在VR里才可能真正还原出人与人交互的那种乐趣。因此，在VR里重现现实生活中会因为社交元素而更有趣的活动是一个值得考虑的方向。
同时，因为VR里构建的是虚拟世界，我们在视觉表现上可以给这些现实生活中的社交活动带来更精彩震撼的体验，比如玩桌游，所有的物件终于都可以动起来了，魔法可以看到了！
相比传统的互联网化的社交娱乐活动，在VR里，我们可以重现社交的价值，同时比起现实世界，我们也可以创造更奇幻更不可思议的体验。
游戏大厂们也在争先做相关的尝试，育碧刚刚在今年GDC上面宣布了一款类似“杀人游戏”的虚拟现实智力游戏，Werewolves Within。在游戏中，所有玩家都可以同时通过语音和非语音的交流方式，在叽叽喳喳的谎言和争吵中寻找出自以为是的“狼人”。游戏中引入了点头、握手、窃窃私语、宣讲等非语言的交互方式，调动起所有参与者的积极性，很好地展示了虚拟现实中社交元素的价值。
http://v.qq.com/page/g/0/v/g00199ma62v.html
Werewolves Within
第三个问题，如果我们要做VR社交，技术上可行吗？我们能够提供多丰富的人物呈现和情感表达？
通过技术手段，加上基于游戏或者应用中的信息，我们可以在VR中推测和还原出可信的脸部外观、表情变化、肢体动作
先看虚拟世界里用户脸部外表的呈现，如果我们希望是接近真实的话，我们可以通过技术手段离线得还原出用户的脸部贴图和模型，现在无论是靠单张正面照片，或者多张不同角度的照片，亦或是依靠手机相机镜头旋转拍摄，都有相应的技术来还原出3D模型。我们也可以换一种做法，因为往往在网络上进行社交时，用户倾向于不使用真实的形象，所以可以选择不追求脸部的还原，而是提供足够灵活的虚拟角色脸部定制功能，让用户来定制他喜欢的脸部外表。
3D Scan To Play： 通过手机相机镜头生成脸部3D模型
3D Avatar Store： 通过单张照片生成脸部3D模型
用户脸部的表情在虚拟角色上的映射会是传达情感的关键，但很不幸的是，因为用户戴着几乎完全遮住上半边脸的头显，所以目前我们只有少量的实时信息可以用来在虚拟世界中还原出用户的脸部表情。
我们首先可以做的是用Lip Sync技术来通过声音计算出虚拟角色的口型，让用户之间的对话和嘴部运动匹配起来。
OVRLipSync：同步虚拟人物的口型和声音
网站：http://developer.oculus.com
对于眼部的表达会有比较大的挑战，虽然已经有头显内眼球追踪的技术，但是主流的几个头显都还没有集成，好在我们可以通过头部的运动以及场景内的事件焦点（比如某人在说话，或者某个关键事件的发生），来推测用户当时的兴趣焦点，最终来生成生动且可信的眼部动画。
关于表情，如果有摄像头的话可以抓取到脸的下半部份，有一个有趣的技术值得关注，它可以通过深度学习，仅使用脸下半部份表情就能还原出完整的脸部表情。
Facial Performance Sensing HMD by Hao Li
网站：http://www.hao-li.com/publications/papers/siggraph2015FPSHMD.pdf
手部的动作也是表达情感重要的一环，我们可以通过双手体感控制器来获得手部的位置信息，如果需要更细致的表达，那么也有硬件厂商提供各类不同技术的手部追踪，有基于惯性传感器、有基于磁场的、也有基于光学的。
对于肢体动作，可以通过双手的控制器以及头部运动信息，再加上IK(Inverse Kinematic)来做上半身姿态和动作的模拟。下半身的动作可以通过移动的信息来模拟，或者也可以使用Kinect这样的设备来获取，但是下半身的动作一方面对于情感表达并不是很重要，另一方面对于VR里的移动也需要谨慎设计，所以暂时不需要过多关注。
Final IK： 用IK给虚拟角色生成动画
综合来看，在现阶段，比较可行的方式是我们捕捉一些真实的信息，然后再根据当时的应用或者游戏内其他信息，来推测和补充用户的那些不能被捕捉到的信息，从而推断和还原出可信的玩家的肢体和情感表达。
我们也相信，今后的几年，硬件和软件上一定会持续进步并且各种新型的交互技术也会整合进各种头显，提供更强大的捕捉且还原用户外观和交互的能力。
VR － 多远都能在一起
用户在VR的虚拟世界里真真切切的感受到"自己"存在的同时，也会本能得去"扮演"虚拟世界中的这个"自己"，并且希望自己有更丰富的表达能力。虽然现在的技术还不完美，做不到完全的真实到虚拟的映射，但是也已经能提供给用户前所未有的自然交互能力。比起真实生活中的社交，VR社交像其他互联网社交一样更有效率；而比起电脑和手机这样的设备，VR社交又更丰富立体。在不远的将来，VR社交将会给我们带来全新体验：天涯海角，随时随地，让朋友们和全世界就在你眼前。
注：以上文章仅代表个人观点
VR新观察 – 深度前沿的VR新思考
