当虚拟世界多了一维，我们该怎样和机器对话？
发表于2016-10-24
虚拟世界已经伴随了我们很长时间，不过有了虚拟现实这个题目之后我们才听到关于虚拟现实增强现实的说法。当我们和传统PC、手持设备沟通的时候，其实我们就是在和虚拟的世界进行沟通，只不过现在突然多了一重深度的信息。这一重深度的信息带给我们很多可能性，同时也带给我们很多挑战。今天我主要跟大家探讨的事情就是当虚拟的世界多了一维的时候，我们除了多了一些东西可以用，多了一些视角可以看之外，还需要注意哪些事情，特别是我们企图跟虚拟世界沟通互动的时候我们需要注意哪些问题。
我们一直在做的事情就是把传感器穿在人的身上，用来捕捉人的动作，再把数字化的动作用到不同的行业里面。我们做的大量的工作，是用在传统后期制作的行业。我们有很多的客户，有一部美剧叫做《权利的游戏》，在获奖接受采访时提到了我们的公司和产品，因为他们大量的千军万马的动态捕捉是用我们的产品实现的。
图中这位男士穿戴了17个传感器，下半身有7个传感器，上半身有10个传感器，腰间有一个无线的模块，可以把数字化的动作传输到电脑上来。这位女士更为复杂一些，除了身体上的17个传感器之外，还有更多的传感器在手指上，这样可以捕捉除了身体以及手指的运动。
后期制作是动作捕捉其中一个很大的应用领域，另外一个很大的方向就是人机交互。
当虚拟的世界多了一维，为什么我们就需要这样的机器来进行人机互动，这是有很多内生的故事在里面的。传统的有哪些人和机器沟通互动的方式，有哪些输入设备，人机交互设备呢？传统的有游戏遥感、鼠标键盘类似的输入设备，还有体感的输入设备，后来又有很多种不同的体感设备。再后来又有基于视觉的方式或者基于光学的方式，大量的姿态捕捉，其中有一些是通过马克点的方式去捕捉的，有一些是通过摄像头进行捕捉的。还有一些重度的研究者和游戏玩家会用大型的设备，类似全向跑步机等。
当虚拟的世界多了一维的时候，我们需要重新来考虑人和机器之间应该怎么对话、怎么沟通，因为传统的方式未必好。为什么？我们有一些基本的假设，这些基本的假设会支撑我接下来讲的所有内容。
一些基本假设
第一，交互硬件与交互设计是分不开的。传统的交互硬件有键盘、鼠标、触摸屏，这和交互的设计是分不开的。iPhone把电容屏带到我们的生活中之后，所有的交互设计都发生了很大的变化。我们整个计算平台很有可能发生变化，交互硬件会变，相应的交互设计也会变。
第二，不同的应用场景，有可能需要不同的交互硬件、交互方式。当我做快速文字录入的时候，大家都习惯用键盘，谁也不会用鼠标点击一个虚拟键盘，但是当我们玩赛车游戏的时候，那些骨灰级别的玩家会不惜成本买一个两、三千块钱带踏板的键盘。所以不同的交互硬件会有不同的交互方式。
第三，不同的应用场景，同样的硬件，有可能需要不同的交互方式。
第四，没有“最好的”交互硬件、交互方式，也没有“唯一”或者“万能”的交互硬件、交互方式。哪怕还没有多出一维的交互硬件，我们已经有了很多不同的交互硬件。面对不同的应用场景和不同的内容去适配，可以兼容不同的交互硬件。当新的计算平台出现在我们面前的时候，我们不要企图找到一个唯一的、万能的交互方式。
语境
语境，就是工作的工况、状态，和传统的交互语境截然不同。首先它有极高的沉浸度，你看不见外界的东西，不受外界的干扰。你可以自由的选择你的视角，你有一个接近360度的视角，而且是在随时变化的，随着你的头部的变化在变化。另外，你有非常高的自然交互的期望。为什么在虚拟现实的语境或者在多了一维的新的计算平台的语境下面，大家对于自然交互的期望值会提高，因为看东西的方式非常自然。我们和虚拟世界进行沟通时，我要看到东西，这叫输出，我从虚拟世界得到一些信息，另外我要影响这个虚拟世界，这叫输入。两者必须对等，当我看东西的方式、听东西的方式比以前要自然许多的时候，我影响这个世界，我自然期望我以更加自然的方式进行沟通互动。所以，自然交互对于手、对于语音、对于表情这样自然交互手段的期望值和以前截然不同，并提升到一个很高的平台上。
虚拟现实目前由于技术的限制，像最近传的比较火的裸眼3D视频，大家必须在眼前放一个投影的东西在你的身体上，这已经给你的身体带来了负担。现在我们设计整套人机交互硬件和方式的时候，我们希望不要增加人的疲惫度。
分辨率比较低，从iPhone4开始，我们有了超高清300到400dgi的显示屏，我们觉得这个已经超出了人眼的分辨能力。这个产业似乎不会再走下去了，但是没有想到出现了虚拟现实这种形式，顿时拯救的所有做显示屏的厂商。为什么？当你把一块5.5英寸2K的显示屏放在这个距离的时候，人眼完全看不到任何的颗粒感了，我觉得很满意，已经到头了，我不需要再更新换代了。当你把它拍在你的眼前的时候，顿时你就又看到颗粒了。所以对于整个新的计算平台下，大家对于分辨率的提升又到了4K。这是一件很有意思的事情，由于技术演进促进了需求的进步，需求的进步反过来促进技术的进步。
晕3D
我们以前玩三维游戏（例如CS）都有过这样一个过程，刚开始觉得很晕，过一段时间就不再晕，虚拟现实这个问题会更加的严重，通常它会有显示的时延，导致你的前庭功能和你看到的东西不匹配，这就产生了晕3D的现象。这个现象也给我们工具的原则提了一个要求，我们要尽量的避免人去触发这些不适感。比如避免大动态的头部移动，避免大家在进行内容点选的时候频繁的转头，我们要缩短人的这样一个路径。这些都是我们需要注意的。
下面两幅图带你感受一下现场演示。
交互的基本原则
第一，我们希望能够有一个安全性原则。这是我们在设计交互，设计输入输出手段的时候需要注意的事情。第一个演示里，我会抓东西，会把它丢出去，这件事情未必安全。这样的一个手段并不是在所有的环境当中都适合，当年我们在玩游戏的时候，每一个游戏前面都有一个警示的标记，告诉你要把手环戴好，不要做抛的原则。
第二，叫做体面性原则。刚才演示的时候我没有戴头戴显示器，因为我觉得戴头戴显示器不太体面，会把发型压坏，或者在公共场合的时候我从来不用微信的语音功能。比如说我在挤公交的时候或者周边都是我不认识的人的时候，我通过微信做语音收入会觉得很尴尬。比如说我在人机交互的时候设计了一个动作很尴尬或者很辛苦，不体面这件事情很有可能导致你设计的这套人机交互产品不被别人接受。还轮不到讲性能的时候，首先要保证安全，保证舒适和体面。
第三，我们要关注交互的目的和能量最低的原则。我的第二个演示，是一个高度的工具化的人机交互。当我们做一个高度的工具化的人机交互的时候，操作的目的变成第一目的，我不需要这件事情很酷很炫，我只要完成这件事情，我只需要把窗口从左边拖到右边，我们不需要加很多特效。1994年我第一次买了个人电脑，Windows3.1的时候有很多人设计五颜六色的鼠标的类型，拉一个像彩虹一样的尾巴，后来再也没有人去做了。我的目的为了点选，它漂不漂亮并不是我最关注的，我关注的是能不能看得清楚，醒目和能够完成我的目的是最重要的。
此外动作不能太累、太辛苦。有很多人机交互需要你不停的做手势，这样的设计其实是有问题的，就因为很累大家就不会用。我在做第二个演示的时候我的手是垂着的，我并没有要求人把手举起来，伸出去触及目标，而是通过一些取巧很容易学的方式去进行，这就是自学习的原则。自学习原则也是非常重要的一点，为什么我们强调自然交互，因为我们希望学习的路径越短越好。但这里有一个毛病，是不是学习的路径越短越好，是不是这样一个工具造出来之后，别人完全不需要学习拿起来就可以用，这是一个很好的目标但必须有度。
举个栗子，你们学鼠标用了多长时间。再想想看，你们学会键盘盲打用了多长时间，相信你们都用了很长时间，不相信的话，可以马上切换一下，你习惯用右手，尝试一下用左手，要多长时间才能达到右手的灵活度。也就是说传统的人机交互手段是需要学习曲线的，而且这件事情似乎也没有造成很多的困扰，因为它的学习只需要做一次，就和游泳、骑自行车一样，我只要学会了我就再也不会忘了。所以这件事情一定要有度，我们做自学习原则的自交互设备和原则设计的时候，是需要投入的，是需要牺牲性能去达到这一点的。
对于视觉的方式进行人机交互的方式来说，功耗是非常重要的。如果用手机作为载体来进行人机交互，有可能一个双目摄像头它的功耗就已经超过了手机功耗的一半还要多。有很多的限制导致我们必须要考虑到这些问题，尺寸的问题，成本的问题。当我们把这些问题全部都考虑到了之后，我们才有机会做一个成功的基于下一代的平台虚拟现实的交互手段。