谷歌资深软件工程师Wim Meeussen:移动AR和VR会是下一代计算平台
5月12日,Unite 2017开发者大会在上海举行。在下午的VR/AR论坛中,谷歌资深软件工程师Wim Meeussen分享了Daydream平台和Tango平台相关构造,以及谷歌对于VR和AR的理解。以下为演讲的具体内容,87870在不改变原意的情况下稍作修改。
大家下午好!谢谢大家来到会场,非常高兴回到上海,我是Wim Meeussen,来自于Google公司,负责亚太区的工程团队。接下来,我将主要谈一下移动AR和VR。
在开始之前,我想谈一下为什么AR和VR这么重要。我们来看一下Google公司的愿景,Google希望能够把所有的信息组织起来为人们所用。
那么,为什么Google这么关注AR和VR呢?答案在于,我们相信AR和VR会成为下一代的计算平台。
从大型机到个人电脑再到互联网时代,现在大家都有了智能手机。我们相信下一个时代是增强现实和虚拟现实的时代。在这个时代里有很多的互动,在VR里面可以看到全新的环境,它把我们处置在一个假的环境中,这会让我们对现实有更好的了解。AR和VR都是表达和使用信息的新途径,正是因为这样,Google才非常重视AR和VR。
那么,谷歌为什么要在移动设备上设计AR和VR?因为全世界的移动设备非常多,如果我们要实现非常大的数据规模,必须要实现移动化。全球智能手机有30多亿台,这样的规模对Google很有意义。
我今天会介绍Daydream VR平台,还有Tango AR平台。这两个平台支持的产品现在已经存在了,我们可以买到一些设备,可以说硬件软件都存在了,不是一个未来的东西。
我接下来主要是VR讲一点,AR讲一点,讲一下如何来创建代入感或者临场感,VR如何使虚拟的物件具有现实感、真实感。
先介绍一下Google的虚拟现实平台Daydream。
先做一下民意调查,在座的诸位有多少人使用过VR平台?请举手。好像举手的人还蛮多的,有多少人用过Daydream?好像举手的人少很多。没问题,我今天会讲很多关于Daydream的内容。
首先Daydream在不同的平台之间有定位。左边的Cardboard眼镜是比较便宜的产品,是现今存在最大的VR平台,我们已经卖出了1000多万个;右边是更加高端的桌面级虚拟现实产品,Daydream处在中间。我们要体验Daydream,就需要一个支持Daydream的手机和Daydream头显以及控制器。要使这三个东西紧密地配合才能实现它们的功能。
Google对支持Daydream功能的手机有着严格的限制,现在摩托罗拉已经有了这一类的手机,华硕和华为也正在开发这方面功能的手机。
这是一个Daydream头显、查看器以及手柄。我们要把头显设计的比较柔软,便于使用。在Daydream里面放入手机,就可以体验了。在查看器里面我们的手机会和察看设备实现无线通讯和互动。另外,我们还有控制器,对于VR来说,控制器要做的简单易用,其实人们蒙上眼睛就可以使用。控制器要非常地简单,有一个可以点击的触屏,有一个应用的按纽。
戴上Daydream头显后会是什么样的呢?首先我们在Daydream里面会看到Daydream Home,可以启动和停止VR应用,可以进入到app store,可以下载新的应用,可以采购一些APP,也可以看电影。整个体验都在VR里面,我们不需要来回进出VR,甚至可以在里面打电话。
我们在Daydream里面已经建立了很多东西,这里面很多的内容已经过时了,但很多新的东西已经被开发出来。
刚才我从消费者角度谈了一下Daydream,现在从开发者角度谈一下Daydream。我们要做VR是什么意思呢?就是要欺骗我们的大脑,相信我们处在实际上不存在的环境当中,让大脑产生幻觉。而产生幻觉要三个要素:首先要能看到一些东西,听到一些东西,还要能够进行互动。VR产生体验有三个要素,接下来会更详细地从三个方面来阐述。
首先我们能够在现实的世界当中看到一些东西。如果我们移动很快就看到了一些运动,几乎是在移动和看到图象的延迟几乎是零毫秒。在VR里面我们移动传感器要能够探测到移动在什么地方。另外,我们要提交渲染图像,图像出来以后才能看到运动的模型,所以从开始移动到我们看到有很多不同的步骤。
我们要实现效果比较好的VR,滞后时间要小于20毫秒,正是因为这样Daydream里面有特殊的软件、硬件,确保滞后时间在20毫秒以内。在硬件方面,我们对很多手机进行了认证,认证的手机滞后时间非常短,需要有非常好的芯片,而且传感器的滞后、延迟也是很低的。
我们前面已经讲到过,有一些手机已经具备了支持Daydream的功能。在软件方面,我们设计一些软件能够使用VR和Daydream。图片每一桢的桢率要满足性能的要求。
下面我们再来看系统的UI,希望能够在里面打电话、购物。你可以待在VR里面,同时它的低延迟渲染也是非常重要的,所以可以在20秒当中做很多事情。
下面我们再来看看另外一个非常重要的功能,就是你的音频体验、听觉体验。你想要去做这样一个渲染,想要有这么好的一棵树,你可以花很多的时间,或者很多CPU能够让每一张树叶看起来都非常真实。
当然,这在移动上是挺难做到的。但是我们可以这样做,把树用比较少的面数,给它加入音频。对于在用户里面加上声音之后,代入感会非常好,就跟比较好的渲染出来的代入感是一样的,不需要用到那么多的CPU。音频是一个比较便宜的解决方案,另外声音在不同的地方表现也是不一样的,比如说你在森林里面讲话的声音是不同于你在太空进行的对话。因此我们要使得声音也做的尽可能真实。
VR不仅仅只是左右声道,这个声音是360度的,全方位环绕的。同时,声音就好像是背后传来了很真实的声音,你想要去查看一下,因此这个声音也可以作为代入感的工具。
第三个要谈的是你与这个世界的交互。这里有一个控制器,它有相应的传感器,可以对运动进行感知。一切听起来非常简单。如果把感知和身体连接起来,就像是你的胳膊、头在转动一下,如果把所有的知识加在一起的话,你就可以做到很强的控制器。它不仅仅只是做3D的控制,它是可以帮助你来做到自由运动。就像你在打高尔夫,你用你的控制器可以打高尔夫,可以用它来进行瞬息移动,也可以让你在开放式的空间进行运动,这就是关于控制器的不同使用方式,你可以用它来做很多的事情。
去扔一个东西去拍一个东西,你有很多种不同的方式来使用这么一个简单的控制器,因此作为开发者你要有创意,你要把控制器进行开发,它有很多的功能,不仅仅只是像激光笔一样。这些是我希望大家能够记住的,真正地去创造代入感,看看能看到什么、听到什么,能进行什么样的交互。
下面给大家分享一下VR的最佳实践。首先有这么一点,如果你的用户是坐在沙发上,他很舒服,可能有20、30分钟的时间给他,这个用户可以到处去看,但是很难向后看,因为他是坐着的,你就想象有这么的一个场景,你坐下来之后你也挺难去运转,很难转动。假设这个就是你的用户场景,你记住这一点就容易去进行开发。
下面再来看看Motion(运动)。在现实生活当中,你的用户是坐下来的,在虚拟世界中,用户坐下来是完美的,因为两者是可以匹配的,是一样的。如果你想使用motion的话必须要非常谨慎,因为很多人会有运动上的紧张感。有时候你想要让Motion尽可能地短时间,因为有的人可能会有不适感。
刚才谈的是Daydream,是关于VR的。我的第二部分想要讨论的是Tango,这是AR平台。
大家在座有人用过Tango吗?请举手,这里看到有些人有用过,很好。Tango的设备在京东或者是其他的渠道都是可以买到的,在中国已经有售了。如果VR是关于创作想象,那么AR真正重要的就是能够让你通过手机去了解身边的世界。
我这里再解释一下它是怎么样去运作的。你看这样的场景,你知道这个是什么意思,你知道哪些地方是可以走路的,哪些地方是可以躺下来的,但是在Tango里面希望手机能够有同样的体验,看到场景的时候,你希望Tango能够了解背后的3D几何空间,不光光只是看到了像素,还可以看到3D的几何世界。
我们先来看看Tango的硬件,看看它具体有什么特别之处,每一个Tango手机有三个独特之处,每个Tango手机都有特别的深度感知传感器,因为需要做图象处理的工作,所以还有第三点,就是视觉处理器。
如果我们再来看看手机的演变,在最开始的时候手机就是用来打电话的,后来有了摄像头、GPS,后来加入了指纹识别。Tango的摄像头将会是手机的下一个变革,能够让人们更好地了解这个世界。
这是关于Tango的硬件设施,下面再来看看Tango的软件设备。它有三块,一块儿是运动追踪,一块儿是深度感知,一个是关于领域知识,也叫Area Learning。运动最后能够告诉我运动轨迹是什么样的,能看你进行旋转、运动进行了哪些,你就知道你的设备在怎么样的运动轨迹进行运动,它是非常精准识别的。
深度感知能够帮你看到3D世界,我们用Tango特定的摄像头,如果指向这样的物体就能够看到这个物体3D的界面。
最后一块儿Area Learning,请大家先闭上眼睛,用有手指一下你刚刚从哪个门进来的,指一下这个门的方向。我看很多人的手都指了不同的方向。当大家进来的时候你都开始有这样的记忆,知道这个房子长什么样的,大家都记得你在哪里,从哪个方向都进来了,刚才大家都指了你进来的方向。对Tango也是这样的,我们给Tango这种记忆,让它记住它去过哪里,记住手机的运动轨迹,记住它经过哪些地方。