Google 软件工程师:用Daydream和Tango探索VR和AR世界
Unite 2017 在上海国际会议中心隆重召开!Google 资深软件工程师 Wim Meeussen分享《用Daydream和Tango探索VR和AR世界》主题,剖析为什么Google这么关注AR和VR,以及Daydream的定位及Tango的运作方法。
以下为整理的演讲实录
Google 资深软件工程师 Wim Meeussen:
我是Wim Meeussen,来自于Google公司,负责亚太区的工程团队。我谈一下移动AR和VR。
Google的野心 为什么如此关注AR和VR
在开始之前,我想谈一下为什么AR和VR这么重要。我们来看一下Google公司的愿景,Google希望能够把所有的信息组织起来为人们所用,为什么Google这么关注AR和VR呢?答案在于如果我们看一下各种不同历史上的计算平台,我们相信AR和VR会成为下一代的计算平台。
我们相信下一步时代是增强现实和虚拟现实的时代。在这个时代里有很多的互动,在VR里面可以看成一种新的环境,它把我们处置在一个假的环境中,在VR里面我们可以对现实有更好的了解,AR和VR都是表达和使用信息的新途径,正是因为这样,Google非常重视AR和VR。
你要问我们为什么要在移动设备上设计AR和VR,因为我们全世界的移动设备非常多,如果我们要实现非常大的数据规模,我们必须要实现移动化,全球手机有30多亿台。这样的规模对Google很有意义,对在座的诸位也很有意义。
我今天会介绍Daydream做VR的平台,还有Tango做AR的平台,这两个平台现在已经存在了,我们可以买到一些设备,硬件软件都存在了,不是一个未来的东西。
Google 的VR定位:主打移动端
先介绍一下Google虚拟现实的平台Daydream。
首先Daydream在不同的平台之间有定位,左边是眼镜这个是比较便宜的东西,是现今存在最大的VR平台,我们已经卖出了1000多万个。右边是更加高端的桌面的虚拟现实的东西,Daydream处在中间。
我们要体验Daydream,就需要一个有Daydream功能的手机和Daydream的查看器、控制器。要使这三个东西紧密地配合实现它们的功能。
我前面谈到过规模,Google对一台符合Daydream功能的手机,现在中国通信和摩托罗拉已经有了这一类的手机,华硕和华为也正在开发这方面功能的手机。
这是一个Daydream眼镜、查看器、耳机,我们要把它设计的比较柔软,便于使用。所以在 Daydream里面要进入到VR,把手机放上去,把它关上就可以体验了。在查看器里面我们的手机会和我们的察看设备实现无线通讯和互动。另外我们还有控制器,对于VR来说,我们控制器要做的简单易用,我们其实是蒙上眼睛就可以使用,控制器要非常地简单,有一个可以点击的触屏,有一个应用的按纽。
我们进入到VR之后把耳机戴上会是什么情况呢?首先我们在Daydream里面先看到Daydreamhome,可以启动和停止VR应用,可以进入到app store,我们可以下载新的应用,可以采购一些APP,也可以看电影,我们整个体验都在VR里面,我们不需要进出VR,甚至可以在里面打电话。
刚才我从消费者角度谈了一下Daydream,现在从开发者角度谈一下Daydream。我们要做VR是什么意思呢?我们要欺骗我们的大脑,相信我们处在实际上不存在的环境当中,让大脑产生幻觉,产生幻觉要三个要素,首先要能看到一些东西,听到一些东西,还要能够进行互动。
VR产生体验的三要素:图像 声音 交互
VR产生体验有三个要素,接下来会更详细地从三个方面来阐述。
首先我们能够看到一些东西在现实的世界当中,如果我们移动很快就看到了一些运动,比方说我转个头就可以看到。几乎是在移动和看到图象的延迟几乎是零毫秒,在VR里面我们移动传感器要能够探测到移动在什么地方。
另外我们要提交渲染图像,图像出来以后才能看到运动的模型,所以从开始移动到我们看到有很多不同的步骤。
我们要实现比较好效果的VR,滞后时间要小于20毫秒,正是因为这样Daydream里面有特殊的软件、硬件,确保滞后时间在20毫秒以内。
下面我们再来看系统的UI,希望能够在里面打电话、做购买。你可以待在VR里面,同时它的低延迟渲染也是非常重要的,可以在20秒当中做很多事情。
另外一个非常重要的功能是音频体验、听觉体验。你想要去做这样一个渲染,想要有这么好的一棵树,你可以花很多的时间,或者很多CPU能够让每一张树叶看起来都非常真实。
当然,这在移动上是挺难做到的。但是我们可以这样做,把树用比较少的面数,给它加入音频,对于用户里面低面树加上声音之后代入感非常好,就跟比较好的渲染出来的代入感是一样的,不需要用到那么多的CPU。音频是一个比较便宜的解决方案,另外声音在不同的地方表现也是不一样的,比如说你在森林里面讲话的声音是不同于你在太空进行的对话。因此我们要使得声音也做的尽可能真实。
VR不仅仅只是左右声道,这个声音是360度,全方位环绕的。同时声音就好像是背后传来了很真实的声音,你想要去查看一下,因此这个声音也可以作为代入感的工具。
第三个要谈的是你与这个世界的交互,我们这里有一个控制器,它有相应的传感器,可以对运动进行感知,它不仅仅只是做3D的控制,它是可以帮助你来做到自由运动。
下面给大家分享一下VR的最佳实践,首先有这么一点,如果你假设你的用户是坐在沙发上,他很舒服,可能有20、30分钟的时间给他,这个用户可以到处去看,但是很难向后看,因为他是坐着的,你就想象有这么的一个场景,你坐下来之后你也挺难去运转,很难转动。假设这个就是你的用户场景,你记住这一点就容易去进行开发。
再来看看Motion,运动。在现实生活当中你的用户是坐下来的,在虚拟世界当中用户坐下来就是完美的,因为两者是可以匹配的,是一样的。如果你想使用motion运动的话必须要非常谨慎,因为很多人会有运动上的紧张感。有的时候你想要让Motion尽可能地短时间,因为有的人可能会有不适感。
再举一个例子,有时候你看上去挺有趣的,现实当中感觉有些东西挺恐怖的,但是这个感觉在VR当中也是一样让人恐怖的,比如说有人有恐高症,在VR当中也是感觉不适的。另外有的人有幽闭空间恐惧症,他会在开放空间也会感觉不舒服。如果有尖锐物体的话你会感觉你会受伤,你也不想有挤在中间的感觉。所以VR对用户的感觉是非常真实的,它可以带来非常真实的情感体验,所以你在设计的时候必须能够重视这一点。
GoogleAR平台Tango硬件及软件设备
刚才谈的是Daydream,是关于VR的。我的第二部分想要讨论的是Tango,这是AR平台。
如果VR是关于创作想象,那么AR真正重要的就是能够让你的手机去了解我们身边的世界。
我这里再解释一下它是怎么样去运作的。在Tango里面希望给你手机能够有同样的体验,看到场景的时候你希望Tango能够了解背后的3D的几何,不光光只是看到了像素,还可以看到3D的几何世界。
先来看看Tango的硬件,每一个Tango手机有三个独特之处,每个Tango手机都有特别的深度感知传感器,它是有这样的功能能够让它感知深度,此外它还有运动追踪器,因为我们在做图象处理的工作,所以还有第三点,就是视觉处理器。
这就使得每一个Tango手机非常独特,现在联想在2016年12月已经发布了这样的一款手机,叫做Lenovo Phab2 Pro,华硕也开发了。Tango的摄像头将会是手机的下一个变革,能够让人们更好地了解这个世界。
下面再来看看Tango的软件设备。它有三块,一块儿是运动追踪,一块儿是深度感知,一个是关于领域知识,也叫Area Learning。
运动最后能够告诉我运动轨迹是什么样的,深度感知能够帮你看到3D世界, Area Learning是一种记忆,对Tango也是这样的,我们给Tango这种记忆,让它记住它去过哪里,记住手机的运动轨迹,记住它经过哪些地方。
为什么你需要这三块儿来做VR呢?比如说我们做渲染,做一辆汽车的时候为什么需要这样的渲染呢?
我这里所拿的就是联想这部手机,Phab2 Pro,它有G Pro的摄像头,我像大家做的展示就是它能帮你理解AR的。
Tango手机实现的AR效果示例
这可能是AR的最简单的版本,这里是有虚拟的角色,这个并不是非常棒的AR。
我们再向前一步,加入运动追踪,有虚拟的小猫,它可以移动。再加上深度感知看看,在这个版本当中我们用了深度感知器,让它去了解地板在这儿,能够把它放在合适的地方。
因为我们了解了它背后的几何学,所以我就可以去做点击,让它走到不同的地方。看看能不能让它跳到桌子上去,现在我们有了运动追踪,有深度感知,这里面的AR做出来就是很棒了。
人可以通过这个桌子看到这个猫,这不太好,这就破坏了AR的幻觉,还有一个给大家展示的。我们会用深度传感器对环境建立3D的网格,我们会告诉Tango在哪些地方有障碍,有遮挡,我这里有一个网格,小猫在桌子后面。我们看不清楚,如果我们建立真正的应用会把整个猫都遮挡起来,这里面会有阴影,我们要有很好的AR体验,要有不同的要素。
我们了解了它的运动、重量、障碍、遮挡物,使得虚拟的物件就像真实的物件一样受到这样的效果,当然我们要建立很好的AR,可以通过反光、光线能够做到一些效果非常好的AR。
Ues Cases有哪些?我们可以用它来玩虚拟的家具、我们也可以用Tango来进行三维的尺度测量、我们可以通过3D的模型在Tango里面对尺寸进行测量和核对。
我前面讲到过方位的感知、区域的学习,我们现在在这个房间里面,加入我们要感知一下在整个大楼里面的位置,在真实的世界对虚拟的物件要实现可视化,通过记忆,在植物园里面可以看到整个的热带雨林。
我们今天讲到了Daydream和Tango,要有虚拟体验,所见、所闻三个因素,如何在VR里面实现真实的效果?首先要有真实的体验,这些物件必须看上去是真实的。这是我们的开发者网站,包括Daydream和Tango。
谢谢大家!