高通:梦想照入现实——移动VR沉浸式体验
我是来自美国高通公司产品市场总监王宇飞,今天大部分演讲的题目都是关于扩增现实,从高通的角度看过去,虚拟现实(VR)和扩增现实(AR)很多技术是相通的,也希望借这个机会,和大家一起有一个沟通。
我不知道大家对于高通公司是不是熟悉,大家不管是做AR的设备还是VR的设备,可能都有机会用高通的芯片。我们的工作主要是连接人,高通从创始到现在,成长为现在全球最大的无线通信技术的提供商,同时我们也是全球最大的移动半导体通讯芯片的提供商。在过去30年当中,我们非常清晰地看到,移动的技术越来越多在走向我们的生活,而且它的能力越来越强, 1991年需用一个大盒子实现计算能力,今天已经用一个芯片实现了。越来越多的智能的能力,从连接人的设备——也就是智能手机,这也是今天高通支持最多的产品——越来越多走向了物,走向了我们身边越来越多出现的智能硬件,在这些智能硬件当中,毫无疑问走在技术前沿的就是VR和AR,高通公司希望借助我们过去30年当中所积累的连接的技术和计算能力,能够在未来的几十年,甚至更长的时间里面,去把这些技术延伸到连接万物的愿景上来。
对于虚拟现实,或者是对于扩增现实,高通公司觉得,我们有很独特的定位,能够为这个产业和这个产业当中的合作伙伴提供我们力所能及的支持,通过我们的产品,一起为广大消费者和广大行业用户提供完美的解决方案,这里面我从三个层面和大家做一个交流,也看一下,从我们的角度看过去,我们对未来VR和AR,是一个什么样的愿景和预期。
首先从这个技术的角度来看,在过去的30年当中,高通一直致力于无线通信技术,尤其是我们手里的移动设备能力的提高,包括连接能力,包括应用处理器的能力,我们也很高兴看到了非常丰富的研发的成果。在这个当中,我们看到有特别多核心的IP技术,都能为今天VR和AR的发展贡献自己最新的成果。我们都知道对于虚拟现实或者对于扩增现实来讲,真实性是它非常重要的一个基石,另外一个基石是有迅速的相应,能够和你造出来的现实有一个快速的交互,在这方面视觉的技术音频的技术、传感器融合和对环境的这种感知,都是非常重要的基础技术,在这些领域高通公司都有多年的积累。我们在智能手机芯片里面积累的这些技术,现在我们都把它移到了虚拟现实或者是扩增现实的解决方案当中。我不知道大家有没有机会看一下今天在展厅里面,我们各个厂商合作展示的众多设备,大家会注意到很多设备用到了高通的芯片,高通在多媒体方面和计算方面积累的能力,已经开始为VR和AR的开发贡献自己的力量。
从另一方面来讲,积累30年的产业的经验,我觉得更适合帮助我们的客户和我们的合作伙伴,走向更广阔的连接万物的领域,大家都知道移动产业,尤其是移动终端这个产业,可能是过去十年二十年发展最迅速的一个行业。我记得高通公司是第一批来支持当时所谓的智能手机,从最早的windows到Android的出现,在短短的10年时间里,我们从最初一个很平常的3.5寸VGA小屏智能手机,发展到今天我们每年大概几个亿的出货量来自于中国的智能手机厂商。
正是基于这样的产业规模,我们有了迅速开发迭代的时间和成熟的团队开发经验;同时,在中国我们积累了非常丰厚的产业链,这个反过来也磨炼了高通满足这样一个规模化生产和规模化运营的行业的需求能力以及巨大的量产供应能力。同时,我们看到智能终端它的体积越来越小,整个空间要求和对散热的要求越来越苛刻,对于VR和AR便携式设备,对散热的要求是一致的,我们过去行业客户的发展经验,都会用到未来VR和AR设备开发当中。
最后一方面毋庸置疑,随着智能手机行业大规模生产带来成本的降低,无疑会为未来的虚拟现实和增强现实规模的迅速扩展奠定一个非常良好的基础。
最后一方面,中国有句话非常好,一花独放不是春,万紫千红春满园,需要整个生态系统一起努力,过去由于我们长期有和中国的产业链,不管是设备制造商还是软件提供商,有这样长期合作的经验,所以我们在扩展进入虚拟现实领域,我们为合作伙伴提供了充分的开发环境和开发工具,这些开发环境和开发工具,能够可以使大家充分运用到我们在一个小小芯片里的高效运行能力和处理之间的高效协同。
下面我花一点时间就几个方面给大家提供更多的信息供大家参考。最初虚拟现实的火热是从去年开始,最初一波引领潮流的是基于PC的设备,我们觉得从未来来讲,由于AR和VR设备天生的便携式要求,所以移动式VR必然会成为未来越来越强的诉求,会成为绝大部分消费者最主要的应用场景,我们移动行业的合作伙伴非常敏锐,迅速踏入到前沿的科技领域,大家听到一种很流行的说法,去年到今年大家都说中国进入VR的元年,这个说法一点不夸张,我记得在去年我们给合作伙伴推介VR的概念和解决方案的时候,只有几个领先的厂商当时表示出了很强的兴趣并且持续跟踪,但是大部分客户还在评估VR是不是一个真正能适合做的、有规模的产业。但是从去年下半年到今年,毫无疑问在今天,我们再去跟客户交流的时候,大家感觉不谈VR好象已经落伍了,正是移动行业迅速加入,我们觉得会为未来VR行业的拓展提供一个很好的基础。在过去30年前,移动终端行业积累了非常丰富的经验,去迅速达到规模化效应和快速设计周期。另外一个,在我们现在已有的移动行业里面,我们已经有非常充分的积累,对于VR和AR非常重要的内容创建,我们已经有了非常好的有经验的团队。所以我们觉得,移动行业会加速在虚拟现实和扩增现实方面的投入,我相信在座的很多同事,也是从原来很成熟的移动终端行业转到这个新兴行业当中来,高通愿意和在座的伙伴一起在这个新的领域拓展。
第二点,从VR、AR的特性来讲,首先要提到高通公司过去在移动平台研发上一直强调的,那就是计算能力和功耗散热的并重,这实际上是非常难处理的平衡,如果大家想象一下,在一个移动的环境下,我不管是VR的头盔还是AR的眼镜,便携式是非常强的要求,我要求我的设计越轻便越好,尤其是VR的头盔,我不能戴着像一个很重的钢盔到处走,它没有可持续性,但是VR和AR会对带来巨大的计算量,在智能手机上我们看到2K的屏幕大家觉得已经足够用了,但是把这个屏幕拉到眼前,很多研究者提出疑问说4K是不是会真正的够用。我要做8K象素处理,而且要在非常短的时间内防止眩晕,计算能力和散热是两个不可分的双胞胎,我有了计算能力的提升,我一定会处理这个处理器增加处理能力以后带来的散热问题,在这些方面,我们非常希望依靠我们在过去十年二十年当中,在移动处理器平台研发上的经验,来为新的VR和AR设备的研发再提供一个非常好的技术。如果不夸张地讲, VR/A是下一个不亚于移动手机这样一个庞大的产业,在这个平台上,我们会有更多的用武之地,把过去高通在功耗和散热方面的积累的经验,能够用到新的平台上面来。
今年我们推出了高通第一代正式支持VR的平台骁龙820,实际上在这之前我们也都看到我们很多的合作伙伴,已经非常积极地在使用我们的技术,试图把虚拟现实的体验移植到这样的平台上。前段时间工信部发布了虚拟现实的白皮书,有一点提到今天VR的用户体验其实并不尽如人意,它的一个很重要的原因是在于过去的技术积累并没有到位。我们认为骁龙820从产品定位来讲是一个承前启后的平台,从承前的角度讲它综合了过去十多年在智能手机平台上综合的能力,计算的能力和多媒体的能力,在骁龙820设计的时候,我们已经看到未来在虚拟现实和扩增现实上的需求,从技术角度讲,我们在骁龙820很重要的方面是在视频、音频和交互三个方面,极大扩展移动处理器的能力,去满足未来在虚拟现实和扩增实境的要求,
从视频视觉处理的效果来看,820平台引入了最新的高通Adreno 530图形处理器,有了它的支撑,我们看到在今天骁龙820上虚拟现实可实现的用户体现,能做到从传感器到视觉的延迟做到20毫秒以下,这达到了所要求的用户体验,也就是防止眩晕的最低标准,在这方面Adreno 530提到了一个非常重要的作用。为了实现VR渲染,我们在Adreno 530显示引擎里做了很多优化。我们在手机上安卓的优化,我的内容从CPU搬到显示,再从显示搬到显存,这样对于虚拟现实和扩增都是很难接受的,我们在这方面,适应VR的要求做了优化,显示能力上我们做了很大的提升。
同时我们把低功耗引入到VR的设备上来,Adreno 530功耗比上一代,它的功耗降低40%,能力上提升40%,在VR设备视觉处理上提供了非常重要的保证。在音频方面,音频在今天虚拟现实,我觉得目前处于隐藏的领域,我们今天看很多VR的设备,PC VR的设备,对于像室内的VR应用上还可以,但是在移动的环境下,我真正能依赖的只能是扣在耳朵上的两个耳机,虚拟出来自四面八方的声音来源。如果在今天这样的场景下,我要考虑回声的影响,要考虑通过麦克风讲的声音和面对面讲的声音会有什么不一样,这些都需要在音频上会有新的技术的变革,这些方面我们都有很多新的积累。现在环境下我要享受VR的体验,我一定要有很好的降噪能力,这些都要集中在音频的解决方案上。
最后一方面是交互,在交互领域,首先的基础是传感器的融合,高通在骁龙820处理器里面引入非常低功耗的传感器核心,它可以处理多个传感器传来的信号,而且快速融合,这种融合的结果直接送到途径处理器进行解算,减少了安卓系统到视觉解算带两的延迟,这都极大改善了虚拟现实所带来的用户体验。
所有的这一切,它的这个核心的基础,是骁龙820有一个非常高度集成的引擎,这里面综合了CPU、图形处处理器和DSP,综合了显示引擎,视频引擎和传感器等等方面,有了这样一个高度融合优化的平台,才能带来很好的VR的体验。
最后一方面,对于生态系统的开发者,我们已经搭建了一个很好的平台。但是在今天,我们也看到,像虚拟现实和扩增现实去转化还有很多的困难,毕竟这个领域太新了,很多公司希望能在我们基础能力上,能不能有一个更完善的环境和平台,能用到我们的这些能力。首先面向软件的开发商,我们提供了VR的SDK,希望和众多的VR的生态系统更紧密融合。在中国的虚拟现实产业环境下,有非常多的SDK产品。但是我想各个公司会遇到同样的问题,就是SDK面对不同的环境怎么把它的性能优势发挥出来,我们相信骁龙820毫无疑问是当下做VR产品的最好的移动处理器平台。我们推出这样的SDK,能够开源释放给我们的合作伙伴,让它把这些性存集成在这个SDK里面,我们开发所有好的东西,我们都通过这个SDK释放给我们的合作伙伴。
前一段时间宣布了我们骁龙820虚拟现实参考设计平台,旨在让大家开发设备的时候,能够有一个实际的参考和性能标准的考核。这个开发平台我们预期在今年4季度提供给产业链的合作伙伴,相信大家能够很快利用这一平台开发自己更精彩的产品。
最后一点,我想展望一下未来,高通在连接性方面的技术优势会在VR的环境里面实现哪些应用?我们尤其看好5G的到来对VR产生新的应用场景和新的支撑,大家知道今天VR大部分内容消费是离线消费,未来随着5G带宽技术出现,我相信VR会向实时性的内容发展,这方面我相信骁龙处理器在未来为大家拓展新的VR应用场景,再提供新的帮助。
最后总结一下,我们希望在今天或者在未来更多的场合,能够有更多的机会交流我们在VR上的愿景和骁龙处理器以及扩增现实解决的方案。