GPU性能不够跑VR?这项技术或许能解决难题

发表于2016-04-29
评论0 1k浏览
  所谓虚拟现实,就是要欺骗人的眼睛和大脑,让虚拟世界感觉跟真实世界一样。目前好的VR产品已经在这方面做得相当不错了,但仍有进步空间。下面要说的就是一项可以让虚拟世界更好模拟真实世界的技术。

人眼看世界与VR渲染方式
  人眼能看到的范围是有限的,因此产生了一个名词叫人眼视度。人眼视度指的是人不动头时的可视角度。我们身处一个360度环绕的世界,但任何时候我们只能查看120度视度范围内的事物,并且我们的双眼会聚焦在视野中一小块不超过6度的区域(中央凹+近中央凹视野),周围则是模糊的(周边视野),这就是我们看世界的方式。
  顶级的VR头显(HTC Vive、Oculus Rift)的可视角度能达到110度左右(与眼睛和屏幕之间的距离有关),与人眼视度非常接近。我们在VR头显中看到的世界,也只是它的屏幕所显示内容的一部分,而真正聚焦的更是这一小部分中的一小块区域。但是VR设备在渲染画面时却是对整个视野进行渲染,不在人眼聚焦的画面一样在以相同的速度刷新。
  由于VR设备的高分辨率和刷新率,这种渲染方式需要消耗大量的GPU资源,使得PC平台的头盔对显卡要求很高(通常在GTX 970以上),而移动VR则很难达到良好的体验。
  不过,一些公司已经在着手解决问题,Nvidia推出了MRS(multi-resolution shading)技术,国内公司七鑫易维则希望在此基础上加入焦点渲染(Foveated rendering)技术。

分区渲染的MRS 
  去年5月,Nvidia在自家针对VR的开发者套件GameWorks VR中加入了MRS技术。这项技术使得针对VR的渲染不再是将整个画面以相同的分辨率进行渲染,而是分成了几个不同的区域。


  画面的中央,也就是人眼在VR中看到的主要区域,也是画面没有畸变的地方,会以完整的高分辨率进行渲染;而画面的边缘则以更低质量进行渲染,再加上边缘的像素经过变形后的损失,可以节省25%-50%的像素,理论上可以提升一倍的渲染效果。
  使用Nvidia Maxwell架构的显卡,包括GeForce Titan X和GTX 900系列,目前都支持这一技术。
  在接受雷锋网采访时,Nvidia全球副总裁、中国区总经理张建中也对这项技术进行了解释:
  传统的眼镜都是鱼眼的,传统的GPU渲染的是长方形,长方形变成鱼眼,用传统的方法去渲染是不行的。所以我们想了一个比较聪明的方法,我们把视觉图形分成九块,用不同的方式去渲染,这样把效率提高大概50%左右。结果就相当于以前可能一秒钟渲染90帧,现在可以做到140帧左右,这样你就可以看到更高清晰度。

焦点渲染
  国内创业公司七鑫易维目前正与Nvidia合作,在MRS技术的基础之上,使用眼球追踪技术进一步开发出焦点渲染技术(也叫注视点渲染),从而进一步缩小高清渲染画面的区域。
  据七鑫易维CEO黄通兵介绍,焦点渲染通过近红外传感器对人的眼球进行追踪,判断人眼的注视点,只对注视点区域进行高清渲染,而且这个区域会随着注视点的变化而变化。


  上图是雷锋网记者在试用注视点渲染技术时电脑屏幕显示的画面,可以看到记者的视线焦点停留在小屋上时,画面中只有小屋是清晰的,而周围一大片区域则是模糊的。但是当你戴着头盔看时,几乎分辨不出和没有使用这项技术的画面的区别。
  官方表示这个方案可以在保证用户体验的情况下,将渲染像素降低到MRS方案的10%左右,最终适配VR设备的PC比例可以提升至30%。
  眼球追踪会对整个画面渲染带来延迟,黄通兵表示他们解决了这个问题,他表示目前追踪技术最高可以做到380Hz的刷新率,如果以通常提供的220Hz计算,会给渲染带来5ms的延时。但是,由于使用焦点渲染,GPU的负担减轻,使得其渲染延时可以降低至5ms,最终使得整体延时仍然低于20ms的坎。
  这项技术也仍有一些问题需要解决,包括针对戴眼镜的用户,眼镜会影响眼球追踪的效果;还有HTC Vive这类产品使用的菲涅尔透镜,其同心圆也会干扰到信号。
  国际上亦有厂商在开发类似的技术,包括Tobii、SMI、FOVE和Eyefluence,但是这个领域还没有形成标准。
  目前七鑫易维除了跟Nvidia合作外,也在跟高通、HTC、Oculus以及国内VR头显厂商合作研究这项技术,具体的产品面世时间仍有待确定,但据悉高通的一体机方案会重点推这个技术,国内的大朋和3Glasses也很积极。

如社区发表内容存在侵权行为,您可以点击这里查看侵权投诉指引