从光学部分、传感器到芯片，Magic Leap核心技术大猜想
发表于2016-08-19
虚拟现实大厂近日动作频繁，纷纷爆出头条
Facebook 创始人马克·扎克伯格对于当初20亿美金收购Oculus显迟疑态度：“Facebook或许宁愿打造自己的虚拟现实解决方案，而不是花费20亿美元的价格去收购Oculus VR。扎克伯格还说：“作为一家公司，他们当时还没有准备好去研发虚拟现实，Oculus是目前处理这个问题的最具天赋的团队，所以做出这么大的决定也是合理的。”
在8月16日上午9时美国IDF上，英特尔全球CEO科再奇宣布推出Alloy虚拟现实一体机，这是一款不需要额外使用智能手机或电脑的一体化虚拟现实眼罩。这意味着芯片巨头英特尔正式加入了虚拟现实大战中。据了解该设备还是真正意义上的无线虚拟现实头盔，它拥有自己的处理器和电池，摆脱了线缆和传感器的拘束，但目前设备还未进入国内。
Nokia OZO今日在上海正式宣布在中国推出OZO专业级VR摄像机，以满足中国用户对虚拟现实体验的强烈需求。此外，诺基亚还宣布了OZO虚拟现实摄像机全新的全球售价，其在美国售价为4.5万美元，欧洲售价为4万欧元，中国售价预计将与此保持一致，OZO官网也已经于今日开启，9月份即可以在线预订。
关注这些顶尖的虚拟现实大厂动态，怎么能少得了一度在AR领域引爆眼球的Magic Leap呢？！虽然其真正产品并未浮出水面，但资本对其的不断投入、公司的不断扩张也越发吸引了大众的关注和期待。
增强现实领域Magic Leap 核心技术大猜想
Magic Leap 技术简单可以理解为：他们正在做一个设备，这个设备能把物体投影到人的视场，而且真实得远超我们现在所见的其它类似设备。这个设备一定具备体积小的特点，能够运用在社交场合里佩戴使用，如同智能手机一样便携易用。
便携式投影和计算模块
Magic Leap最突出的可能是把一大部分必须的硬件设备从眼镜本体上拆除，集成到另外一个独立的模块中，那便携模块里面都有些什么呢？可能有如下部分：
电池
这块电池的容量至少要做到相当于现在的智能手机，也许再多点，但如果要替代智能手机，至少得达到5000毫安时。
CPU
和虚拟现实相比，混合现实只需要渲染局部，不需要渲染整个场景，这样就避免了高强度的图形处理。
内存
跟智能手机差不多，估计3-4GB。
定制的 SLAM 芯片
这个是把虚拟物体摆放到真实世界所必需的，他们可能会自己流片，或者采用 Movidius或其它类似的芯片。
激光投影仪
这是该设备最主要的创新，把投影系统从眼镜上拿走，挪到便携模块上，使得产品的体积显著缩小，投影的光便由携模块生成，然后通过光纤传导到头戴设备。
眼镜
当我们尽可能把所有东西都塞进便携模块之后，眼镜上剩下啥了？安装的组件猜测如下：
惯性测量单元（IMU）：就是常见的加速度传感器、陀螺仪和指南针。
耳机：也许会用Google Class上的那种骨传导耳机，既能听见耳机播放的音乐，同时听到其他的声音。
光学部分猜想
根据专利文献数据调查，如上图所示，光源是与头戴设备的主体分离的，这就是为什么我们可以推测光源在便携模块中。其次，该设备的镜片系统也非常小。示意图仅表示出了相关元件的大致尺寸。我们唯一真正看到的元件是镜片。比较图中上侧的 5、6、7、8 元件和镜片的宽度，我们不难看出相对大小。
这说明什么？他们怎么能把光学部分缩小这么多，同时还号称能实现光场显示、高分辨率和惊人的视野？答案包括两部分：光纤扫描显示与光子光场芯片。
光纤扫描现实
光纤扫描显示是从未在消费电子产品中使用过的全新的显示系统。该系统使用一组致动光纤来扫描输出远大于其数值孔径的图像，就像老式的显像管电视。只不过不是扫描输出电子到荧幕来激发荧光粉发光，而是直接扫描输出光。扫描是通过压电致动器来实现的。扫描频率保持在大约几十 kHz。但实际图像刷新率并没有那么高。因为需要多次扫描（专利里面举例如 250 次）才生成一整幅图像。
这完全改变了我们对于分辨率的概念。这个技术的图像分辨率取决于光纤的扫描频率，光纤可以汇聚的最小光斑尺寸（这决定了像素大小），生成一幅图像所需的扫描次数和刷新帧率。考虑到专利申请之后，他们对于该技术的进一步优化，其分辨率应该远超现有的消费电子产品。
一组光纤扫描单元紧密排列为一束来增加显示的尺寸，每根光纤扫描单元的宽度为 1 mm。
分辨率和帧率
头戴显示器（HMD）的视场可以由微型显示器的图像尺寸和观察光路共同决定。人类的视觉系统的视场，水平大约 200°，垂直大约 130°。但大多数头戴显示器仅仅提供了 40° 左右的视场。…… 大约 50 - 60 弧秒的弧度分辨率代表着 20/20 的视力表分辨率。而弧度分辨率，是由微型显示器的像素密度决定的。
为了匹配一般人的视觉系统，头戴显示器应在水平 40°、垂直 40° 的视场内提供 20/20 视力表分辨率，以 50 弧秒计算，相当于八百万像素（8 Mpx），如果把视场拓展到水平 120°、垂直 80°，则需要五千万像素（50 Mpx）。
这里谈到了两件事。第一，消费级显示器的分辨率远远小于大视场所需。这就是为什么 HoloLens 想要增大视场的话如此的艰难。第二，这显示出 Magic Leap 的野心。他们想提供一个水平 120°、垂直 80°的视场。这个视场比Oculus Rift的视场还大，同时分辨率也远超。他们有没有实现呢？现在还很难说，但至少专利里面已经提到了一些技术参数，同时不要忘了这些还是三年前的数据。他们很有可能已经改进提高了这个技术。
像素间距
像素间距限制了图像的分辨率。传统的微型显示器其像素间距在 4 - 5 微米。像素间距限制了这些显示器的分辨率，也因此限制了生成的视场。专利申请文件表明，扫描式光纤显示器能够生成 0.6 微米的像素间距，提升了一个数量级。
那究竟能达到什么分辨率？专利里有一段提到一个 4375 x 2300 分辨率，但我觉得还不止。这是在描述基本方法时举的一个例子，后面还讨论了多核光纤对于性能的提升。我认为其分辨率会远远高于该分辨率。这对于宽广的视场是至关重要的。
核心：90°视场角
最后专利提到 120° 视场的这句特别值得注意：以上所述技术可以用来制造具有宽广视野的头戴式或其他近眼显示方式的超高分辨率显示器。
我认为这充分验证了，其视场将至少大于 40°，接近其宣称的 120° 也并不是不可思议的。要我下注的话，我赌 90°。
光子光场芯片
需要理解光子光场芯片，我们要先来了解一下衍射光学元件。衍射光学元件（Diffractive Optical Elements, DOEs）想成是一组非常细的镜片。他们可以用来整形，分光，匀化、扩散。Magic Leap 使用带有圆形镜片的线性衍射光栅来分光，并生成特定焦距的光束。就是说，它把光导入你的眼中，并让这些光就好像是从一个正确的焦平面发射出来的一样。常言道，说起来容易做起来难，但这个说起来都难。至少我找到的专利文件是这么写的。
一个衍射光学元件的例子
为了生成光场，Magic Leap 使用两个分立的元件配置了一个光子芯片。一个元件提取投影光，并将其插入第二个元件，第二个元件将光导入人眼。
这两个元件都是使用 DOEs 来完成工作。DOEs 的主要问题在于，他们经过精心调试只能用来进行一个特定工作。他们不能工作于不同的波长，不能实时改变到不同的焦点。为了解决这个问题，Magic Leap 堆叠了一组针对不同波长和焦平面优化的 DOEs，作为一个大镜片组来用。这些 DOEs 都非常的薄，跟光的波长在一个尺度，所以加在一起也不会让设备变得太厚。这就是为什么这个光学系统被称为芯片。Magic Leap 能够开关 DOEs 的不同层。这样，他们可以改变光到达人眼所使用的路径。这就是他们如何改变图像的焦点，来形成一个真实的光场。就像专利里面说的：
例如，当打开一组 DOEs 里面的第一个的时候，对于一个从正面看进来的观察者，可以产生一个光学观察距离 1 米的像。一组里面的第二个 DOE 打开时，可以生成一个光学观察距离 1.25 米的像。
你可能觉得这个技术很局限，尤其是当你需要一大堆层来产生各种不同焦点的像的时候，但还真不是那么回事。不同的 DOEs 的组合可以产生不同的输出。并不是一个 DOE 对应一个焦平面，而是一个 DOEs 组合对应一个焦平面。
改变 DOEs 组中的激活层，就会改变从光子光场芯片射出的光。他们很有可能有比图中多得多的层，但具体多少层就天知道了。
最终，我们明白了 Magic Leap 怎么实现其过去宣称的用光来制造暗了。我们分别使用一个外侧的 DOE 和一个内侧的 DOE 就可以像主动降噪耳机一样抵消外界的光。专利里面是这样说的：这可以用来抵消类似于背景光或真实世界光的平面光波导，在某种程度上类似于主动降噪耳机。
那为什么这是一个芯片？呃，一个典型的电子芯片基于某种条件改变电子的流向。Magic Leap 的光子光场芯片基于某些参数改变光子的通路。我觉得也算是一种芯片了。
我们还缺什么？我们有了光子光场芯片，有了高分辨率投影，但如何构造一幅图像。这个是靠组合。图像是分层绘制的，以便让不同的部件投影到不同的焦距的子图像上。就是说，每一帧都是通过多次扫描来构建的，每一个焦平面都是分别绘制的。
相机
Magic Leap 试图在相机上实现三个功能。第一个是最明显的，一个能生成日常图像的相机。这是他们所使用的最容易理解的相机技术，他们也许就是用一个智能手机市场上最新的类似传感器。这个相机是放在眼镜上还是便携模块上，仍不可知，但总要有一个能拍照片的。
其他两个功能很有意思。Magic leap 反复提到其设备具有理解周围世界的能力。在一个采访里面，提到该设备能识别物体，例如刀和叉子。要想做到这个，他们需要一组相机。我们可以看看这方面做的不错的 HoloLens。HoloLens 有一组四个环境感知相机和一个深度相机。从 Magic Leap 的专利文档中我们能得到进一步确认。
原理图上显示的是眼镜左右镜腿上的两个元件。上面是左边镜腿的，下面是右边镜腿的。
由以上原理图，我们可以发现两个向外的相机，叫做「world camera」。专利的文字描述暗示可能不止两台相机，原文所述为「一个或多个面向外侧或提供世界视角的相机（每侧）」。暂时，还不知道具体会有多少个相机，也不知道 Magic Leap 会把这些元件做得有多小。但我们知道的是，这些要放在眼镜上，而且对于 SLAM 非常重要。
最后一个相机的功能也可以从上面的原理图中找到。至少要有两个相机拍摄眼睛。这是用来追踪视线和眼动以便获取焦点和视线方向。同时也会有红外 LED 为这两个相机提供照明。眼跟踪对于用户交互很重要。我想「你在看什么」个问题对于你如何与 Magic Leap 交互应该是非常重要的。这将是其主要的交互工具，就像是电脑的鼠标。
对于现在而言，以上信息我们没法验证这些信息是真是假，但这些加总在一起，确实感觉上就像 Magic Leap 正在做的东西。不管最后这个产品会不会在消费市场上获得成功，这确实是好一阵子没有见到的一个技术产业的真正意义上的创新。我真的无比激动想要看看他们会有什么奇遇，同时也期待该产品在业界会造成什么样的影响。
参考来源：电子设计技术、可穿戴设备网
推荐阅读：VR/AR头显品牌报告丨创想家符国新丨最强布料模拟软件MD丨VR投资产业跟踪报告丨VR不仅只有游戏丨7款知名VR测评丨虚拟现实定格画面丨里约奥运会丨Steam数据丨VR创业者心路丨UCCVR Tango丨十年创业者谈VR丨VR芯片丨VR 梵高丨VR产业布局图丨融资丨中国VR行业研究丨最常见的7种AR丨将虚拟变成现实 丨MirrorKey 丨2016年VR行业报告丨你有马赛克，我有无人机丨VR 品牌案例丨VR开发引擎丨一镜到底丨中国VR产业全景图丨UCCVR-北京站丨UCCVR-成都站丨沙龙干货丨UCCVR -广州站
微信扫一扫
关注该公众号