混合现实未来展望（一）

本文将为大家分享混合现实应当成为未来主流解决方案的深度分析。它不仅仅是对现有解决方案的改进，而且是彻底改造和影响各种沉浸式技术（包括增强现实）的未来和大规模应用。

混合现实研究组（Mixed Reality Research Group）是我们最近在Unity Labs内部创建的一个团队。目的是为了研究混合/增强现实技术在未来几年内的影响与前景，制定对应策略，帮助Unity开发者们在这新计算时代中，时刻掌握最前沿的游戏和应用的创建、部署与消费方式。研究组进行了超前的研究，假想了长远的未来，并预测了一些场景。我们的任务是协助研发部门为开发者提供支持，帮助他们为长远的未来做好准备。

原因很多，核心目的是为那些会在未来成为主流的新生技术做准备。此外，我们任务的另一个目的是探索新科技，并通过展示未来的可能性，激发开发者和工作室的灵感。

让我们首先说明下AR、VR、MR以及其他术语。Milgram在1994年发表了一篇题为“增强现实：现实世界中的一种表现形式”的论文，大家可以点击【阅读原文】阅读该论文。文中他提出了现实-虚拟连续统（Reality-Virtuality Continuum）谱的概念，并将纯粹物理世界的体验和虚拟现实的纯合成世界的体验作为该谱的两端。在该谱内，任何在同一显示器上将现实与虚拟元素组合在一起（不同程度）的东西都被称为混合现实（MR）体验。混合现实自身也是个连续统，它包含增强现实（AR）。

虚拟现实连续统概念由Milgram 1994年的论文“增强现实：现实世界中的一种表现形式”提出。图像编辑：Matteo Valoriani, Etna dev 2016 – 使用HoloLens的混合现实介绍

虚拟连续统的原始定义只考虑了视觉刺激来源。2009年，Jeon和Choi将其扩展到包含触觉。在这二轴连续统中，混合现实包含了任何由现实和虚拟或触觉元素组成的体验。例如，我们的研究原型Carte Blanche (CB)是个Oculus Rift应用程序，程序中的虚拟桌子在现实中有一张物理桌子与其对应，由此增加的舒适度可以延长创作的时间。另外，我们使用Touch控制器API通过震动来提供触觉反馈。这些元素使CB成为了一种混合现实体验，明确归于虚拟现实-触觉混合显示（vV-hMR）分类。

研究人员Jeon和Choi将触觉维度添加到现实-虚拟连续统中，形成了一个2轴坐标谱，其中MR包括了现实和虚拟视触觉元素(图中的灰色区域)的体验。

我们的Carte Blanche研究原型是一种混合了现实和触觉反馈的混合现实体验。虚拟和物理的桌子完全对齐，我们还通过Touch控制器API提供了触觉反馈。

Jeon和Choi的“复合视觉-触觉现实-虚拟连续统”仅涵盖了传统意义上的两种人类感官。其他的呢？多感官沉浸体验的研究已经持续了相当一段时间；早在2003年，筑波大学(University of Tsukuba)研究开发了一种包括触觉反馈的味觉模拟器，而最近的一个味觉模拟器的例子来自新加坡国立大学(National University of Singapore)。用于在虚拟体验期间产生气味的系统也在进行中，就在今年，一家日本初创公司展示了一种最新的虚拟现实头盔气味释放附件。那么，我们是否应该把更多的维度添加到这个图中，直到包含所有五个经典人类感官？或者我们应该用其他的方法来定义感官的多维度空间标准？关于现实-虚拟连续统定义的另一个重要问题是：为什么某些感官，特别是视觉，被认为是必须的，而另一些则不是？

不管我们增加多少维度，我们研究组使用混合现实连续统概念的原因是，避免自己视野受限或局限于特定的体验类型(如增强现实)。虚拟现实是虚拟连续统的一侧端点，体验发生在受控和纯合成的环境中。它就像电视、广播、甚至是一本书：你体验一段时间，然后回到现实。这是一种逃避现实和体验非真实或遥远世界的手段，因此它可以提供丰富的娱乐/教育体验，对于设计新场景非常重要。但是我们相信，虚拟 物理混合沉浸式技术将成为日常使用的主流。混合现实将被广泛使用，因为它在日常生活中将表现为与物理世界具有一致性的体验层——Carte Blanche就是一个例子。第二个例子是在现实之上叠加持久性图层的AR技术，它最终会取代你的智能手机、电视和其他日常设备。当前的沉浸式技术浪潮始于消费者VR头盔。能够在VR / AR模式间进行来回切换的设备将是这一进化的终极形态。MR将成为日常生活中的主导性技术，我们将确保Unity能帮助创造者们将想象转化为体验。

我们预想，在未来5年内，显示分辨率的巨大飞跃将推动混合现实的常态化应用，使人们能够直接在MR设备中长时间工作。文本的可读性将成为推动这种用法的主要因素。而在VR和AR之间轻松切换的能力，是另一个使常态化应用成为可能的因素。

MR已准备变得更具有社交性，但由于多人共处一室时，传感器遮挡仍然是一个问题，我们可以期待更多使用各种传感器的混合位置跟踪技术出现；例如，我们可能会看到用于点云生成的静态LiDAR芯片和MR设备inside-out跟踪技术的组合。

无线系统和眼动跟踪将是基本配置，还有采用无线传感器的手势跟踪，人们会逐渐减少对他们电脑的依赖，围坐在客厅的桌子旁，和朋友们一起玩虚拟桌游。随着虚拟屏幕的增多，他们可以坐在沙发上看电子竞技比赛，或者躺在床上玩电子游戏。这意味着我们必须改变我们有关MR应用设计的思维定式，以适应这些新常态。

自动数字演员（全息机器人、虚拟化身）将充满混合现实层。例如，语音助手可能会有与真人无异的带感情的声音，并拥有一个可与用户进行更直接交互的虚拟躯体(也许坐在旁边的椅子上，或者走在前面带路等等)。

像全息机器人这样的MR应用将会在我们的日常生活中无处不在

我们研究组将在2017-2018年做什么？我们将做定期发布消息，但是有一些MR中我们认为应该做些改进的有趣领域，已在2017年的SIGGRAPH的演讲中做了简要的提及。

正如我们在上面提到的，MR设备最终可能会取代智能手机。随着苹果的ARKit在所有iOS设备中都可用，以及Android设备上的谷歌ARCore，从智能手机到成熟MR设备的过渡已经开始了。随着设备的发展，移动应用市场已经很成熟了，这导致了一个饱和问题。通常情况下，人们仅在应用程序下载后使用它一次，而且随着时间的推移，他们会慢慢地忘记这些应用程序。

• 游戏，这个被称为“移动行业的宠儿”的应用分类，其使用时间比去年同期下降了4%。

• 10年后，移动行业迎来了关键时刻。随着iPhone庆祝它的第一个十年，移动行业已经发展成为一个弱肉强食的世界。增长率减速可能预示着市场的成熟、饱和或仅仅是应用程序淘金热的结束(在它们十周年的时候，移动应用开始自噬)

在一个已经达到饱和的世界里，“1个内容/服务= 1个移动应用”的模式不再可能，而重新使用AR应用程序来替代平面应用程序的思路也不是解决方案。所有品牌/公司/初创公司都会尝试寻找其他的载体来与消费者互动。我们正在研究如何让MR应用程序更加吸引人，而不是成为一次性用品。正如我们的同事Mauricio Vergara所指出的，“随着沉浸式计算的普及，实时3D图形将成为我们与世界互动的方式。”

到目前为止，MR应用程序被主要设计为单独和单一使用的实验性产品。因此，今天许多的用户场景都是在某种程度上受限的，而且似乎更倾向于被认为是一种新奇事物而非可行的解决方案。

•  “最令人兴奋的混合现实体验包括实时和三维环境映射，这使得虚拟物体能够与现实世界中的表面和物体进行交互。”例如，一个电脑生成的生物可以站在桌子上，或者藏在桌子后面。(为什么谷歌和苹果将会统治混合现实 —— Mike Elgan)

要创造未来的应用，我们必须改变陈见，问自己一些有趣的问题：当我们闭上眼睛，现实会消失吗？在未来，设备可能不再被用来生成沙箱现实，而会变成将用户与某个持久现实层进行连接的工具。例如，博物馆可以为艺术品创建交互式字幕，体育馆可以在运动场中的运动员身上显示实时虚拟效果，餐馆可以在餐桌上显示交互式菜单……等等。可能性是无限的，在这样未来，用户只需要在合适的地方就可以使用叠加层。像谷歌的视觉定位服务(VPS)这样的平台可以提供快速、精确的室内定位和理解，将有助于在任何地方提供无缝的增强体验。MR研究小组将致力于创造能帮助用户和开发者将他们的想法与这种新视角结合的工具。

当前许多MR体验并没有足够强大的社交部分，最终使用户和观察者都变得孤独；我们想要帮助打破这种困局。过去的一年里涌现出了一些值得注意的社交VR应用，但制作社交增强现实体验要困难的多，而且仍处于初级阶段。通常，即使观察者和参与者在同一个房间里，观察者也很难想象出用户的体验，因为他们看不到任何东西。

 过去的几个月里，我们在活动中观察了许多增强现实用户；我们的结论是，他们会感到无聊，不再和佩戴者互动，有点视而不见的样子(这里有一些视频例子)。同样的，要记住VR的流行并不是因为那些尝试VR头盔的人，而是那些在YouTube上用“混合的现实形式”进行演示的人。同时看到内容和用户反应是观察者产生兴趣的原因。

Mark Billinghurst告诉我们，增强现实可以产生移情计算：“允许我们与他人分享我们所见、所闻和所感的系统”。这是一个了不起的想法，但是就像获得新的超能力一样，它是要付出代价的。强化社交性会自然引发关于隐私和自由的问题，这对于未来的沉浸式技术来说，不论实现的具体细节为何，都将是一个大问题。每个相关人员都必须考虑隐私和自由：工程师、美术人员、设计师和决策者。由于MR技术可能在10年内变得无处不在，相关讨论需要从现在就开始，而我们将贡献自己的一份力量。

MR的社交方面对于个人和商业用途都很重要

游戏和游戏创作的未来从未如此光明。MR带来了一个全新的时代，充满了新的游戏类型和新的游戏方式。身处Unity的我们是能够影响那个未来的。我们的研究组将协助研究在这个混合现实的新时代里，游戏能够如何演化，以及将会如何演化。游戏将如何进行？它们会在何时运行？它们的位置与参与是否多变？它们的制作方式将会变成怎样？这些都是重要的问题，而混合现实提供了一大堆的可能性来回答这些问题。我们的部分工作有希望帮助Unity走向那个未来。话虽如此，Unity的核心优势在于它的开发者社区，而我们研究组的工作将会影响一个具体计划的产生。这个计划能使我们的开发者在这新世界中立于潮头。我们将与Unity中的其他团队一起参与创建新的和改进的MR相关开发工具，以帮助我们的用户取得成功。

今天就为大家分享到这里，后面我们还将继续和大家探讨上述问题的含义，并将深入探讨我们在面对这种新媒体时，所面临的设计挑战，在Unity官方中文社区（unitychina.cn），请保持关注。