听什么歌就看什么景 AR 会颠覆我们听音乐的体验吗?

  几年前，Gear VR推出的时候，我还在三星工作，大家对这件事提出了很多设想。我当时的老板David Eun提醒所有人说，YouTube将成为VR(virtual reality 虚拟现实)的YouTube。他的意思是，虽然这个VR平台给现有的视频内容展示了新的体验模式和展现路径，但这项新服务是无法与现有的视频内容竞争的。所以VR技术将可能会被融入YouTube，而非被用于形成一个可以与之抗衡的新平台。

  事实证明他是对的。

  但我不认为同样的情况会出现在AR(augmented reality 增强现实)上。我认为，AR代表了一种新的大众媒介，而不是一种新的媒介形式。这就意味着，AR的iTunes不会是AR iTunes，而会是一个原生应用，改变我们体验艺术和娱乐的方式。同时iTunes可能能够适应这样的变化，也可能不能。

  为什么我对AR和VR在媒体方面应用的设想是截然不同的呢?

  我认为其中的不同之处在于，VR视频在本质上还是我们所熟知的2D视频，虽然以超大屏幕的形式呈现(太宽了，以致于我们不得不侧着看才能看到这一切)，但这不是什么新鲜事。

  相反，AR是一种全新的事物。这是第一次，媒体内容被融合进了现实，作为现实世界的一部分被呈现出来。从这个意义上来说，AR技术所营造出来的环境背景(context)是一个非常重要的因素。它是多感官的、动态的、交互式的，例如现在我可以在我的客厅或街道上享受同样的媒体内容，但环境背景的变化会完全改变整个体验。

  再进一步，如果你在影院或通过VR技术体验过《星球大战》，你的感受可能会是“逃离并沉浸”到了另一个宇宙中的星系里。但是，将《星球大战》引入AR会是一个真正的挑战，某种程度上，你会需要去应对“为什么我的厨房里有R2D2”这样的认知失调。

  环境背景会改变体验，它是经验的核心组成部分。

  例如，与iPod相比，随身听才真正对人们的音乐体验产生了颠覆性的影响。随身听第一次允许我们随身携带音乐，在不同的环境中体验它。在沙滩上看着落日享受音乐的感觉和在家里听音乐是完全不同的体验。所以从这个层面上来说，iPod只是一个更大、更好的随身听。

  又例如，录音完全改变了我们体验音乐的方式。我们掌控了时间，能够决定在任何场合去享受音乐，而不是必须要去演唱会。

  事实上，iPod或者录音这样的发明，在增加了可能性的情况下，并没有真正改变音乐的本质，只是允许人们把音乐从现场到带回家的，或者从家里带到街上。但我们的体验却完全改变了，因为我们体验音乐的环境背景发生了改变。

  所以现在的情况又不同了，AR的出现给予了我们体验音乐的更多可能。我们不仅能够选择时间与地点，我们还能“迁移”环境，随时切换我们的“时间”和“环境背景”，升级自己的体验或者分享给别人。所以就像音乐在录音或者随身听被发明时发生的转变一样，这一次，我们的音乐体验将被AR完全改变。

  我们如何将背景环境应用到音乐中来提高体验呢?

  有了AR，我们的艺术和音乐体验(单向或者是互动的)将会是这样的：AR可以“升级”现实世界，让我们在听到自己最喜欢的歌曲的同时，眼前的景象被增强成为我们期待的充满情感的场景。例如当Katy Perry 的音乐出现时，他的粉丝眼前的现实景象可能会变得闪闪发亮起来;或者在我们生活的某个重要时刻，一首歌曲的旋律可能会与当时的环境背景发生微妙的化学反应。那么下一次当类似的场景(例如，时间/人物)出现时，音乐就会被触发。

  当我们想到音乐、艺术和环境时，我们都有过类似的经历。比较一下听音乐和坐在沙滩上看日落的区别，然后去选择一首最符合当下环境的音乐。一个更为完整的艺术体验可以包括的不仅仅是媒介本身(音乐也好，画幅也好)，还包括与其匹配的背景环境。这就是为什么环境背景是体验的一部分，它从情感上作用于体验。从另一方面来看，环境背景叠加媒介本身的形式，是你和艺术家之间合作的结果。

  通过对背景环境的增强，AR将艺术体验形式提升到了一个全新的高度。AR设备将比任何智能手机都更能感知现实世界。这意味着，能够将歌曲和图像(或视觉效果)进行匹配(自动或手动)的能力，这样的体验将远远超过我们从歌曲列表中选择歌曲。另一方面，艺术家现在可以将更多的控制权交给观众，将艺术体验可以变得更加个人化。

  在过去，我们通过制作amix-tape(异步创建)或Spotify playlist/feed(接近实时)来增强背景环境，但当背景环境被实时应用并被分享时，这时候出现的就是AR的原生应用，以及相应的新的协作表达形式。

  这会对内容产业带来的什么样的影响呢?

  我相信AR为新型的开源运动打开了大门。

  曾经，编程人员编写代码并以他们的名义发布，你可以购买使用，但你可以参与的部分就此结束，代码还是原来的代码。但如今开发者可以同时发布系列的所有产品，以及组成这些产品的组件，创造者们能够在彼此的基础上共同构建，让更好的产品被发明出来。如今，开源软件对整个互联网的影响巨大。

  当下的艺术和内容的创作方式与从前的封闭编程模式非常相似。艺术家或工作室制作产品，我们被告知，然后进行消费。用户很少有机会去添加进自己的表达，更不用提将艺术创作的“组件”重新使用到另一个新构想的表达中。而用户生成的内容其实是能够在网络环境下产生双向协作效应的，而AR正好可以完成这一过程：艺术将从一个只涉及艺术家的，静态的“创造和完成”过程，变成一个同时涵盖了艺术家和观众的动态的过程，过程本身，系统，代码和地点都成为了艺术的一部分。

  如今，艺术家和观众共同创作的最好的例子是现场音乐会。在现场音乐会上，观众、环境、天气等因素都聚集在一起，创造出一种独特而伟大的东西，不单纯的是各个部分之和。AR的机会在于，现如今并没有技术手段可以去支持这种完整艺术体验的分享，不仅仅限于照片录音或者视频。AR应用的潜力在于，它可以提供额外的背景信息(实时数据流，响应人群中的其他人或远程操作，增强舞台表演等)，然后捕捉周围所有的数据，并将这所有打包成一个可以带回家的体验，这是非常具有吸引力的。

  对于表演者来说，录影设备的使用已经影响了现场观众的参与程度和反馈，同时观众对于录影设备的期许在于，它们期望这些设备能让自己重温表演的过程。AR的应用将为演唱会提供两种参与方式，同时也提供了一个比普通录音更好的“带回家的”体验。

  以现实世界为背景是AR的典型特征。当AR被应用于艺术和内容时，很自然的是，创作者和观众之间的差异会变得更加模糊。与开源软件一样，创作者将能够轻松地在彼此工作的基础上建立起自己的工作，这将意味着创造出更伟大的东西。

  谁来实现这件事情?

  谁还没有搞明白AR在艺术和音乐方面的潜力呢?唱片公司和电影公司的营销部门!

  目前为止，我看到的几乎所有的音乐/艺术作品都只是将AR作为一种新奇的营销渠道来推广“真正的产品”——就是YouTube或Spotify收听的方式。例如，在我的卧室里，一个泰勒•斯威夫特的快照滤镜，或者是在我的卧室里播放的钢琴表演的立体视频。这样的方式只不过是试图把旧媒体挤进新的媒介而已，就像维基百科在维基百科诞生之前在网络上发布的那样。

  而我认为我们需要看到的是一些艺术家在AR领域的直接实验。艺术家和工具制造者之间的共生关系将在未来几年内成为一种非常重要的关系，我期待看到沉浸式工具制造商取代现有创意工作流的步骤。偶尔我会遇到像Molmol Kuo和Zach Lieberman这样的人，来自Yesyesno，他们既可以创造工具和艺术，他们也在做开创性的工作。

  像Cameraiq这样的创业公司正在帮助艺术家们在现场活动和日常生活中使用全新的记录方式;洛杉矶的 GlitchMob 也在推动音乐、AR和融合媒介的新创意。TiltBrush 正在尝试从VR转向AR;我的妻子SilkaMiesnieks也通过她在Adobe设计实验室的工作，来探索这个充满创意和艺术表达的世界。

  这是一场大爆发的思潮。也拥有这巨大的潜力来创造一个全新的艺术形式和艺术体验。

  总而言之……

  AR作为一种新的媒介，既是视觉上的，也是听觉上的，还是情感上的。目前世界一流的艺术家很少能同时做到这三点。

  2018年将是激动人心的一年。作为一名创业者，我很兴奋，因为像YouTube或Spotify这样的主流大公司，正面临着能够人们的心灵和思想带来的新形式的竞争。

  同时，我更想看见的是，我们对艺术和艺术的感受能够更加融入我们的日常生活。曾经，我们与艺术家的“合作”仅限于选择在哪里听歌，现在它将变得更加个人化和强大。创造是人工智能和机器人无法取代的核心要素之一，而AR的尝试将会是一个真正可以改善人类的前进。