Unity 5.6 新功能：360度全景视频 -- Unite2017 Carl Callewacrt 分享

关于Unite

Unite大会是由Unity举办的全球开发者大会，至今已有10年的历史。Unite现已成为游戏行业，VR/AR行业中最具有权威性和影响力的活动。

Carl Callewacrt：大家早上好，今天上午的演讲是分享360全景视频播放器。在我们的演讲里，我们希望能够让大家比较容易地了解到它的好处在哪里，以及我们如何使用以及使用中的注意事项：包括会介绍什么是360视频播放器，包括Unity怎么用，以及背后市场上有哪些硬件可以供大家选择。我们也想要向大家展示，如何通过Unity3D场景生成360的视频，与此同时，我们也分享一些有关客户的内容、我们所使用的工具以及我们的合作工作室。我的同事也会分享更多的知识。首先还是来介绍一下。

Mike：大家早上好，我们能支持4K、8K，而且在所有硬件上面都可以加速，不需要其他的额外插件。这个是我们最常见的使用方式，而且它在不同平台上都有最佳的兼容性。如何来导入，这里面有不同的方法，在Unity5.6里面非常容易。同样，你可以实现内容方面的转化，Unity会做编码转换，你可以按照你喜欢的格式来设置。这里同样支持多种不同的通道，它会立即识别alpha通道包括多轨道的通道，能够再播放一个视频。在这里有一些新的视频播放器内容，包括不同类型的材质或者纹理的属性，你可以直接用视频播放器回放。假设我们有纹理，有视频的输出，在这里回放一下如何进行操作。一旦加载到Unity里面，它可以在不同地方进行使用，有不同的对象：也许是一个摄像机摄像头，或者是纹理渲染或者是材质纹理方面的参数。你做渲染的时候，我在这里不会每一条都念，但是我们可以看到：你可以定义它是在哪个位置；它也有API属性脚本；你也可以将纹理分配到它所在的目的地进行回放；你可以选择如何把视频集成整合到项目当中。

这里有不同的方式，能够把你的视频加载到Unity。可以直接拖到你项目；你也可以远程URL，包括外部的服务器；现在还有一个特别的文件夹，StreamAssets文件夹，你可以通过Application.streamAssetPath来访问这个文件夹；或者你通过我们的打包的工具，昨天也有同事讲过这是怎么使用的。

在这里，大家可以获得更多的信息，有关文件方面的内容，这是预览版的内容，在我们的网站上可以看到。

很简单的一段背景介绍，接下来我们来看一下各位的Unity项目在使用新的360视频播放器方面会有什么机会。

我们在这里会看到有各个不同的，很多我要加载的视频。我要努力试一下怎么拖放到这里，好像我的鼠标不太灵活。我现在展示的是导入新的资源，从这里开始。大家已经看到了，我双击任何一个视频，Unity在项目里面就可以看得到，非常简单，直接加载到Unity项目里，然后你可以在项目里面直接访问它。同样我在这里给大家列出了很多例子。

在这个场景下，可以说是一个非常简单的平面，先加一点东西上去。这是我前面提到图像平面属性编辑器。这同样是个小例子，小视频，这是大家前面看到一个透明的，可以在环境里面支持360视频，回放的时候也有场景里面的原生视频，你可以考虑把视频放在不同的空间里面进行编辑。在这里，大家可以有各种单独类型的视频放在这里，可以同时播放它们。

这里还有一些其他的例子。这里是个视频片段，是很简单360视频的例子，我把球形加载到这个场景里面，创建3D对象球，然后有一个特别的着色器，这里我们可以折一下看到里面。我们还有播放器的部件，这是一个翻转特效。看一下我播放出来是什么样子。这里操作起来非常简单，你可以规定其他的选择，还可以加入一个声源。这就是360的短片，是一个小电影。在这里进入到编辑器，进入到场景的视觉奇幻森林，大家在里面看起来像是有各种动物原型。你可能点击鼠标没几下，就能够把3、4个视频，带音频的,在你整个电脑游戏里面播放。可以加一层VR层，看起来非常酷，看起来非常有意思。

我们可能还有很多其他的2D、3D例子，但是可以说，跟这个奇幻森林里面所看到的小视频相比，大家都觉得很好操作。这里的加载，也非常容易切换，包括取决于你所加载的外部服务器。总之利用这些工具处理这些视频和图像文件都非常容易且直观。

Carl Callewacrt：我在这里也会介绍一些市场上的硬件，大家有兴趣可以自己关注。我已经拿在手里这个很便宜，折合成美元350，即2000多人民币的价格，直接点击可以打开，你也可以放在三脚架上。我们在这里介绍它还有其他的好处，首先它的预览效果非常好，能够实现无线的预览。你可以实现高清即时传流，你可以做了预览之后再确定是不是要保存视频文件。我提高到1080p、30fps录制速度，最长录制时间是25分钟，这些都很好。但我们把这些视频拼接在一起之后，质量就没有那么高清了，所以它更多就是用于个人娱乐，而不适用于大型商业化目的。

这是第二款产品，800美元，要贵一点。这个设备叫Bublcam，它没有盲点。我拿在手里，上面有两个摄像头，上面的一半加底部的一半，一共应该有4个，上下左右一共4个。可能在这里看起来它质量不是很高，但是实际上你会发现这个在对齐上有一些挑战，这是早期的产品。如果你内置了四个摄像头，它能够支持水平垂直转动和VR方面的功能。

这是第三款产品，600美元。开玩笑，谁有这个，这里没有人有这个。它的解析度可以达到2K乘2K的传感器，还有8个球形麦克风。这是非常酷的诺基亚相机。如果你带上这些摄像头，你就能够看到实时的预览。45分钟完全操作，你可以搭载在你的任何设备上。

另外还有一个酷的设备，公司名字我都分不清楚，它叫Giroptic。你可以当成灯泡来拧，它的质量是2K，凑合用，但是成本很低，只有300美元。硬件产品本身的概念还是非常酷的。如果你还有足够钱来烧钱的话，再给你推荐这样一款产品，3000美元，你也可以再出点钱，买一个360美元的支架包括软件。它的质量是非常好的，你可以实现360度4K的场景。

我前面所提到的不同设备，其中的一部分，我称作单向模式单画面的视频，比如说从左边或者右边，你投射出来的单向模式。普通样式的全景图都是类似的，这可能并不属于完整的全景，因为我们是双眼的人，但是它至少给你感受到周围是什么样的，你有一种存在感，你感觉你就在那里。

而我们的这一种立体视频的解决方案，同时使用到左眼和右眼，作为一个双视角的设计。也就是说，你可以有身临其境的感觉。

我们还有一个光场，我们有一个专家可以为我们讨论这个概念。

Adam Myhill：这个技术我们也是和facebook合作，他们刚刚准备上市最新的摄像头，它是360度光场的捕捉。你可以发现，这个技术本身还是非常复杂的，但是它能够给你做到一个什么样的特征呢？它是一个6度自由的概念，有旋转，同时除了旋转之外，因为你有一个6度的自由度，你还有一些位移。也就是说，你在旋转的时候，你的头部也是在轻微移动。如果你头部移动，不仅仅是一个转圈，你就会发现它非常自然。这样，一个3D景深的细致感就完全跃然而出了。还有就是你不用买相机，你可以用Unity创建360度的全景视频。你可以买这样一个软件包，付一点钱就可以。

可以看到，这里所做的一个设计，在Unity里面设计一个360全景视频，它的成果就是这样的。我们这里是一个Unity的场景，这也是我们非常熟悉的角色。这是一个移轨，拍电影的时候会用这个移动轨道，通过移动轨道在轨道上面做一个全景的拍摄。这个轨道我可以在任何一个点上进行弯折和改变它的角度。你可以看到这个摄像头在推轨上面移动，这里有一些金属，我可以加上一个VR全景摄像机。我来试一下这个全景摄像机的功能。现在这个摄像头已经变成了一个VR的摄像头的配置。但是这里有一点很有趣，大家注意，你可以看到这个角色离的很远，但是它的位置是没有变化的。你可以看到普通摄像机的尽头，20度的机位，这个是VR的镜头。当你在做这个VR的时候，你要离这个角色近一点，不然的话就会显得太远，特别是当他们一开始有行动的时候。你可以把它渲染成你想要的格式。你点一下渲染，你就可以把它分享到facebook。你可以直接在Unity场景当中，去生成一段360度全景视频，这还是一个很酷的功能。

这是一个13度机位的镜头，把它转化成了360度全景视频。你可以看到对象离的非常远，这个给你像在拍摄电影的感觉。

怎么样还能使你的摄像头有一个很好的表现呢？当推轨的时候，机位的推动是非常顺滑的，这样就可以保证图像的连贯性。由于光角镜头360会放大物体之间的距离，你离对象的距离要比较恰当。我认为这对于电影制作和影像制作来说是一个全新的探索领域。

这个是我们新的播放器，这个播放器你可能电脑上面已经装了，这个播放器也可以播放我们全景的视频了。

接下来为大家介绍一下在我们实践当中学到的一些小贴士，怎么样拍出更好的全景视频。

Carl Callewacrt：很重要的一点，不要从很远的地方拍，要很好的去确认物体之间的距离，这是我们刚刚已经谈到的技巧。但是我觉得你永远要问第一个问题，我是不是真的需要全景视频？因为这的确也很费时间，也很费钱。当我们决定要使用一个全景视频的时候，你觉得我是要用一个6万块的摄像头来拍，还是说我自己在Unity场景当中设置。我记得我有一次在拍照，我拿着手机，或者拿着一个摄像头在拍。当我回家之后，我开始回放这段视频，我拍的时候因为我手在晃，所以视频也晃的不行，我还给Mike看，他也受不了那种振荡感。你们会发现，拍摄时候的这种震荡感在变成全景视频的后会被放大。我们为什么会有震荡和颤抖呢？人走路的时候，步伐、速度、间距都是不一样的，这点要记住，当我们在做3D的时候，很多摄像头是固定在三脚架上的。但是因为你是一个全景拍摄的，往往你很难避免三脚架也被不小心拍到视频里面去了。在一个360全景视频当中，是没有所谓幕后的概念，一切都是会被拍进去的，所以在拍摄的时候一定要好好考虑。

在剪辑的时候，我们往往会说，我拍一些镜头，然后我把镜头剪辑在一起，有镜头的切换，这是正常的一个拍摄方法。但是你拍全景视频的时候，不能够用这种常规拍摄的剪辑方法，否则一个人体在一个场景中跳来跳去也会让人非常晕头转向。

还有，当我们在使用360全景拍摄的时候，是可以把工作室的灯光用技术进行转换的。但是从实际实践上面来说，是很难的。我们自拍的时候，往往是做这样一个动作，或者说当我们在拍的时候，我的手伸的很高，因为我不想把我自己拍进去。但是当我把它转化成视频，我戴上头戴式设备看这个视频的时候，我没有身临其境的感觉。这是视线的原因，我的摄像头高度跟我的眼睛不是在一个水平面。只有水平面和摄像头一致，才能让观众感到舒适。还有标题、片尾字幕，也要保证这些单词是在自然眼睛水平高度。我们推荐你也要放置一个录音机或者一个收音的设备，它可以让听众觉得视觉效果和音效效果是非常一致的。包括我刚刚所说到的标题，还有片尾的字幕都是应该在自然眼睛水平的高度。

我一直是说，我们要从最棒最佳的实践去学习，这是VR的频道，你可以看到很多很赞或者很烂的视频。可能很烂的视频让你觉得一头雾水，看了头晕，但是很棒的视频，你会觉得这个拍的太赞了，完全有身临其境的感觉。现在很多VR，你并不是需要特别昂贵的设备，你用一个简单的基于手机设计的VR头显就可以观看了。大家可以拍一下这张PPT，这里面给大家推荐了一些非常出色的全景视频。你们可以看一下这些案例，而且大家可以用这个标题去搜，我们里面很多都是2D和3D视频的混合，包括现实中拍摄的影视画面与电脑生成的动画混合，非常推荐大家看我列出来的全景视频。

Mike：开始的时候，你看到好像是一个普通有字幕的视频，但是你可以左转、右转、上看、下看，你加入的这个是全景的感受，里面可以让大家了解怎么样欣赏全景的视频。当我们戴上眼镜的时候，跟你现在感觉相差一千倍，我鼓励大家试戴一下。我再给大家看一个例子，大家有兴趣的话，也可以做一些问答。

Carl Callewacrt：为什么举这个例子，过山车本身有一个持续的速度，加速度非常快。在这里，你坐一个过山车时可以从另外一个角度观察，可能你会知道你的对象、你的目的地在哪里。你坐在这个位置上，但是你的大脑可能完全专注于去感受这样一个激荡的过程。这还不算是完全的360，一个是平面的，一个是360的，你们真的没有办法比较。从戴上去开始你就是身临其境，你就和环境已经组合在一起了。你戴上眼镜就可以完全触发这个环境。

在这里再次感谢所有今天来到这里的观众。感谢大家来这里了解360视频，360播放工具。我们希望在下一个中国的活动，可以看到大家各自创造你们的360视频，我们保持联系。大家如果有什么问题可以提问，我再次强调这是是很酷的。在演讲里也提到了一些故事，之后我们也会有Mike和Adam跟大家进行更深入的了解。谢谢大家聆听今天的演讲！