教你懂得 可用于VR的光场相机
作者介绍：doctorimage，数学专业出身，曾在华为工作，现在腾讯，专业：从事计算机视觉图像处理（摄像头ISP、立体视觉、多投影弧幕拼接系统、视频前后处理等）10多年，国内署名专利80+篇，海外授权30+篇。
作者微信公众号：doctorimage，期待与大家切搓交流，共同学习。
初识光场摄像机(光场相机/Light Field Camera)
就一句话：先拍照，后对焦。
啰嗦几句：美国斯坦福大学电脑科学系新加坡籍博士生吴义仁(RenNG译音)，与几名研究员创制出手提“光场相机”，这种相机在低光及影像高速移动的情况下，仍能准确对焦拍出清晰照片。
“光场相机”一反传统，减低镜头孔径大小及景深，以小镜阵列控制额外光线，展露每个影像的景深，再将微小的次影像投射到感光器上，所有聚焦影像周围的朦胧光圈变为“清晰”，保持旧有相机的大孔径所带来的增加光度、减少拍照时间及起粒的情况，不用牺牲景深及及影像清晰度。
这部特制相机置于主镜头及感光器之间，有一个布满9万个微型镜片的显微镜阵列，每个小镜阵列接收由主镜颈而来的光线后，传送到感光器前，析出聚焦光线及将光线资料转换，以数码方式记下。相机内置软件操作“已扩大光场”，追踪每条光线在不同距离的影像上的落点，经数码重新对焦后，便能拍出完美照片。
VR头盔泡沫快爆了，VR 摄像机开始要爆发了
Lytro当然也不想错过VR风头（第一款相机实在不好卖啊，风投的钱总是要花的哈哈），这不Lytro打算推出适合VR内容制作的光场摄像机Lytro Immerge.该摄像机不同于2D转3D处理，它是通过密度超高的光场阵列，一次性拍摄360°空间的场景视频，并且获得致密的深度信息。全景360°x360°+深度立体，这才是VR所需要内容制作。
该摄像机有五层，每层都可以环绕型拍摄360°场景。不过，这个摄像机需要用Lytro Server阵列硬盘才可以完整记录所有大数据量的视频，也需要通过特殊的Lytro Plugin才能在Final Cut Pro或Adobe Premiere上编辑之后，才可以在专用于播放光场视频的播放器上播放，哦哦，这才能最终解析到Oculus Rift等VR头盔上观看视频。
目前还是个概念机，据说今年年中量产，但至今还未看到哈，期待下。
光场相机原理
光场相机拆解图
普通相机如何调焦
使物体一个点的在sensor上成的光斑最小时，此时图像最清晰。普通相机通过改变镜头光心到sensor的距离l’调焦，根据Newton公式，如果目标物距离越远则l’越小，即sensor到光心的距离越小，当物距大于某个距离时，l’等于镜头焦距f。反之，物距越小则l’约大。通过调焦可以使一定距离的拍摄目标清晰成像。如图所示，位于A点目标物经过透镜后成像在sensor上的A’点。平行于光轴的光线经过透镜后通过透镜焦点F，经过光心的光线不改变方向，二者相交于A’，A’在光轴上的投影为Z2点，将sensor放在Z2位置即可得到清晰的像，如果sensor在Z1位置则图像是模糊的，需要将sensor放到Z2，这就是调焦过程。实际的光学系统为了矫正像差，会有多个镜片组，每个镜片组由数片镜片构成，在这里将整个成像系统近似等效为一片无厚度的薄透镜。实际摄像机会有一个叫做补偿组的镜片组，可以手动或者电机驱动来调节位置，改变补偿组位置可实现对光心位置或焦距的微调来实现，sensor位置一般是固定的，说改变sensor位置调焦是相对于光心而言的。
光场相机拍照原理
其中最核心的就是它的Light Field Sensor，能够让相机拍摄到影像的不同对焦点，主要就是它捕捉了光线的方向信息，透过组件上数以千计的微型镜头，而这些镜头排列时又分别朝向不同的方向，所以能得到不同方向的光线数据，于是在成像后仍能改变对焦位置。
Lytro光场相机原理
场指物体在空间中的分布情况。场是用空间位置函数来表征的。在物理学中，经常要研究某种物理量在空间的分布和变化规律。如果物理量是标量，那么空间每一点都对应着该物理的一个确定数值，则称此空间为标量场。如电势场、温度场等。如果物理量是矢量，那么空间每一点都存在着它的大小和方向，则称此空间为矢量场。如电场、速度场等。光场指的是电磁场，这里我们只考虑电场分量。
电场包含相位和振幅两项，无论CCD/CMOS还是胶片，还是人眼，只能对振幅产生响应。获取相位必须借助其他元件，如微透镜阵或曲率波前传感器。
微透镜列阵是由通光孔径及浮雕深度为微米级的透镜组成的列阵，它不仅具有传统透镜的聚焦、成像等基本功能，而且具有单元尺寸小、集成度高的特点，使得它能够完成传统光学元件无法完成的功能，并能构成许多新型的光学系统。
利用微透镜阵来获得相位的器件叫做Hartmann传感器。哈特曼波前传感器是一种以波前斜率测量为基础的波前测试仪器。它通过测量光的近场波面位相分布和随时间变化的关系，进而得出系统的光学特性参数（各阶泽尼克系数、点扩散函数PSF、传递函数OTF、调制传递函数MTF、环围能量等），供用户测量、分析和研究。
哈特曼传感器的工作原理如图所示，在传感器中用微透镜阵列将入射波面分割成许多子波面, 使得有像差的波面在每一子波面均可以近似为平面波, 每个子孔径内的子透镜把入射到它上面的光聚焦到位于焦平面的二维CCD面阵上，形成子孔径光斑阵列, 探测被测波前的子孔径光斑相对标定光的偏移量就能测量出光瞳面上各个子孔径内波前在X和Y方向上的局部波前斜率，根据这些斜率数据经过波前复原算法即可以重构出被测光束近场相位分布和远场焦斑信息。
光场相机是没有一个补偿组来调节sensor的相对位置，只有一个可移动的镜片组实现变焦，没有调焦的镜片组。它通过用Hartmann捕获振幅和相位，计算场在空间的传播和分布，生成清晰的图像。
Sensor与光心距离固定，在sensor前方置一微透镜阵，光场（这里用几何光学的光线已经没有多大意义）经过微透镜阵后在sensor上成像。每一个微透镜阵都会成一个点，这个点一般不在微透镜的中心在sensor上的投影，其偏离量反映了光场的相位。即我们得到了Z1平面的光场分布U1(u,v)，uv为垂直于z轴过Z1的平面，uv为该平面上的直角坐标系的两个分量，用uv表示坐标是为了和过Z2垂直于光轴的xy平面坐标区系分开。而Sensor清晰聚焦的位置在Z2平面上，我们需要根据U1(u,v)计算出Z2平面上的场分布U2(x,y)。
光场在自由空间的传播
自由空间的波动方程(Helmholtz equation):
改变z的值，相当于调节了Sensor的位置，即可在PC上进行调焦，得到不同聚焦距离的场分布U2(x,y)，|U2(x,y)|2是光强分布，即获取的图像。
Lytro拍得的照片需经过配套的软件处理才能得到常规的raw或者jpeg图像，其核心是光场在自由空间传播算法。可以看出其复杂度为O(n4)，相当于不作任何优化对二维数据直接傅立叶变换。
光场相机的局限
1. 由于每个相位的获得都要对应一个微透镜单元，即每个微透镜单元对应一个像素，目前Lytro图像大小为1080×1080，即使用了1080×1080个微透镜单元，而由于光的波长限制微透镜单元不能无限小，在如此小的结构里集成百万个微透镜单元已经是极限，所以光场相机无法做到高分辨率。
2. 由于调焦算法计算复杂度高，无法在嵌入式系统中实现，用户不能在拍摄时实时调焦。
苹果光场摄像机
在google专利中搜到苹果专利：US8593564 B2（已授权）
在Lytro光场相机的概念被提出后，苹果公司对Lytro公司生产的重新定焦相机就很感兴趣。于是在2011年提出了专利的申请，再历时2年后的2013年底才终于成功注册。美国专利局US8593564（“一款有着对拍摄图片重新对焦功能的数码相机”）， 并描述了用户如何可以通过该种类相机拍摄一定分辨率的图片并在拍摄完成后任意更改照片中的焦点。
不同于Lytro公司，苹果公司的设计应用了一个可移动的适配器，该适配器位于镜头组件以及图片传感器之间。 在这个可移动的适配器中装载着之前提到的微型镜头阵列。由于这样的一个可移动阵列的存在使得搭载有该组件的相机有了两种可操作的功能 ：一种是拍摄低分辨率可变焦图片，另一种则是高分辨率不可变焦图片。
Lytro专利检索
在google专利栏中输入：inassignee:”Lytro, Inc.”，共计57篇专利。
参考文献
[1] Lytro发明者的博士论文：”Light Field Photography with a Hand-held Plenoptic Camera”,Stanford Tech Report CTSR 2005-02，Ren Ng. Marc Levoy. Mathieu Brédif. Gene Duval
[2] www.lytro.com
[3] Lytro专利:USUS9001226、US8811769、US20120249550、US8908058、US9305375
[4] 苹果专利US8593564
[5] 周志良，《光场成像技术研究》，博士论文，中国科技大学，2012年5月；