2012年6月14日星期四

关于光场成像的听课笔记:Envisioning a light filed ecosystem

今天在北影听了Lytro的CTO Kurt Akeley的讲座:Envisioning a light filed
ecosystem。接下来是一组笔记。其中不全是Kurt
Akeley所讲,有部分是我融合自己以前学习的信息。错误之处请指出。感谢@王春水Charles 老师组织此讲座

目前的3D显示技术有两个大问题,一个是离轴观察,一个是调节集合反射分离。

离轴观察,off axis viewing。虽然是立体电影,但是你偏头看一下东西,发现整个景物随着一起旋转,并未看见物体的侧面。

调节集合反射是说,你对焦清楚时看到的物体面和双眼视线相交的面应该是同一个面。在真实空间是默认的,你看一个物体,是用双眼去看这个物体。但在3D电影是不一定的。你的焦点定在银幕上,而电影中表现的景物位置是在银幕前或者后。

用光场成像理论进行采集图像。该理论基础是Intergral imaging,在1908年由Gabriel
Lippman提出。不过即使到了现在技术发展仍然还没有达到实时采集视频的能力。受限制于图像处理的数据量。

光场的理论是去采集物体发射出的每一个光线的方向。要在空间中标记一个射线方向,(三维矢量)需要4个变量,通过第一个观察平面的xy坐标,和第二个观察平面的xy坐标,(观察平面位置确定)即所谓4D光场,如果考虑强度是5D数据。

如果能够记录物体发出的所有光的光场数据,就可以重建出物体发光的所有信息。这应该和记录波前的全息是等价的,只不过是用法线方向表示wavefront而已。

如同阿贝成像定理所限制,有限光瞳只能采集到有限范围内的wavefront。光场相机也是如此。光场采集后,可以通过运算生成一个虚拟相机,或者虚拟观察点。这个观察点可以是在入瞳以后的任意一个位置。比如24mm直径的光场相机,可以产生瞳距最大24mm的景深感。

光场相机使用微镜头阵列来成像。微镜头阵列相当于4D数据中的第一个观察面,其后的CCD/CMOS相当于第二观察面。(貌似是)两个成像面的间距=微透镜的焦距。数值孔径F#=f/a,a为镜头直径。

除了微透镜阵列之外,光场相机在其前面还加入了一组成像透镜,可等效于一个主透镜。主透镜的F#与微透镜相同,这样保证在微透镜对应的CCD上没有图像采集的重叠。

主透镜的意义在于,一是通过F#避免图像采集的重叠,二是可以调整光场相机所采集的baseline,我认为就是入瞳的wavefront的位置。比如要两倍直径,只需要更换主透镜的部分(F#不能改变),微透镜阵列不变。(换镜头的单反?)

通过在主透镜上的zoom或者变焦,可以改变光场采集的“物体空间”。从前相机是二维成像,所以只要考虑物平面,但光场相机是三维成像,所以要考虑前后的范围。

相机的分辨率目前由微透镜阵列的分辨率决定,比如微透镜阵列是1080*1080的,那么像素就是1080*1080,每个微透镜阵列对应一组N*N的CCD像素,N的数值决定重聚焦的能力,或者说在景深内采集的物平面数量。注意物平面的分布对于屈光度是线性的,但对于距离是非线性的。

Kurt Akeley提到现在已经可以超越微透镜的分辨率,也就是说虽然微透镜阵列仍然可能是1080*1080,但是像素可以比这个高。我猜算法相当于通过对应的CCD数据重建通过微透镜的每个分量wavefront,然后再拼接出整个面的wavefront。

增大分辨率也可以减小微透镜。随着微透镜的减小,并不会增强衍射效应,因为衍射是由数值孔径F#决定的。(解决我之前一大疑惑,我学问不扎实啊,Airy斑的直径不就是跟f/a有关么)

Kurt Akeley讲到光场渲染,就是将光场采集到的数据,重新在2D平面上显示出来,不过这时要追踪观察者的视点。这里有个有趣之处,他是在北影讲,但是如果摄影机都采用光场成像了,意味着不会再有电影院。因为坐在中间的观众和周边的观众看到的是完全不同的。跟话剧差不多了。他建议是头戴显示器。

关于相机:

* 主透镜的可以选择成像“物体空间”的范围,比如1m-无穷远,或是3m-8m之类。也可以改变角放大率。
* Kurt Akeley现场演示时用的是win系统。印象中他们网站上说只有Mac版本的,看来win下的也可用了。
* 目前软件只能做到重聚焦,也就是拍摄完成以后,选择哪里,哪里清楚。理论上可以变换视角(只要在baseline的光瞳范围之内)。但这一版本还不行。买东西果然要买偶数代啊。不知是否能帮众geek拔草。
* 目前还不能实时采集图像。看每次照相,图形处理要好几秒。目前图像完全是RAW的,一张要十几兆,进入电脑的数据未经压缩。瓶颈在于CPU/GPU和数据带宽限制。(这就是1908年搞不出来的原因吧)

询问了光场相机MTF的计算。他表示商业公司对此不甚关心。有paper,唉,自己查吧。

Posted via email from goldengrape's posterous

没有评论:

发表评论