基于DaVinci技术数字对焦重构算法研究与实现

摘要：数字对焦光场成像技术是一种新型的计算成像技术，利用光学手段获取四维光场信息，通过重构二维空间信息和一维深度信息，达到先拍摄后对焦的目的。研究光场图像数字对焦重构算法，利用TI公司推出的DaVinci系列处理器DM6467对数字对焦重构算法进行硬件仿真，通过改变对焦系数，得到不同深度的对焦图像。同时，根据C64x+DSP核的特点，通过循环分解、项目级优化等方法对代码进行一定的优化，使代码执行效率提高了18倍左右，对实现光场成像系统的小型化和实时化具有重要的指导意义。

关键词：数字对焦； 图像重构； DM6467； 算法优化

中图分类号：TN919.8534文献标识码：A文章编号：1004373X(2012)04009104

Implementation of digital refocusing reconstruction algorithm based on DaVinci technology

PENG Dingguo1, YUAN Yan1, ZHOU Zhiliang2, YANG Wanglin1

(1. MOE Key Laboratory of Precision Optomechatronics Technology, Beijing University of Aeronautics and Astronautics, Beijing 100191,China;

2. China University of Science and Technology, Hefei 230026, China)

Abstract： The digital refocusing lightfield photography is a new kind of computational photography, which capturs fourdimensional lightfield information by optical methods and reconstructs twodimensional spatial information and onedimensional depth information in object space to photograph focused at different depths. Based on the research of digital refocusing reconstruction algorithms, the hardware implementation of digital refocusing algorithms for reconstruction of lightfield images is presented. The DM6467 processor, one of TI's DaVinci series, is utilized as the processing platform. Images at different depths are reconstructed by changing refocusing coefficient. Moreover, code optimization methods such as cyclic decomposition, projectlevel optimization and so on are proposed according to the C64x+dsp core, which improves the code excutive efficiency by a factor of 18. It has a instructive significance for realizing a portable and realtime lightfield imaging system in the future.

Keywords： digital refocusing; image reconstruction; DM6467; algorithm optimization

收稿日期：20110915

基金项目：国家自然科学基金资助项目(60972088)；长江学者和创新团队发展计划资助(IRT0705)0引言

传统成像技术所成的图像仅仅反应了物面光波场的二维空间分布，丢失了光波场的方向信息；而光场成像技术作为一种新型的计算成像技术，可以在一次曝光中，同时记录下入射光线的空间分布信息和传播方向信息，从而获得比传统成像技术所成图像信息更加丰富的光场四维图像。通过复现光波场的二维空间分布和二维方向信息，重构物空间的二维空间信息和一维深度信息，达到先拍摄后对焦的目的。

光场成像系统结构复杂，光场图像分辨率高，数据量大，图像重构算法运算量较大，图像的后期处理依赖于高性能的PC机，不利于系统的小型化、便携化，不利于光场相机的应用和推广［1］。嵌入式系统具有便携、低成本、低功耗等特点，它以应用为中心，以计算机技术为基础、软硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统［2］。嵌入式微处理器发展迅速，主频越来越高，功能越来越强，TMS320DM6467数字媒体处理器是一款基于DSP的SoC，集成了297 MHz 时钟速率ARM926EJS内核、594 MHz时钟速率的C64x+DSP内核［3］，其双核架构的片上系统，既能胜任复杂的系统管理任务，又能满足实时算法处理的需求，特别适用于实时音视频和图像处理领域［4］，为光场图像处理系统的小型化、实时化提供了一个良好的平台。

本文介绍光场成像技术基本原理，分析数字对焦图像重构技术的特点，在TI 公司的DM6467平台上实现光场图像数字对焦重构算法，并对其进行优化，为光场成像技术系统的小型化、实时化以及光场相机的应用做出了探索性的研究。

1光场成像原理

光场成像的概念由Marc Levoy和Ren Ng等人提出并发展［5］。主要是指通过在传统光学成像系统中利用孔径分割或加入调制掩模［6］的方法来获得目标光辐射的空间分布和辐射传输的方向信息。图1为利用微透镜实现孔镜分割的光场成像系统基本原理结构 ［7］。

图1光场相机基本结构图1所示微透镜的作用是将主镜的光瞳成像在探测器上并覆盖若干个探测器像元，相当于将主镜光瞳分割成若干个子孔径。假设微透镜阵列中含有M×M个微透镜单元，每个微透镜覆盖N×N个探测器像元，那么主镜光瞳被分割为N×N个子孔径。这样探测器像元输出信号就对应目标点通过主光瞳的某个子孔径的能量变换。成像系统内的光场分布由于微透镜的作用而转化为探测器像元的输出信号，且与微透镜位置反映的两维空间位置信息和覆盖的探测器像元反映的两维方向信息分别相对应，成功实现了四维光场的解析。这时成像系统最终合成的图像空间分辨率为M×M，方向分辨为N×N，得到的四维光场为M×M×N×N。

2数字对焦与图像重构

2.1数字对焦的基本原理

如图2所示假设平面 (u,v) 是成像系统的光瞳面，平面 (x,y) 是探测器面，两平面间的距离为F，则LF(x,y,u,v)就代表成像系统内的光场［5］，且与物空间的目标光场存在对应关系。

图2相机内光场参数表示由积分成像理论［8］可知，此时通过探测器得到的光强度分布为：EF(x,y)=1F2LF(x,y,u,v)dudv(1)如果探测器没有放置在成像系统的实际像面上，即出现离焦的情形，设此时实际像面为(x′,y′)，光瞳与探测器距离仍为F，光瞳与实际像面距离为F′，设定参数α=F′/F，参数关系如图3所示(为方便起见用一维空间表示)。则实际光场变为：L(F′=αF)(x′,y′,u,v)=LF(u+(x′－u)/α,v+

(y′－v)/α,u,v)=LF(u(1－1/α)+

x′/α,v(1－1/α)+y′/α,u,v)(2)实际像面的光强度分布为:EF′(x′,y′)=1α2F2LF(u(1－1/α)+x′/α+

(v(1－1/α)+y′/α,u,v)dudv(3)这一定义就是数字对焦的理论基础，由此可以用一次成像所获得的光场来计算出不同对焦深度的图像。

图3离焦情况下的光场2.2图像重构算法简介

数字对焦重构算法主要是基于积分成像理论，以公式(1)~式(3)为基础，根据所要求的对焦深度，选取不同的α值进行积分，从而得到不同深度的对焦图像。图4是数字对焦的流程图，其中LF是对光场进行追踪得到的探测器面上的光场分布。

图4数字对焦图像重构流程3DM6467 DaVinci技术简介

TMS320DM6467是基于DaVinci技术的最先进的数字媒体处理器系列之一，内部集成了高性能的DSP核、ARM核和丰富的片上外设，还特别包含了2个高清视频/图像协处理器（HDVICP）［9］。它采用高性能的C64x+内核和ARM926EJS内核，工作频率分别高达594 MHz和297 MHz。

图像重构算法主要运行在DSP端，故算法的优化要充分考虑TMS320C64x+DSP内核的特点。TMS320C64x+ DSP内核构建在超长指令字(VLLW)体系结构的基础上，具有较强的运算性能，其主要结构特点为：

(1) C64x+片内有2个数据通道、8个功能单元和2个一般目的寄存器组(A和B)。而8个功能单元和2个寄存器组又分成了相同的2组，每组占用一个数据通道。2个数据通道之间包含有2个数据交叉通路。

(2) C64x+DSP采用超长指令字(VLIW)，即在每个时钟周期最高可提供8条32位指令，总字长为256位的指令包同时分配到8个并行处理单元。在594 MHz的时钟频率下，当片内8个处理单元同时运行时，其最大处理能力可以达到4 800 MIPS。

(3) C64x+DSP具有双16 b扩充功能，在一个周期内能完成双16位的乘法、加减法、比较、移位等操作。C64x+通过把DSP运算压缩在较少的周期里，从而在通信和图像处理领域得到广泛的使用。

4算法的实现及优化

4.1算法实现

实验的软件开发环境是CCS3.3，实验中通过仿真器将PC 机与DSP开发板连接，在CCS3.3 编译环境下完成算法的DSP 化，并对算法进行了优化。通过光场成像系统得到光场图像(空间分辨率为1 800×1 800)，并将其预处理为四维光场，然后对其进行数字对焦。设微透镜阵列含有300×300个单元,每个微透镜下面覆盖6×6个像元,由光场成像原理可知，最终合成图像的空间分辨为300×300,方向分辨率为6×6。实验中，主透镜焦距为100 mm，光瞳与探测器距离为200 mm，实际像面与光瞳的距离为205 mm，对焦系数为 (目标像距/探测像距)α=1.025。图5(a)为原始光场图像(1 800×1 800)及其局部放大图。改变对焦系数α的值，运行数字对焦重构算法，将得到不同深度的重构图像(空间分辨率为300×300)。图(b)是α＝0.975时，经过数字对焦的得到的重构图像，由图可以看出，图像较为模糊，是一幅离焦的图像。图(c)是α＝1时得到的重构图像。图(d)是α＝1.025时得到的重构图像，通过数字对焦技术， 使得光场图像重新对焦在虚拟的对焦平面，从而得到清晰的图像，达到先拍照后对焦的目的。

4.2算法优化

TMS320C64x+DSP的硬件资源为高性能提供了必要条件，TI公司还提供了性能优良的开发工具CCS3.3［10］，充分利用这些资源，对程序代码进行优化，能够改善代码的性能。

(1) 去除冗余代码。分析代码，去除没有必要的运算，尽量将循环体内的运算移到循环体外，减少重复运算的次数，提高代码的性能。

(2) 项目级的优化。项目级优化主要是对CCS提供的各种编译参数进行选择、搭配、调整，如“pm”选项能够联合所有源程序文件进行程序级优化；“mt”选项是向编译器说明在代码中没有使用混迭技术，可以更积极地优化；“o”选项可以使能软件流水及其它优化方法等。本文在编译时,联合使用了“pm”与“o3”编译选项来调用最高级别的软件流水级优化，增大了软件编译成DSP代码的并行性,并改善了循环代码的编排［11］。

(3) 循环分解。DM6467嵌入式平台有2条独立的数据通路，8个功能单元，并行化的运算能力较高，但是如果程序中判断跳转较多，程序的循环嵌套的深度过多，都将严重影响DSP发挥其并行性效果。DSP的并行性效果还体现在仅对内部循环执行软件流水。本文在满足算法要求的情况下，展开循环体较小的内循环，使之有利于软件流水线的分工

图5不同深度的数字对焦重构图像4.3优化结果及分析

本文使用了CCS3.3 clock 工具对实验结果进行分析，表1给出了优化前后的比较结果(DSP主频为594 MHz)。

表1代码优化前后性能比较

优化方法时钟周期提升倍数无(原始代码)3 544 902 5181第一步去除冗余代码748 533 5064.7第二步项目级优化462 629 7817.7第三步展开循环194 940 73718

通过对源程序进行优化，代码的性能得到了较大幅度的提升，但是由于重构算法运算量较大，程序运行消耗的时钟周期仍然较长，因此可以对算法进行改善，对程序进行进一步的优化，如对耗时较大的代码采用线性汇编等优化措施。

5结语

本文阐述光场成像技术的基本原理，分析了光场成像数字对焦重构技术的特点，在DM6467平台上实现了光场图像的数字对焦重构，得到了不同深度的重构图像；并对算法进行了一定的优化，代码的执行效率提高了18倍，为探索光场成像系统的小型化提供了重要的基础和依据。

参考文献

［1］平生一笑,Chopper.告别失焦：光场相机初探［J］.微型计算机，2008(16):98100.

［2］骆飞.ARM嵌入式系统实验开发平台研究与实现［D］.成都：西南交通大学,2006.

［3］高平.基于TMS320DM6467的多功能多媒体处理平台的软件设计［D］.天津:天津大学,2009.

［4］胡新华，邓元勇，王先平.基于达芬奇技术SMFT终端实时图像处理系统研制［J］.光电子激光,2008,19(10):1517.

［5］REN N, LEVOY M, BR?DIF M, et al. Light field photography with a handheld plenoptic camera, CSTR 200502 \[R\]. USA: Stanford University, 2005.

［6］VEERARAGHAVAN A,RASKAR R, AGRAWAL A, et al. Dappled photography mask enhanced cameras for heterodyned light fields and coded aperture refocusing \[J\]. ACM Transactions on Graphics, 2007, 26 (3): 6978.

［7］ADELSON T, WANG J Y A. Single lens stereo with a plenoptic camera \[J\]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14 (2): 99106.

［8］NGR. Fourier slice photography \[J\]. ACM Transactions on Graphics, 2005, 24 (3): 735744.

［9］Texas Instruments. Digital media systemonchip, TMS320DM6467 \[R\]. USA: Texas Instruments, 2009.

［10］李方慧，王飞，何佩琨.TMS320C6000系列DSPs原理与应用［M］.北京：电子工业出版社,2003.

［11］王翠，张刚.基于DM6446的价格匹配函数优化方法［J］.太原理工大学学报,2008(9):710.

［12］秦臻，曹剑中.基于TMS320DM365的高速网络摄像机的设计\[J\].电子设计工程，2011(10)：121124.

［13］杨娟，杨济民，李大鹏，等.基于达芬奇技术的三维全息显示系统研究\[J\].现代电子技术，2011,34(12)：7274.