基于DM642的Bayer格式图像修复系统

[摘 要] 提出了一种基于数字信号处理器（DM642）和可编程逻辑门阵列（FPGA）架构的Bayer格式图像修复系统，可应用于高速图像采集和实时处理。该系统采用双处理器流水线体系结构，DM642计算出改进的四点像素Bayer格式图像校正参数，FPGA根据校正后的参数对失去的像素进行恢复，再按一定的数据格式打包传给DM642进行双线性插值运算。实验结果表明，该系统完成一幅大小为752x480像素的Bayer图像修复大约需要15ms，完全可满足实时性的要求，解决了传统的双线性Bayer图像恢复算法效果不理想，边界部分不明显，局部图像有团块等问题。

[关键词] DM642； FPGA； CMOS图像传感器； 双线性插值

中文分类号：TP338.6 文献标志码：A

0 引言

在煤矿生产综采过程中，为保证安全生产，在个主要部门和生产环节架设视频监控系统，以保障安全生产。以我国最常见的深井综采为例，在地面上，我们需要将地面变电站，井口人工进口和物料进口等主要部门进行和生产环节进行实时监控。在综采井底，我们对我们对罐笼人员和物料的出口、井下中央变电站、水泵房、采掘面供配电硐室等重要生产环节进行视频监控。而后将地面和地底所有的监控信号实时传至地面中央集控室，进行统一管理。在各主要环节的视频信号的实时监控室煤矿安全生产的一个主要的保障措施。

高精度图像实时处理技术在机器视觉、通信、医学、雷达成像、红外探测、航天航空等领域得到越来越多的应用。由于图像传输数据量大，数据处理实时性要求高，这就需要运算速率高以及算法处理速度快的处理系统。这里提出了一种针对工业质量检测中CMOS传感器Bayer格式图像进行像素修复和转换为RGB格式的图像进行实时处理的解决方案；该方案是以DM642和FPGA为架构，CMOS传感器采集出来的是Bayer格式的图像数据，FPGA利用DM642计算的校正参数分别提取出四个通道RGGB数据，打包后再发送给DM642进行双线性插值算法，最终还原出一帧RGB格式图像。这种基于DM642硬件的实现，大大提高了图像的精确精，为进一步进行算法处理提供良好的基础。该系统还充分发挥了FPGA的设计灵活和DSP的算法运行速度快的优势，能更好的提高系统实时处理图像的性能，降低成本。

1 Bayer图像格式

绝大多数CMOS图像传感器均采用Bayer滤光片把输入光束信号分解为RGB三基色，且每个像素点只采集一种颜色光的亮度。系统中CMOS图像传感器输出752 × 480 × 8 bit的Bayer格式的图像（此格式的图像本身就是数字信号，无需对图像进行模数转换），Bayer图像格式如图1所示，每一个方格代表一个像素，并且只含有R、G、B中的一种颜色分量，奇数行由G、R像素交替构成，偶数行由B、G像素交替进行，其中绿色像素（G像素）最多，占1/2，红色像素（R像素）和蓝色像素（B像素）各占1/4。这是因为人眼对亮度信息最敏感，而绿色像素对亮度的贡献最大。为了获得彩色图像，必须利用插值方法恢复出丢失的另外两个颜色分量，通常称这种插值方法为彩色插值（Color Interpolation）。所以如果G分量采用好的插值方法，不仅可以提高G像素分量的质量，也能提高R和B像素分量的质量。DM642接口数据总线采用8位，需要FPGA先将输出的图像数据按每4个像素提取出一个通道数据包的方法分别取出R、G、G、B四个通道数据，然后打包后传送给DM642进行双线性插值，最后将Bayer图像格式转换成24位的RGB图像格式和亮度信号。

2 Bayer图像处理算法

2.1 Bayer图像数据预处理算法

由于物体被电灯或阳光加热到一定的温度时，就会发出一定的光线，此光线不仅含有亮度的成份，更含有颜色的成份，而色温越高，蓝色的成份越多，图像就会偏蓝；相反，色温越低，红色的成份就越多，图像就会偏红，因此，如果照射物体的光线发生了变化，那么其反映出的色彩也会发生了变化，从而影响到后期算法处理的结果；这就需要对数据图像进行像素修正，对彩色恢复的研究，近二十年内国内外学者提出了很多相关算法，一般来说可以分为两类。

（1）单个通道独立插值算法：未知的红、绿、蓝通道分量值直接由相应的已知像素值进行估算而不考虑她们之间的相关性，其中比较典型和应用较多的算是双线性法了。这种算法未考虑各通道之间的相关性，还有在边缘区像素取值具有方向性，不能简单由周围像素的平均值得到，所以容易造成一定的边缘模糊。

（2）信号相关插值算法：考虑多通道的相关性及图像细节进行插值，但算法复杂，在硬件实现时将消耗大量的硬件资源，而且复杂算法大都是串行执行，很难做到实时处理。

基于以上不足，本文采用4点像素修复法，将一帧大小为752 × 480 的图像数据按照上下左右4点数据的关系按公式（1）进行修正，最后提取出分别为1/4帧数据大小的r、g1、g2、b四个通道数据。

其中 （1）

（2）

2.2 Bayer图像的格式转换算法

Bayer格式图像中，图像的一半像素分给作为亮度信号的G通道，另一半像素分给作为色度信号的R通道和B通道。所谓格式转换就是将经过彩色滤光阵列（CFA）得到的Bayer格式图像进行像素复原并转换为24位RGB格式的彩色图像的过程，即是上面提到的彩色插值的过程，如图2所示修正后的Bayer格式数据采取一种改进的线性插值算法，分两步进行：

1. 边缘像素点即图像周围两圈的像素的求取

（3）

这是左上角第一个2*2的区域里像素的求法，其他周围两圈像素依次类推在2*2的区域求取。

2. 剩下像素点的求取：2*2区域里相邻对应元素的平均值。

（4）

类似于红色分量可以得出蓝色分量的计算式。

3 系统的硬件实现

该系统是以DM642和FPGA为结构组成的Bayer图像处理系统，系统工作流程图如图4所示。系统上电启动后，通过PC进行配置传感器参数，开始采集一帧图像，FPGA将从CMOS传感器MT9V024中采集出来的一帧Raw格式的图像数据，进行通道切换到DM642的VP0口，DM642对采集出来的第一张图像进行核心算法计算，得出算法参数（公式一中的参数C矩阵数据）；然后通过由Mcbsp扩展出来的SPI接口传回FPGA进行参数配置。然后FPGA开始对接下来的图像数据进行r、g1、g2、b通道数据提取，按1/4原始数据帧大小重新组成一帧752 × 480大小的数据包发送到DM642的VP1。DM642通过配置EDMA完成RGGB通道数据搬运，然后将各个数据通道传到算法线程进行双线性插值，最终转换成一帧24位的RGB图像，通过EMAC接口接TCP/IP协议传输格式将图像传输到上位机进行图像实时显示和后序算法处理。

4 实验结果

4.1 实验结果比较

实验使用MT9V024传感器采集出来的一张大小为752 × 480像素的Raw格式图像如图5中的（a）所示，一般双线性插值算法如图（b）所示，经改进后的双线性插值算法处理的图像如图（c）所示，经过本文改进算法处理后的图像亮度增加，对比度也明显提高，使得边界更加突出，并且也不存在一般算法出现明显的红格现象。

4.2 算法实时性分析

5 结论

本文所提出的基于DM642的Bayer图像恢复系统，能够在FPGA可编程逻辑芯片中高速、高质量地对CMOS传感器采集的Bayer图像进行预处理，然后抽取各像素通道值进行打包发送给DM642，减少了DM642进行改进的双线性插值算法的运算量，提高了整个数据传输处理的准确度和实时性，缩短了系统开发的周期，该系统已经成功运用到煤矿生产综采视频监控系统中去，以此架构的系统还可以进行系统更新和扩展，性价比很高，具有广泛的应用前景。

[参考文献]

[1] TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor（Literature Number：SPRS200J）[R].Texas Instruments，2005.

[2] 黄文增，孙锦杏，蔡政翰，等.高品质和快速彩色影像内插算法之设计[J].台北科技大学学报，2007，40（2）：13-25.

[3] VEGA M，MOLINA R，KATSAGGELOS A K.Bayesian Reconstruction of Color Images Acquired with a Single CCD[M].LNCS，Springer Berlin/Heidlberg，2005，3522，343-350.

[4] ZHOU Y ，WEI P.A real-time image correlating speedometer based on FPGA parallel processing[J].Optical Technique.2006，32（1）：108-110.

[5] 张雄伟，陈亮，徐光辉.DSP芯片的原理与开发应用[M].北京：电子工业出版社.2004.

[6] 徐欣，于红旗，卢启中，易凡.基于FPGA的嵌入式系统设计[M].电子工业出版社，2004.

[7] Dierichx B， Meynants G.Missing Pixel Correction Algorithm for Image Sensors.SPIE，1998，34（10）：200-300.

[8] 杨莉，刘铁根.基于CMOS图像传感器的嵌入式图像采集与格式转化[J].电子产品世界，2008（6）：96-98.

[9] 陈春宁，王延杰.基于TMS320DM642 BAYER格式图像色彩复原[D].长春：中国科学院研究生院，2007.

[10] 张变莲.一种基于边缘信息的贝尔模板彩色插值方法[J]。科学技术与工程，2009，9（11）：1671-1819.

[11] MT9V024 1/3-Wide-VGA Digital Image Sensor Table of Contents[R].Mickon.2009.

[12] 卞红雨，纪祥春.TMS320C6000系列DSP的CPU与外设[M].北京：清华大学出版社，2007.