多传感器彩色纹理色彩差异修正方法

摘要：针对三维彩色扫描仪多个传感器获得的彩色纹理图像存在色彩差异，导致重建的三维彩色模型表面出现色彩分块现象的问题，提出一种基于色彩迁移的纹理图像色彩修正方法。首先，利用综合质量图像评价函数（CAF）进行图像质量评价，从多个传感器获得的彩色纹理图像中选出一幅质量最佳的作为标准图像；然后，参照该图像调整其他纹理图像各个色彩通道的色彩均值、方差等统计量。将所提方法用于三维人体彩色扫描仪的纹理图像色彩修正，结果表明，色彩修正后纹理图像间的色彩差异减小，得到的三维人体彩色模型色彩分块现象得到明显改善，色彩更加均衡自然。与经典色彩变换方法、改进色彩变换方法、基于最小角度选择的融合方法相比，实验的主观效果和客观图像综合质量评价值都表明了该方法的优越性。

关键词：传感器；纹理图像；色彩差异修正；三维人体彩色模型重建

中图分类号： TP751.1 文献标志码：A

0引言

三维彩色模型的纹理图像一般由多个传感器同步采集，由于传感器曝光参数、方位、与照明条件等内、外因素的不同[1-3]，纹理图像会存在色彩差异，导致重建的三维彩色模型表面出现色彩分块现象，影响模型的整体重建效果。文献[4-5]给出了存在色彩分块现象的三维模型，彩色模型视觉效果不佳。较早的纹理色彩修正方法只对纹理的局部色彩进行了调整，如文献[6]采用纹理边界扩展的方法只对纹理交界处的色彩进行了修正；文献[7]采用基于三维模型的四步算法对纹理的重叠部分进行了色彩融合。这些方法只能消除纹理交界处的接缝，使纹理图像间的色彩变化平缓，却不能实现纹理图像色彩的一致性。为了达到纹理图像色彩一致性的目的，改进后的纹理色彩修正方法对整幅纹理图像进行重新着色，其解决方法主要分为两类：一类方法是对纹理图像进行重光照，通过对纹理图像光照条件的估计，对纹理图像的光照效果进行校正[8-9]；另一类方法是对纹理图像进行色彩变换，根据纹理图像之间的色彩变换关系修正整幅纹理图像的色彩[10-12]。

经典色彩变换方法[10]根据两幅纹理图像重叠区域像素的RGB（Red Green Blue）色彩值，估计出一个3×3的色彩转换矩阵，用此矩阵对纹理图像每个像素点的RGB值进行修正。改进的色彩变换方法[11]首先根据纹理图像重叠区域像素点在HSV（Hue Saturation Value）的亮度分量的比例关系修正纹理图像每个像素点的亮度分量，消除亮度对纹理图像色彩差异的影响，然后通过使得两幅纹理图像的重叠区域色彩在RGB空间差异最小而优化出一个色彩变换矩阵，用此色彩变换矩阵对纹理图像每个像素点的色彩进行修正。在色彩变换思想的基础上，本文提出采用色彩迁移[13]的方法进行色彩修正。色彩迁移的前提要有一幅标准图像，考虑三维彩色模型的最终接受者是人眼，三维彩色模型质量关键在于是否符合人类的直观感受，而且，图像的亮度、灰度/色度信息的丰富度、灰度的空间分布影响人类视觉对图像质量的认知。基于以上考虑，本文采用综合质量评价函数（Comprehensive Assessment Function， CAF）[14]计算不同方位传感器得到的纹理图像的CAF值，从中选取数值最大的一幅，认为是质量最佳的图像，并以此作为标准图像；以选出的标准图像为参照，采用色彩迁移的方法在lαβ色彩空间改变其他纹理图像各通道的色彩均值、方差统计量，从而获得与标准图像相似的色彩，完成多传感器彩色纹理色彩差异的修正；最后，将修正后的纹理图像映射到物体的三维点云模型上，即可得到逼真的三维立体彩色模型。

2实验及结果分析

2.1人体3D彩色模型实验

为了验证本文算法在三维彩色模型重建中的有效性，以自行研制的三维人体彩色扫描仪为实验平台进行实验。利用扫描仪对真人模特进行扫描，如图2所示。图3为图2模特的三维点云数据，图4为环绕在真人模型周围不同方位的8个彩色电荷耦合元件（ChargeCoupled Device， CCD）采集的纹理图像。可看出，不同CCD获得的纹理图像的色彩差异比较大。

图5所示是通过标定[19]的三维点云与彩色信息之间的映射关系，将图4的纹理图像投射到图3点云数据而重建的三维彩色模型结果，图5（a）～（b）代表不同的观察角度。可看出，不同纹理间的色彩差异导致的模型表面色彩分块现象比较明显，模型色彩不均衡，视觉效果比较差。

为了验证本文方法的有效性，对纹理图像进行色彩修正实验。首先对图4的8幅纹理图像进行CAF值计算，结果如表1所示。

表格（有表名）

从表1可看出，图4（g）的CAF值是最高的，认为是质量最好的，与人眼主观评价结果一致，说明以CAF评价图像质量是可靠的。因此，选择图4（g）作为标准图像，对其他纹理图像进行色彩迁移。以图4（a）进行色彩迁移为例。首先将图4（a）和图4（g）根据式（11）～（13）从RGB色彩空间变换到lαβ色彩空间，然后分别计算两幅图像在lαβ色彩空间各个通道的均值和方差，结果如表2所示。

最后根据式（14）～（16）改变源图像各个像素点在lαβ色彩空间各通道的值，得到与标准图像相近的均值和方差，将经过色彩修正后的源图像从lαβ色彩空间变换到RGB色彩空间即完成了色彩迁移过程。重复此过程对其他纹理图像进行色彩修正。

将色彩修正后的纹理图像投射到图3所示点云模型上，重建的三维彩色模型结果如图6所示（与图5观察角度相同）。从图6可看出，经过色彩修正后三维彩色模型整体色彩较为一致。

2.2不同色彩修正方法效果比较

为了证明本文算法的优越性，将本文纹理色彩修正方法与经典色彩变换方法[10]、改进的色彩变换方法[11]、基于最小角度选择的纹理融合方法[20]进行了对比实验。为了直观对比不同色彩差异修正方法的实验效果，选取了不同方法修正纹理后重建的三维彩色模型局部放大图进行对比，如图7所示。经过经典色彩变换方法对纹理图像进行色彩修正后，彩色模型色彩一致性得到改善，但是明显的色彩分块现象仍然存在，且色彩出现了色调偏移现象，整体色彩偏绿，视觉效果不是很好；改进色彩变换方法相对于经典色彩变换方法，色彩一致性得到更好的改善，但仍有色彩分块现象，相邻纹理边界过渡生硬，且也出现了色调偏移现象，整体色彩偏红；基于最小角度选择的纹理融合方法能使得相邻纹理之间的边界过渡平缓自然，但是不能保证整个三维彩色模型的色彩是一致的；本文方法可以使得三维彩色模型色彩具有很好的一致性，且彩色模型的色彩比较柔和，视觉效果较好，主观上可以说明本文算法的优越性。

为了客观说明本文色彩修正方法的优越性，采用CAF评价函数对图7中不同方法修正后重建的三维彩色模型的色彩进行评价，结果如表3所示。从表3的客观评价值可看出，本文方法所得到的三维模型的评价值是最高的，客观上说明了本文方法的优越性。

3结语

本文在色彩变换思想的基础上，提出基于人类视觉感知的图像综合质量评价和色彩迁移的纹理图像色彩差异修正方法，解决了三维人体彩色扫描系统中多个传感器采集到的纹理图像存在色彩差异的问题，降低了系统对实验环境中光照等条件的要求，提高了系统的重建质量。与其他方法相比，彩色模型色彩分块现象得到大大改善，且主观感受和客观评价值都表明了本文方法的优越性；但是当纹理重合度不好时，三维彩色模型中会出现未着色部分影响彩色模型质量，因此为了进一步完善彩色模型的色彩，下一步的工作方向是在三维几何模型上对未着色部分进行补色。

参考文献：

[1]

ALLENE C， PONS J P， KERIVEN R. Seamless imagebased texture atlases using multiband blending [C]// ICPR 2008： Proceedings of the 2008 19th International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2008：1-4.

[2]

GAL R， WEXLER Y， OFEK E， et al. Seamless montage for texturing models [J]. Computer Graphics Forum， Oxford： Blackwell Publishing Ltd， 2010，29（2）：479-486.

[3]

LIU X M， PENG X， YIN Y K， et al. Generation of photorealistic 3D image using optical digitizer [J]. Applied Optics， 2012，51（9）：1304-1311.

[4]

ADAN A， MERCHAN P， SALAMANCA S. Creating realistic 3D models from scanners by decoupling geometry and texture [C]// ICPR 2012： Proceedings of the 2012 21st International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2012：457-460.

[5]

MARROQUIM R， PFEIFFER G， CARVALHO F， et al. Texturing 3D models from sequential photos [J]. Visual Computer， 2012，28（10）：983-993.

[6]

LENSCH H P A， HEIDRICH W， SEIDEL H P. Automated texture registration and stitching for real world models [C]// Proceedings of the 8th Pacific Conference on Computer Graphics and Applications. Washington， DC： IEEE Computer Society， 2000：317-452.

[7]

CALLIERI M， CIGNONI P， ROCCHINI C， et al. Weaver， an automatic texture builder [C]// Proceedings of the 2002 1st International Symposium on 3D Data Processing Visualization and Transmission. Washington， DC： IEEE Computer Society， 2002：562-565.

[8]

TROCCOLI A， ALLEN P. Building illumination coherent 3D models of largescale outdoor scenes [J]. International Journal of Computer Vision， 2008，78（2/3）：261-280.

[9]

LAFFONT P Y， BOUSSEAU A， PARIS S， et al. Coherent intrinsic images from photo collections [J]. ACM Transactions on Graphics， 2012，31（6）：439-445.

[10]

AGATHOS A， FISHER R B. Colour texture fusion of multiple range images [C]// 3DIM 2003： Proceedings of the 2003 4th International Conference on 3D Digital Imaging and Modeling. Washington， DC： IEEE Computer Society， 2003：139-146.

[11]

BANNAI N， FISHER R B， AGATHOS A. Multiple color texture map fusion for 3D models [J]. Pattern Recognition Letters， 2007，28（6）：748-758.

[12]

XU L， LI E， LI J， et al. A general texture mapping framework for imagebased 3D modeling [C]// ICIP 2010： Proceedings of the 2010 17th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2010：2713-2716.

[13]

REINHARD E， ASHIKHMIN M， GOOCH B， et al. Color transfer between images [J]. IEEE Computer Graphics and Applications， 2001，21（5）：34-41.

[14]

谢正祥，王志芳，熊兴良，等.基于视觉感知噪声模型的彩色图像质量评价和彩色图像质量最佳化[J].中国图象图形学报，2010，15（10）：1454-1464.（XIE Z X， WANG Z F， XIONG X L， et al. Color image quality assessment and color image quality optimization based on noise model of human vision [J]. Chinese Journal of Image and Graphics， 2010，15（10）：1454-1464.）

[15]

PAN R， TAUBIN G. Color adjustment in imagebased texture maps [J]. Graphical Models， 2015，79：39-48.

[16]

FAN Y， SANG Y， HU G， et al. An improved image contrast assessment method [J]. TELKOMNIKA Indonesian Journal of Electrical Engineering， 2014，12（3）：2398-2405.

[17]

SUN S， JING Z， LI Z， et al. Color fusion of SAR and FLIR images using a natural color transfer technique [J]. Chinese Optics Letters， 2005，3（4）：202-204.

[18]

BANKS S P. Signal Processing， Image Processing and Pattern Recognition [M]. Upper Saddle River， NJ： Prentice Hall， 1990：79-81.

[19]

孙宇臣.激光三维彩色数字化系统关键技术研究[D].天津：天津大学，2005：14-40.（SUN Y C. Research on the key technology of laser 3D color digitization system [D]. Tianjin：

Tianjin University， 2005：14-40.）

[20]

DESSEIN A， SMITH W A P， WILSON R C， et al. Seamless texture stitching on a 3D mesh by poisson blending in patches [C]// ICIP 2014： Proceedings of the 2014 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2014：2031-2035.

Background

This work is partially supported by the National Natural Science Foundation of China（61177002）.

MA Qian， born in 1990， M. S. candidate. Her research interests include three dimensional color digital imaging based on laser.

GE Baozhen， born in 1964， Ph. D.， professor. His research interests include three dimensional color digital imaging based on laser， photoelectric detection， laser particle measurement.

CHEN Lei， born in 1980， Ph. D.， associate professor. His research interests include three dimensional color digital imaging based on laser， high spectral image processing.