均值偏移的多视点视差估计新方法

摘 要：针对多视点视频编码视差估计计算量大的特点，提出一种基于均值偏移的多视点视差估计方法。在时空域上，分析了视差矢量和运动矢量的相关性，计算了预测视差矢量，确定了视差匹配的初始搜索位置。将该位置作为均值偏移迭代计算的初值，在参考帧中完成宏块的最佳匹配。通过实验表明：新方法与全搜索算法相比，在率失真性能降低甚微的情况下编码时间降低了94%以上；和快速搜索算法相比，新方法编码时间降低10%以上，率失真性能获得提高。

关键词：视差估计；运动矢量；均值偏移；预测视差矢量；视差匹配

中图分类号： TP391

文献标志码：A

0 引言

多视点视频编码是多媒体信息处理研究的热点，在三维电视（ThreeDimensional TeleVision，3DTV）、自由视点电视（Free Viewpoint Television， FTV）、虚拟现实等领域广泛应用[1-2]。多视点视频是通过相机阵列获得的信号，数据量十分庞大，因此如何对其进行高效的压缩是该技术的核心。研究表明视差估计在多视点视频编码中占用了大量的编码时间，相关学者对其展开了大量的研究工作。Ding等[3]根据运动矢量和视差矢量在时空域的相关性来预测视差矢量，提高了编码效率。Kim等[4]通过视差矢量和运动矢量的几何关系来预测运动矢量，节省了编码时间。邓智玭等[5]根据运动和视差模型，结合时空域的多参考帧进行联合运动和视差估计，但该算法缺少高效的视差匹配，编码效率有待提高。宋晓炜等[6]分析了平行相机和汇聚相机视差矢量特点，根据三步搜索法确定最佳匹配块，但由于缺少极线校正，匹配精度有待进一步提高。Shen等[7-8]利用邻近视点的运动矢量来预测当前宏块的视差矢量，但该方法没有进一步匹配视差矢量，视差精度还有待提高。均值偏移（Mean Shift）是一种高效的聚类方法，Comaniciu等[9]利用Mean Shift分析图像的特征空间，对图像平滑起到了很好的效果。近年来有学者将Mean Shift用于视频目标的跟踪[10-11]，也取得了良好的效果。本文分析了视差矢量和运动矢量的几何关系，计算了预测视差矢量，用Mean Shift算法进行视差匹配，取得了良好的效果。

4 结语

本文针对多视点视频编码中运算量最大的视差估计提出了一种新的方法。根据多视点视频视点之间的空间相关性及同一视点时间上的相关性，分析了视差矢量和运动矢量的几何关系，获取了参考宏块的预测视差矢量。通过建立参考帧和当前帧宏块的特征模型，用Mean Shift算法对两者进行高效匹配。最后通过实验表明本文方法的视差估计效果理想，和JMVM7.0全搜索算法相比，在保持率失真性能基础上节约了90%以上的计算量，和经典的快速算法相比率失真性能和编码效率均获得提高。

参考文献：

[1]KALVA H， CHRISTODOULOU L， MAYRON L， et al. Challenges and opportunities in video coding for 3DTV[C]// Proceedings of 2006 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2006： 1689-1692.

[2]KIMATA H， KITAHARA M， KAMIKURA K， et al. Lowdelay multiview video coding for freeviewpoint video communication[J]. Systems and Computers in Japan， 2007， 38（5）： 14-28.

[3]DING L F， TSUNG P K， CHIEN S Y， et al. Contentaware prediction algorithm with interview mode decision for multiview video coding[J]. IEEE Transactions on Multimedia， 2008， 10（8）： 1553-1564.

[4]KIM Y， KIM J， SOHN K. Fast disparity and motion estimation for multiview video coding[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）： 712-719.

[5]邓智玭， 贾克斌， 陈锐霖，等. 立体视频编码中运动和视差联合估计算法的研究[J]. 中国科学：信息科学， 2011， 41（10）： 1210-1218.

[6]宋晓炜， 杨蕾， 刘忠，等. 基于视差矢量特点的视差估计快速算法[J]. 计算机应用， 2012， 32（7）： 1856-1859.

[7]SHEN L Q， FENG G R， LIU Z， et al. Macroblocklevel adaptive search range algorithm for motion estimation in multiview video coding[J]. Journal of Electronic Imaging， 2009， 18（3）： 1-8.

[8]SHEN L Q， LIU Z， YAN T， et al. Viewadaptive motion estimation and disparity estimation for low complexity multiview video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2010， 20（6）： 925-930.

[9]COMANICIU D， MEER P. Mean shift： a robust application toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（5）： 603-619.

[10]HU JS， JUAN CW， WANG JJ. A spatialcolor meanshift object tracking algorithm with scale and orientation estimation[J]. Pattern Recognition Letters， 2008， 29（16） 2165-2173.

[11]胡波. 基于改进Mean Shift算法的实时视频目标跟踪[J]. 光子学报， 2012， 41（4）： 461-465.

[12]FECKER U， KAUP A. H.264/AVCcompatible coding of dynamic light fields using transposed picture ordering [C]// Proceedings of the 13th European Signal Processing Conference. Piscataway： IEEE， 2005： 1-10.

[13]OKA S， BANGCHANG P N， FUJII T. Dynamic rayspace coding for FTV [C]// Proceedings of the 2004 3D Image Conference. Piscataway： IEEE， 2004： 139-142.

[14]EISERT P， STEINBACH E， GIROD B. Automatic reconstruction of stationary 3D objects from multiple uncalibrated camera views[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2002， 10（2）： 227-261.

[15]MERKLE P， SMOLIC A， MULLER K， et al. Efficient prediction structures for multiview video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2007， 17（11）： 1461-1473.

[16]邓智玭， 贾克斌， 陈锐霖，等. 多视点视频编码中的运动和视差估计快速算法[J]. 北京工业大学学报， 2011， 37（5）： 683-689.