UDP协议中丢失图像数据的复原

摘要:信息技术的发展带动了通信网络的迅速发展,它既为计算机网络的发展提供了机遇,又给通信网络的效率和安全提出了更高的挑战。该文针对无线中图像数据丢失问题,利用基于样本块的方法填充丢失数据,不仅能够提高通信网络的效率,而且可以自动恢复丢失的图像数据,实验显示了该方法的有效性。

关键词:通信网络;基于样本块的方法;UDP协议;Mean-Shift方法

中图分类号:TP311文献标识码:A文章编号:1009-3044(2010)21-5714-02

通信网络为计算机信息的获取、传输、处理、利用和共享提供一个安全可靠的环境和传输通道,但现实中通信网络并非是绝对安全的,传输数据过程中数据包的丢失、泄密和篡改时有发生,且日趋严重。

目前在通信网络中比较常用的两个通信协议是TCP协议和UDP协议。TCP是一种面向连接的协议,采用“三次握手”方式来确保数据的准确接收,其工作机制是首先是建立连接;其次发送端发送数据,接收端接收数据;再次接收端向发送端发送反馈信息,如果发送数据被成功接收,则断开连接,否则必须重传发送失败的数据。而UDP协议是一种无连接的协议,不提供可靠的信息发送机制,因此在数据传输过程当中更容易出现数据包的丢失现象。

TCP协议虽说提供安全的数据传输,但是传输效率不高,因此不适合于实时性较高的应用。UDP协议虽说不提供安全的数据传输,但是其传输效率很高,能实现实时传输,但是容易出现丢失数据包的问题。在实际当中很多实时性很高的珍贵数据是不容有失的,那么如何解决这一问题呢?

在2003年Shantanu D.Rane等提出无线电传输中丢失数据复原的问题,他们结合现有的图像修复技术和纹理合成技术对传输过程中丢失的数据进行填充。在传输过程中,图像被划分为 的块,计算其离散余弦变换,然后量化并进行哈弗曼编码,最后传输图像数据[1]。该文献中对丢失数据填充过程如下:对丢失的块分类,根据周围的块判断丢失块是纹理块还是结构块,如果是纹理块使用纹理合成算法,否则使用结构修复算法。分析发现该方法对于块的分类不够准确,而且丢失数据的填充比较耗时。

本文针对上述缺陷直接使用基于样本块的方法[3]填充UDP协议丢包数据。在目前所有的图像修复方法中,基于样本块的修复方法是非常有效用的一种,它不仅能够填充图像纹理部分,而且能够修复图像简单的结构,对结构的修复主要是受修复的优先权和样本块的大小控制,适合的修复顺序和样本块大小是有利于图像结构的保持。因此本文直接使用基于样本块的方法对丢失的图像数据进行填充,这样不仅能够提高填充的效率,而且能够减轻数据包的丢失造成严重损失。

1 基于样本块的丢失图像数据填充

UDP协议的数据传输过程与无线电数据的传输是相似的,其优点是传输过程中的部分数据丢失不会引起整个图像数据的混乱,这就为数据的恢复提供了一定的可能,否则数据的恢复是非常困难的。在很多文献中提到UDP协议的丢包率与具体网络环境有关,没有一个准确的数值,但是一般来说其平均丢包率总会小于无线电数据的丢包率3.6%[2]。

基于样本块的方法一种非常有效的丢失图像数据的填充方法,它不仅能填充大块的纹理破损,而且能够修复较小的结构破损。UDP协议的丢包率一般来说很小,这也就为图像的结构部分的复原提供了重要的保障。基于样本块的图像修复过程如下:

1) 确定丢失数据包的位置,因为图像数据是经过编码后传输的,因此即使丢包也不会使得整个图像数据混乱,自然其丢失数据的位置容易确定;

2) 寻找破损区域的边缘;

3) 按照优先权计算方法确定当前优先权最高的像素点,优先权P(p)一般为信任度因子C(p)与数据因子D(p)的积。信任度因子和数据因子的计算如式(1)和式(2):

(1)

(2)

信任度因子确保了当前待修复块上有更多的已知像素点来确保找到的最佳匹配块的准确性,而数据因子表示破损区域边界在优先权最高像素点处的法线与该点处等照线的夹角,夹角越大则结构越强,否则结构越弱,结构越强的自然越先修复,这样有利于图像边缘的保持;

4) 根据相似度的度量机制,寻找最佳匹配块;

5) 将最佳匹配块中的数据拷贝到当前待修复块中,注意只拷贝当前块中破损像素点对应的数据;

6) 更新破损区域;

7) 判断破损像素点的个数是否为0,如果为0,则转8),否则返回到2);

8) 修复结束。

基于样本块的修复方法虽说有很好的修复效果,但是也必须注意其修复过程中存在的问题。首先误差的累积问题,这必然导致错误的填充结果。其次是最佳匹配块的选择问题,如何在多个候选最佳匹配块中选出真正最佳的匹配块。

文献[4]提出一种新的方法来解决这误差累积的问题,首先使用Mean-Shift方法[5]对图像进行了粗划分,对最佳匹配块的选择区域作了限制,具体的最佳匹配块的选择原则如下:

1) 如果待修复块属于粗划分Ti,则最佳匹配块仅在Ti中选择;

2) 如果待修复块处于多个划分Ti∪Ti+1∪...∪Ti+k的边缘,则最佳匹配块在Ti∪Ti+1∪...∪Ti+k中选择。

上述方法相当于给匹配块的选择加了一些约束,使选择范围缩小。这样不仅缩短了寻找匹配块的时间,也避免了误差的累积。

另外一个问题就是最佳匹配块唯一的问题。假设目前找到的匹配块为ψp1, ψp2,…ψpk,那么如何在这之中选择一个真正的最佳匹配块。文献[6]提到了一种选取最佳匹配块的方法,认为与当前待修复块的空间距离越近,其相关程度越高。因此,通过计算待修复块的核与匹配块的核之间的空间距离来最终选定哪个块是真正的最佳匹配块。丢失数据的填充流程图如图1所示。

2 实验结果

本文用VC++实现了该算法,通过大量的实验说明了本文算法的有效性。由于传输图像很容易获得,因此本文采用峰值信噪比的方法对恢复结果进行客观评价。峰值信噪比PSNR的计算如下式:

(3)

PSNR值越大,恢复的效果越好,越接近原图;PSNR值越小,恢复效果越差,与原图差异越大。恢复结果如图2、图3、图4所示。

4 结论

本文分析了通信网络中UDP协议的传输机制,发现UDP协议在传输数据时容易发生数据丢包问题,由此使用基于样本块的方法解决恢复丢失数据包的问题。尽管文献[1]的作者提出了无线传输中图像数据的恢复方法,但是该方法比较复杂,而且存在诸多的不稳定性,诸如块的分类等。本文结合基于样本块修复的优点对丢失数据进行恢复,并通过实验进行了验证,确实取得了令人满意的效果。这样不仅很大程度上提高了UDP协议图像数据传输的安全性,也提高了UDP协议的传输效率。

参考文献:

[1] Shantanu D.Rane,Guilloermo Sapiro and Marcelo Bertalmio. Structure and Texture Filling-in of Missing Image Blocks in Wireless Transmission and Compression Applications[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.12,NO.3,MARCH 2003,pp.296-303.

[2] E.Chang. An image coding and reconstruction scheme for mobile computing.In proc.5th IDMS,Oslo,Norway,Sept.1998,pp.137-148.

[3] A.Criminisi,P.Perez and K.Toyama. Region Filling and Object Removal by Exemplar-Based Image Inpainting[J].IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.13,NO.9,SEP 2004.

[4] Feng Tang,Yiting Ying,Jin Wang,and Qunsheng Peng.A Novel Texture Synthesis Based Algorithm for Object Removal in Photographs. MJ Maher (Ed.): ASIAN 2004, LNCS 3321, pp. 248C258, 2004.

[5] Comaniciu D, Meer P.: Mean Shift: A Robust Approach toward Feature Space Analysis[J],IEEE Trans. Pattern Analysis Machine Intell,Vol.24, No.5,603-619,2002.

[6] 卢小宝,王维兰.基于样本块的唐卡图像修复算法的改进[J].计算机应用.2010,30(4):943-946,2010.

注:本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文