改进的基于样本块的图像修补方法

摘 要 图像修复的主要目的是改善有缺损的图像，并使观察者无法察觉出修补痕迹。Criminisi提出的基于样本块的图像修补方法，对于优先级的定义没有考虑到置信度的值很容易衰减这个问题，本文提出一种改进的基于样本块的图像修复方法，在计算优先权方面增加多个已知像素的梯度信息，并加入调节因子防止衰减。另外，在搜索最佳匹配块时增加了块效应去除。实验结果表明，本文方法比Criminisi算法效果更好。

【关键词】图像修复 优先级 块效应去除 峰值信噪比

1 引言

对破损的古老艺术品和绘画作品进行修复是图像修复技术最早的应用，而这种技术第一次是被Berlalmio等人应用到图像处理领域中，多用于对破损图像的修补，对目标物进行移除等等。随后，Chen和Shen提出一种TV模型，之后Criminisi等人又提出了一种基于样本区域进行破损图像修补的新算法。图像修复技术发展到今天大致被分为3大类：

（1）基于偏微分方程（PDE）的图像修复算法。这类算法主要用于受损区域较小的图像修复，虽然能保持图像的结构信息，但是不适合受损区域较大的图像。

（2）基于纹理合成技术的图像修复算法。将图像的纹理信息复制到待填充的区域内用于大面积破损区域的修复，但对于纹理较复杂或者结构信息比较多的图像效果也不是很好。

（3）基于分开处理的图像修复算法技术。用先分解再修复的方法，即将图像中的破损区域分为纹理和结构这两个块，之后再用各自不同的算法进行修复。此种算法效果虽然不错，但却增加了修复所用的时间。其中Criminisi等人提出的算法更容易实现，实验速度较快，处理结果较好等优点，但是这种方法也有其缺点：

（1）优先级的定义没有考虑到C（p）（置信度）值的问题，因为C（p）易衰减，进而使优先权的值会随之极迅速衰减。

（2）对于待修补区域的填充并没有考虑已知与填充的区域之间的过度问题，如果直接拷贝最佳匹配块信息，填充后常常会出现块效应。

本文对这两个方面做出了改进，实验结果表明，改进的算法取得到了良好的效果。

2 算法描述

2.1 Criminisi算法

如图1所示，I为整幅图像；Ω为待修复的区域，δΩ代表其轮廓；φ为图像中未破损的区域，即已知信息的部分；φ=I-Ω。

（1）计算出图像中φ所具有最高优先权的像素块。设点p∈δΩ，则定义点P优先权为：

P（p）=C（p）D（p） （1）

其中，C（p）为置信度，D（p）为数据项，定义如下：

C（p）= （2）

式（1）中D（p）定义为：

D（p）= （3）

其中，α为归一化系数。

（2）合成匹配的SSD标准，搜索最佳匹配块φq，填充φp。

ssd（ψp，ψq）= Σ（p-q），p∈ψp，q∈ψq （4）

（3）完成填充后，按（5）更新图像的置信项。当目标块修补完成后，更新已修复完的点P的C（p）：

C（p）=C（） p∈ψp Ω （5）

重复上述三个步骤，直至图像中破损区域被全部修复完成。

2.2 优先级的改进

对优先级的计算方法的改进，如图2所示，块φp优先级为

P（p）=a*C（p）D（p）+b*V（p） （6）

公式中的C（p） 意义不变，仍为置信度项。D（p）仍为数据项。新增加的 V（p） 代表梯度信息。a，b是调节因子（均属于0-1之间）且a+b=1。a和b用于控制各项为优先权作贡献的比重，在不同的情况下控制a和b两者的大小会有不同的效果。例如，当纹理简单，图像平滑时，增大a，减小b；相反，纹理、边缘信息较为复杂时，减少a，增大b。因此，为使修复更接近完美，不同的图像，应对应不同的权系数。

2.3 块效应去除

为达到更好的修复效果，搜索最佳匹配块填充到待修复块后应进行块效应去除。找到最优匹配块φp，要用φp中的相应像素来填充未知像素。φp虽然和φp之间的欧几里得距离在其搜索方向上是最小的，但是，因为用任何距离的函数都很难判断图像的相似性，所以在边界处易引起块效应。本文用一种平滑方法来降低块效应，将边界点左、右两边的领域点的平均值作为该边界点的值。

2.4 改进后的算法

步骤1 确定图像的待修补区域并标记；

步骤2 检测待修补区域轮廓δΩ，若δΩ=φ则修补结束，输出修补结果。否则进行下一步；

步骤3 由式（2）、（3）、（6）计算出以δΩ上的点为中心点的每个目标块的优先权，并确定优先权最高的点。确定最佳匹配块（以此点为中心的块）；

步骤4 将已知区域内的最佳匹配块中相应的像素值复制到目标块的未知像素中，并对边界处进行块效应去除；

步骤5 利用式（5）更新置信度项C（p），返回步骤2。

3 实验结果分析

本文以 Matlab7.11（R2010b）为平台进行仿真实验，并做比较分析。所用的微机环境是主频1.70GHz，4GB内存。

实验一：（a）是原图，大小为308*206像素，（b）是标记了待移除目标图像，（c）是用Criminisi算法修复结果，修补时目标块的大小选为 9*9，，（d）是用本文改善后的算法修复的结果，是本文改进算法，增加多个已知像素的梯度信息，并且用加法代替乘法，a=0.88，b=0.12时的修复结果。由（c），（d）图两者比较可知，在两幅图中虽然目标物都被完全移除但效果却并不相同。在（c）中，屋檐下虽然有被修复但却将部分草地修复到屋顶，并肉眼可以清晰捕捉，效果并不理想；同时对比后可以清晰看出（c）中草地明显延伸到水面上来，而（d）图对这两点的处理的更好，更符合真实情况。见图3。

实验二：同实验一，（a）是原图，大小为433*367像素，（b）是标记了待移除目标图像，（c）是用Criminisi算法修复结果，修补时目标块的大小选为 9*9，（d）是用本文改善后的算法修复的结果。比较（c） （d）可以明显看出：画中人物左上角头发明显（d）比（c）更接近原图像，更符合人类视觉系统。见图4。

综上，本文提出的改进算法与原算法相比效果更好。不仅在视觉上有显著变化更符合实际情况，在PNSR值方面也有改善。根据峰值信噪比很容易看出，本文的方法很好的改善了修补效果。如表1所示。

4 结论

本文的算法是对Criminisi算法的一种改进，从算法优先级着手，打破常规，针对原有算法C（p）（置信度）的值很容易衰减，在计算优先权方面增加多个已知像素的梯度信息，将相乘变成相加运算，加入调节因子，另外，增加最佳匹配块的限制条件进行块效应的去除来提高修补的效果，使修复的图像更加自然，更符合人眼的视觉系统。大量的实验后表明，运用本文算法修复后的图像结果优于原算法的修复结果。（通信作者：刘雅楠）

参考文献

[1]Bertalmio M，Sapiro G，CasellesV，et al.Image inpainting[C]//Proc.ACM p.Graphics（SIGGRAPH）， NewOrleans，LA.July 2000：417-424.

[2]Chan T F，Kang S H，Shen J H.Euler’s elastica and curvature based inpainting[J].SLAM Journal of Appl.2002，63（2）：564-592.

[3]Chan T.F Shen J H.Non-texture inpainting by curvature-driven diffusions （CDD） [J].Jounmal of Visual Communication and Image Representation，2001，12（4）：436-449

[4]李亮，郭树旭，陈国法.基于偏微分方程的图像修复算法[J].吉林大学学报（信息科学版）2012，30（1）：72-77.

[5]汪忠庆，檀结庆，何蕾.方向性纹理图像修复算法[J].计算机工程与应用 2006，42（34）：29-32.

[6]张显全，高志卉.一种块匹配的图像修复算法[J].光电子-激光，2012，23（4）：805-811.

作者简介

邢梦雪（1995-），女，现为齐齐哈尔医学院医学技术学院本科学生。主要研究方向为数字图像处理。

刘雅楠（1987-），女，通讯作者，硕士学位。现为齐齐哈尔医学院医学技术学院助教。主要研究方向为数字图像处理。

李靖宇（1976-），男，硕士学位。现为齐齐哈尔医学院医学技术学院副教授。主要研究方向为数字图像处理。

作者单位

齐齐哈尔医学院医学技术学院 黑龙江省齐齐哈尔市 161006