利用模式噪声主分量信息的源相机辨识技术

摘 要:针对数码相机源辨识问题,提出一种利用成像传感器模式噪声主要分量(或称大分量)信息进行源设备辨识的新方法。首先围绕模式噪声的抽取和预处理,讨论去噪滤波器和去颜色滤波器阵列(CFA)插值对提高模式噪声质量的影响,然后重点讨论选取传感器模式噪声部分大分量对改善相关性检测器性能的作用。该方法不仅能很好地分离两台相机所拍摄的照片,而且还大幅度减小了检测的计算量。

关键词:数字图像取证;源相机辨识;成像传感器;模式噪声;相关性检测

中图分类号: TP301.6

文献标志码:A

Source camera identification technique using

large components of imaging sensor pattern noise

HU Yongjian1, YU Binghua2, JIAN Chao2

1.School of Electronic and Information Engineering, South China University of Technology, Guangzhou Guangdong 510641, China;

2.College of Automation Science and Engineering, South China University of Technology, Guangzhou Guangdong 510641, China

)

Abstract: A new method for source camera identification was proposed based on using large components of imaging sensor pattern noise. Concerning the extraction and preprocessing of pattern noise, this paper discussed how the denoising filter and the deCFA interpolation operation could improve the quality of pattern noise. Afterwards, focus was made on why and how the use of large components of the sensor pattern noise could improve the performance of the correlationbased detector. The proposed method can not only separate the data obtained from two cameras well, but also greatly decrease the computational load for detection.

Key words: digital image forensics; source camera identification; imaging sensor; pattern noise; correlationbased detection

0 引言

数字图像取证是近年来刚刚兴起的一种鉴定数字图像来源和完整性的新方法,它对成像过程中成像设备在数字图像内所残留的机器印迹(或称模式噪声)进行分析和判断,达到追溯数字图像来源、验证其真伪以及判断图像内容是否遭到窜改的目的。目前,追溯设备来源的途径主要有两条:一是利用设备指纹进行相关性检测[1-5];二是基于图像特征进行模式分类[6-9]。两条途径出发点不同,所适用的应用场合也有一定的差别。本文所提出的方法属于前者。

通常,不同品牌的数码相机使用不同的镜头和成像传感器,并且采用不同的数字信号后处理方法,因此,即使拍摄同一对象,所生成的数字图像不光在风格上有所不同,在图像质量上也存在细微的差异,数字图像取证技术就是根据这些差异来追溯源相机。实际上,由于工艺水平的限制,即使是同一品牌、同一型号相机的成像传感器都存在可以检测出来的差异。Fridrich 等人[1,2]首次提出利用成像传感器(如CCD或CMOS)的模式噪声作为设备指纹(或称内部水印)来识别数码相机。传感器的模式噪声主要由两部分构成:暗电流引起的固定模式噪声(Fixed Pattern Noise,FPN)和光敏材料的光子响应非均匀性(Photon Response NonUniformity,PRNU)引起的模式噪声。FPN是加性噪声,中高档相机通过减去一个暗帧可以消除FPN,所以不宜作为设备水印。但PRNU模式噪声(本文后面直接称为模式噪声)主要由硅半导体晶片的非均匀性和不完美性导致,一般不易消除,故可当做内部水印使用。模式噪声一个重要的性质是其中的高频分量实际上与所拍摄的场景无关,并且在相机的生命期中相对稳定[1]。据此,若将模式噪声看成为一个扩频水印,就可借助水印处理中基于相关性的检测器来作出判断。

在较早的方法中(例如文献[2]),模式噪声通常直接由原始图像减去其低通滤波图像获得,这样做的好处是简单,但所提取的模式噪声信号易受各种其他噪声的干扰,包括场景(或称背景)噪声、CFA插值噪声、JPEG噪声等,尤其是当低通滤波器性能一般时,通常残留有明显的场景噪声,从而降低相关性检测器的分辨率。较新的算法对上述方法进行了改进,在检测前先对所获得的模式噪声作了一些预处理,去除不相干的噪声。例如,为了辨识低分辨率、高JPEG压缩比的图像,Alles等人[4]提出了一种去除DCT块效应的方法。而Fridrich 等人[3]将原始图像减去其低通滤波图像所得到的图像认为是残差图像,之后根据统计信号估计理论,利用最大似然估计器从残差图像中估计出模式噪声。然而,残差图像中场景噪声、CFA插值噪声、JPEG压缩量化噪声以及其他各类噪声的综合影响破坏了利用最大似然估计器所要求的高斯白噪声的假设,导致估计和检测不得不在近似满足高斯白噪声假设的各个分块进行,使得整个算法的计算非常复杂。

针对现有算法的问题,本文提出一种简单高效的相关性检测算法,用于追溯拍摄照片的源相机。首先将原始图像减去其低通滤波图像所获得的残差图像认为是粗糙的模式噪声,对其进行去噪处理,然后再从处理后的模式噪声中选择部分大分量构成用于相关性检测的模式噪声。实验表明,所提出的算法能很好地分辨不同相机所拍摄的照片,且计算量大大减小。

1 算法

1.1 算法流程图

图1给出了普通数码相机的成像管道[9]。类似于文献[2-3],某一颜色分量图像I可近似描述为:

I=(1+K)•O+D+N(1)

其中:O表示理想未受污染的图像;乘性系数K是一个均值为0类似于噪声的信号,它是PRNU的具体表现形式;D表示暗电流所引起的噪声;N表示所有其他噪声的综合影响,包括散粒噪声、读出噪声、量化噪声等。因为暗电流引起的噪声较容易消除,所以式(1)可进一步化简为:オ

I=(1+K)•O+N(2)

в捎诿刻ㄏ嗷的K值不一样,只要从式(2)中估计出K值,然后通过将K与每台相机所对应的参考模式噪声Kf进行相关性比较,就可确定照片是由哪台相机拍摄的。然而,如前所述,N的构成成分复杂,并不能简单地把它看成是高斯白噪声,因此要想从式(2)精确估计出K并不容易。П疚难叵文献[2]的做法,将原始图像减去其低通滤波图像所获得的残差图像认为是粗糙的模式噪声,但它并不直接参加运算,我们先对其进行去噪预处理,从中挑选出部分大的分量构成新的模式噪声,然后再进行相关性计算。本文算法的流程如图2。

图片

图1 数码相机成像管道

图片

图2 算法流程

1.2 模式噪声的求取

由于模式噪声主要是高频信号,通过对图像实施高通滤波可以提取模式噪声。г谑迪质,假设F表示低通去噪滤波器,对原始图像I实施低通滤波后再与I相减,则有[2-3]:

W=I-I′=(1+K)•(O-F(O))+(N-F(N))(3)

其中W表示残差图像。理想情况下,从式(3)中估计K要比从式(2)中估计容易,因为原始图像的内容在W中受到很大地抑制。然而,去噪滤波器F在带来便利的同时也带来一些新问题:第一,去噪滤波器将整形噪声代入参数估计;第二,O-F(O)项说明,如果去噪滤波器不能很好地根据原始图像内容调整参数,则此项的输出仍会将某些场景内容代入到残差图像,即在W中留下背景噪声;第三,由于N的来源复杂,因此,F(N)不能简单地认为是0,即N-F(N)项表明仍有小幅值的高频噪声影响K值的估计。除了以上的原因,还有一个影响参数估计的因素来源于O本身。в捎谄胀ㄏ嗷只有一片CCD或CMOS成像传感器,所以在图像的每个像素点处实际上只能得到红(R)、绿(G)、蓝(B)三种颜色中的一种,ЪO本质上是一个插值图像,这也导致从O中估计K值不可能既贰＊オ

┑1期 ┖永健等:利用模式噪声主分量信息的源相机辨识技术┆

┆扑慊应用 ┑30卷

本文通过下面的分析指出,只要经过合适的去噪预处理,Ъ词共还兰瞥K值而直接将W用于相关性计算也可以得到较好的检测结果。首先讨论如何控制O-F(O)项的影响,此项是图像理想值与它低通滤波版本的差值,所以去噪滤波器F的选取会影响此项的输出。如果F选的合适,O-F(O)项所引入的整形噪声及背景噪声都会很小。反之,则会留下明显的痕迹。本文以高斯滤波器[11]和Chang等人小波域自适应去噪滤波器[10]的效果作比较。本文高斯滤波器的滑动窗大小选为5×5,方差为0.6。图3(b)显示了使用高斯滤波器所得到的残差图像,可以看到有明显的图像内容痕迹,甚至可以辨别出纹理、边缘和平坦区域。尽管改变高斯滤波器参数可能会减小误差,但同时也将减弱滤波的效果。与之形成对比的是使用文献[10]的去噪滤波器所得到的残差图像,┩3(c)没有明显的场景痕迹,得到这种好效果的主要原因是Chang等人采用的是一种基于上下文的自适应去噪方法,这使得滤波器对图像内容具有很好的适应性。

图片

图3 比较不同去噪滤波器的效果

为了进一步改善O-F(O)项的输出,我们考虑去/消除CFA插值噪声的影响。由于相机的颜色滤波器阵列按一种周期性的结构排列,经过插值后的图像在其行向和列向的均值上呈现出周期性。此外,成像传感器和数字信号后处理电路通常以行和列为单位进行处理,这也给每行和每列带来偏差。本文借用文献[3]的策略来消除周期性噪声的影响,具体做法为:将行向的均值减去行向上的每个像素值,然后再将列向的均值减去列向上的每个像素值。Ь过这样的处理,W在行向和列向上的均值都为0。Э梢韵胂,原来通过CFA插值所得到的像素值此时会很小,从而有效地抑制了CFA插值噪声对K值估计的影响。オ

Т邮(3)估计K值过程中最难处理的是N-F(N)项。如前所述,噪声N的来源很复杂,б虼撕苣岩览德瞬ㄆ鞒沟茁顺。通过比较(1+K)•(O-F(O))Ш酮N-F(N)这两项幅值的大小来分析此项对K值估计的影响,Ь荽烁出解决方案。对于图像上的某一像点,如果后者的幅值和前者的处在同一个数量级,г虼W估计K值时必须考虑后者的影响。然而,当后者的幅值远小于前者时,有W≈(1+K)•(O-F(O)),此时估计K值时完全可以忽略后者的影响。由于噪声通常很微弱,而W和(1+K)•(O-F(O))在幅值上成正比,选择大的W等价于选择大的(1+K)•(O-F(O)),这就可以较准确地获得受噪声影响小的K值。这个分析说明了在检测时可利用W中大的分量来代替K直接进行相关性检测。Ю砺凵,用大的分量进行相关性计算可使检测器对不相干的噪声具有更强的鲁棒性,这个思想在源设备辨识中极有意义,因为设备噪声通常来源复杂,且难以彻底清除。另一方面,在执行去CFA插值操作后,原CFA插值处的像素值会变得很小,е谎∮W中大的分量就可能把这些点排除在外,Т佣把CFA插值所带来的周期性噪声的影响降到最低。除了以上的优点,还有一个优点体现在计算量方面。由于大的分量个数通常只占检测图像总像素的一小部分,д庖馕蹲疟疚乃惴ǖ募扑懔恳仓挥性来使用W全体元素算法计算量的若干分之一。г诘2章的实验中会看到,本文算法的计算量通常只有原来的1/20笥摇＊

ё凵,本文提出利用W中大的分量来代替K进行相关性检测。а窈玫娜ピ肼瞬ㄆ鞑⑷CFA插值会改善O-F(O)项的输出,降低不相干噪声的干扰,从而使得本文的检测方法更加合理。下面以计算某台相机的参考模式噪声为例,介绍本文模式噪声的求取。设参考模式噪声为ИW~f,参考图像集的大小为n,具体步骤如下:オ

步骤1 选择一个图像内容自适应的去噪滤波器,对每幅图像Ij, j=1,2,…,n执行去噪运算。オ

步骤2 从每幅图像减去其相应的去噪图像,得到残差图像Wj。

步骤3 利用去CFA插值消除每幅残差图像Wjе行邢蚝土邢蛏喜逯迪袼氐挠跋臁

步骤4 Ыn幅残差图像W1,W2,…,WnЫ行叠加,然后求平均,得到均值图像Wf。

步骤5 按幅值的大小对Wf中的元素进行排序,选取前面m个大的元素(即分量),同时屏蔽剩余的元素,构成本文用于相关性检测的参考模式噪声ИW~f,然后记录这m个元素在Wfе械奈恢,供检测时使用。

仿上,在执行检测时,可从测试图像中计算出用于测试的模式噪声ИW~,Т耸钡氖淙胪枷裰挥1幅,在执行了步骤1~3后,跳过第4步,执行步骤5,Ю用求参考模式噪声时所得到

的前m个元素的位置信息,从W中选定m个元素以构造W~。オ

1.3 相关性检测

判别测试图像是否由某台相机拍摄可通过比较从测试图像中所抽取的模式噪声和该台相机所对应的参考模式噪声之间的相关性,相关系数的计算如下[2]:

corr(W~,W~f)=(W~-┆┆W~-)•(W~f-┆┆W~-f)W~-┆┆W~-W~f-┆┆W~-f (4)

这里X•Y=∑mi=1X[i]Y[i],ФАX=X•X。上方带有“-”的符号表示是均值。

2 实验与讨论

本文算法对多种相机进行了实验,这里仅给出Canon A620与Nikon L3相机的实验结果,它们的主要技术参数见表1。两种相机各拍摄了300幅照片,分别以其中的150幅照片为参考图像集,求取两种相机各自的参考模式噪声,而各自剩余的150幅用作测试图像集。我们选取R、G、B通道中绿色分量图像进行计算,为了减少计算量,每次截取照片左上角1B024×1B024大小的图像块。选取更大的图像块会得到更精确的检测结果,但也需要更大的计算量。选取其他颜色分量(例如R或B)图像不会影响最终的判别结果。

表格(有表名)

表1 所用相机的型号及其主要参数

相机型号传感器最大分辨率图片格式

Canon PowerShot A6201/1.8inch CCD3B072×2B304JPEG

Nikon CoolPix L31/2.5inch CCD2B592×1B944JPEG

下面从去噪滤波器的选择、模式噪声元素个数的选取以及去CFA插值的作用等三个方面来评估本文算法的性能。首先在不考虑去CFA插值的情况下用图4、图5和表2来讨论前两个问题。图4的结果由高斯滤波器得到,而图5和表2的结果由文献[10]的滤波器得到。图4、图5和表2展示了mв胂喙叵凳的均值和标准差之间的关系,同时还展示了两类不同相关系数的均值之间的距离,即均值差。由式(4)所得到的相关系数近似服从广义高斯分布,所以两台相机的检测可看成是一个二值假设检验问题[2-3]。两个均值相距越远,两类数据越容易区分。标准差描述两类数据在各自均值附近的散布程度,标准差值越小,散布程度越小,数据的分布越集中在均值附近。反映到二值假设检验上则表明虚警概率和漏检概率小。

下面从去噪滤波器的选择、模式噪声元素个数的选取以及去CFA插值的作用等三个方面来评估本文算法的性能。首先在不考虑去CFA插值的情况下用图4、图5和表2来讨论前两个问题。图4和图5的参考模式噪声均对应于Canon A620,其中图4的结果由文献[11]的高斯滤波器得到,而图5和表2的结果由文献[10]的滤波器得到。图4、图5和表2展示了mв胂喙叵凳的均值和标准差之间的关系,同时还展示了两类不同相关系数的均值之间的距离,即均值差。由式(4)所得到的相关系数近似服从广义高斯分布,所以两台相机的检测可看成是一个二值假设检验问题[2-3]。两个均值相距越远,两类数据越容易区分。标准差描述两类数据在各自均值附近的散布程度,标准差值越小,散布程度越小,数据的分布越集中在均值附近。反映到二值假设检验上则表明虚警概率和漏检概率小。图4和图5给出了均值和方差随m变化的曲线。

图片

图4 相关系数均值和标准差随m变化曲线(文献[11]的滤波器)

比较两图可以发现,两种滤波器所得到的标准差大小很接近,但利用文献[10]的去噪滤波器所得到均值差更大,这意味着两类数据的分布中心相距更远,因此,更容易区分。很明显,选用文献[10]这类滤波器将使检测器的性能更好,这和本文1.2节的理论分析吻合。

图4 参考模式噪声对应于Canon A620时,相关系数均值和标准差随m变化的曲线。Ю用高斯滤波器得到。图5 参考模式噪声对应于Canon A620时,相关系数均值和标准差随m变化的曲线。Ю用文献[10]的去噪滤波器得到。

图片

图5 相关系数均值和标准差随m变化曲线(文献[10]的滤波器)

П2给出了在4个不同m下相关系数的均值、标准差以及均值差更精确的值。对于1B024×1B024大小的图像块,总的像素点数约为1百万,在取总点数的1%,5%,10%和100%时,m分别约为1万、5万、10万和1百万个像素点。П2显示,当模式噪声的全体元素都用于检测时,均值差最小;而当取1万个点时,均值差最大。

这说明选取部分大的模式噪声元素比选用全体模式噪声元素能更好地分离两类数据。Р还随着m的增加,标准差在逐渐变小,д馑得魇褂媒隙嗟脑素有利于降低检测误差。考虑到既要增大两均值之间的距离,又要降低检测误差,本文认为取总元素个数的5%左右较为合理。可以看到,Т耸钡m不仅使得两类数据更容易分离,Ф且还大大减小了计算量。值得指出的是,文献[2]中的方法是本文算法的一个特例,当百分比为100%时,本文算法蜕化为文献[2]中的方法。

下面讨论去CFA插值对改善本文算法的作用。图6和图7均通过文献[10]的去噪滤波器得到。图6参考模式噪声对应于Canon A620时,对Canon A620与Nikon L3检测的结果,从(a)到(c)分别为使用全体元素、使用模式噪声5%的元素,以及使用模式噪声5%的元素并进行去CFA插值处理;图7参考模式噪声对应于Nikon L3时,对Canon A620与Nikon L3检测的结果,从(a)到(c)分别为使用全体元素、使用模式噪声5%的元素,以及使用模式噪声5%的元素并进行去CFA插值处理。

表格(有表名)

表2 参考模式噪声对应于Canon A620时,Р煌m下的相关系数均值、标准差以及均值差

相机

型号性能指标元素个数m=1%总点数m=5%总点数m=10%总点数m=100%总点数

A620

均值0.288B760.230B040.201B890.098B48

标准差0.054B860.046B160.042B190.022B86

Nikon L3

均值0.027B780.022B620.020B140.010B02

标准差0.013B850.008B490.007B300.003B24

均值差0.260B980.207B420.181B750.088B46

图6(a)显示两类数据的均值比较接近,但标准差比较小;图6(b)显示此时两类数据的均值比图6(a)中的要相距开一些,但两类数据以各自均值为中心的散布程度(即标准差)比图6(a)中的要大;图6(c)的结果是在去CFA插值后得到的,它改进了图6(b)的结果,在保持良好的均值差的同时使标准差减小,可以看到,当测试图像由Nikon L3所获得时,相关系数围绕0散布的程度比图6(b)的小。

图7进一步展示去CFA插值的作用。图7(a)显示,即使使用了全体的模式噪声元素,两类数据的均值也相距较近,并且数据的散布程度较大,这意味着两类数据不易分离;图7(b)显示,使用部分大的模式噪声元素后,均值差增大了,但由于标准差也大,所以两类数据还是不易分离;图7(c)显示了去CFA插值的效果,此时,不仅两类数据的均值被拉开距离,而且两类数据的分布也收紧于各自的均值,即标准差小。

图6参考模式噪声对应于Canon A620时,对Canon A620与Nikon L3检测的结果。从(a)到(c)分别为使用全体元素、使用模式噪声5%的元素,以及使用模式噪声5%的元素并进行去CFA插值处理。

图7 参考模式噪声对应于Nikon L3时,对Canon A620与Nikon L3检测的结果。从(a)到(c)分别为使用全体元素、使用模式噪声5%的元素,以及使用模式噪声5%的元素并进行去CFA插值处理。

图片

图6 参考模式噪声对应于Canon A620时,对Canon A620与Nikon L3检测的结果

图6和图7清楚地表明,本文算法配合去CFA插值操作可以较大地提高检测器性能。本质上,模式噪声中大分量代表模式噪声的特征,使用它们可以减少不相干噪声对检测器的影响,提高抗噪能力以及数据的分辨能力。执行去CFA插值操作后,原来由插值方式获得的像素的值变小,在本文的分量选择准则下大多被屏蔽,因而对检测器的影响被大大抑屏恕＊

除了以上优点,本文算法还具有计算效率高的特点。в捎m的选取与计算量成正比,У比∧J皆肷5%的元素个数时,计算量大约只有使用全体元素检测时所需计算量的5%。

图片

图7 参考模式噪声对应于Nikon L3时,对Canon A620与Nikon L3检测的结果

3 结语

目前国内有关数字图像取证的工作主要集中在图像的窜改识别和真实性鉴定方面,尽管国外有关相机源辨识的工作已取得不少初步成果,但这方面的工作在国内公开文献中鲜有报道。本文提出了一种利用模式噪声主分量信息对数码照片进行来源辨识的新方法,其主要贡献有两点:第一,仅挑选成像传感器模式噪声中部分大的元素用于相关性检测,使检测器获取更好的数据分辨能力,同时减小计算量;第二,利用图像内容自适应的去噪滤波器以及去CFA插值处理进一步提高检测器的性能。实验结果表明,与文献[2]中同类算法相比,本文算法明显地提高了相关性检测器的数据分辨能力,并大大减小了计算量。

参考文献:[1] LUKáS J, FRIDRICH J, GOLJAN M. Digital “bullet scratches” for images[C]// Proceedings of IEEE International Conference on Image Processing. Genoa, Italy: IEEE, 2005: 65-68.

[2] LUKáS J, FRIDRICH J, GOLJAN M. Digital camera identification from sensor pattern noise[J]. IEEE Transactions on Information Forensics and Security, 2006, 1(2): 205-214.

[3] CHEN M, FRIDRICH J, GOLJAN M, et al. Determining image origin and integrity using sensor noise[J]. IEEE Transactions on Information Forensics and Security, 2008, 3(1): 74-90.

[4] ALLES E J, GERADTS Z J M H, VEENMAN C J. Source camera identification for low resolution heavily compressed images[C]// Proceedings of IEEE International Conference on Computational Sciences and its Applications. Perugia, Italy: IEEE, 2008: 557-567.

[5] KHARRAZI M, SENCAR H T, MEMON N. Blind source camera identification[C]// Proceedings of IEEE International Conference on Image Processing. New York: IEEE, 2004: 709-712.

[6] CELIKTUTAN O, SANKUR B, AVCIBAS I. Blind identification of source cellphone model[J]. IEEE Transactions on Information Forensics and Security, 2008, 3(3): 553-566.

[7] KHANNA N, CHIU G, ALLEBACH J P, et al. Forensic techniques for classifying scanner, computer generated and digital images[C]// Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing. Las Vegas: IEEE, 2008: 1653-1656.

[8] GOU H, SWAMINATHAN A, WU M. Robust scanner identification based on noise features[EB/OL].[2009-04-20]. www.ece.umd.edu/~ashwins/pdf/SPIE07b.pdf.

[9] SWAMINATHAN A, WU M, LIU K J R. Digital image forensics via intrinsic fingerprints[J]. IEEE Transactions Information Forensics and Security, 2008, 3(1): 101-117.

[10] CHANG S G, YU B, VETTERLI M. Spatially adaptive wavelet thresholding with context modeling for image denoising[J] . IEEE Transactions on Imaging Processing, 2000, 9(9): 1522-1531.

[11] GONZALEZ R C, WOODS R E, EDDINS S L.数字图像处理:Matlab版[M]. 阮秋琦,译.北京:电子工业出版社, 2005.