路東生，張玉金，朱 海，姜月武

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620)

數(shù)字圖像是信息交流的重要媒介之一，新聞刊物上的圖片、公共場所的監(jiān)控記錄、政治領(lǐng)域的外交影像等均發(fā)揮著重要的作用。隨著數(shù)字圖像編輯軟件日趨智能化，即便是普通用戶也能輕松地對數(shù)字圖像進行篡改而不留下明顯的可視痕跡。復(fù)制-粘貼[1-4]和拼接[5-8]是圖像篡改中的普遍手段，圖片復(fù)制-粘貼是在同一張圖片中進行的操作，即復(fù)制圖片中的局部區(qū)域并粘貼在同一圖片的另一個區(qū)域，從而形成偽造圖片。此類篡改手段多用于隱藏物體或增加物體數(shù)量等。拼接篡改是把來自兩張或多張圖片中不同的局部區(qū)域進行拼接以形成偽造圖片。本文主要針對圖片拼接篡改檢測進行研究。

如前所述，拼接圖像由不同的源圖像構(gòu)成。在對圖片進行拼接時，通常會引入源圖像的一些固有特征[9-11]，例如光電響應(yīng)[12-13]、噪聲特性和光照等。文獻[14]計算每個局部圖像塊的二階和四階矩來估計噪聲方差，以噪聲的一致性作為定位篡改區(qū)域的依據(jù)。該方法中，將獲取的原始信號和噪聲峰度值作為噪聲估計的基礎(chǔ)。但是在實際應(yīng)用中，噪聲峰度值的獲取較為困難。文獻[15]所提方法的重點則是建立連通區(qū)域內(nèi)自然圖像峰度信息和噪聲特征之間的關(guān)系。此方法同樣需要獲取原始信號峰度。文獻[16]利用小波變換估計圖像塊的噪聲水平，通過設(shè)定閾值不斷融合領(lǐng)域圖像塊，最終實現(xiàn)對篡改區(qū)域的定位。文獻[17]利用帶通濾波器下的峰值濃度與噪聲水平的關(guān)系來判斷偽造圖像。該方法首先估計每個局部窗口的噪聲值，并對其進行K-means聚類，最終確定拼接區(qū)域。但是當拼接區(qū)域和原始圖像噪聲差異較小時，該方法的檢測結(jié)果并不理想。文獻[18]利用主成分分析(Principal Component Analysis，PCA)估算每個圖像塊協(xié)方差矩陣的最小特征值，并將其作為圖像塊的噪聲水平，提高了判斷準確率。文獻[19]在文獻[18]的基礎(chǔ)上對較大圖像塊的噪聲水平進行估計，從而檢測可疑圖像塊。該研究將較大的圖像塊繼續(xù)分割為較小的圖形塊，并再次進行噪聲水平估計，有效地定位了拼接區(qū)域。文獻[20]使用基于統(tǒng)計的噪聲估計方法來計算每個圖像塊的噪聲值并進行聚類。該研究使用由粗到細的策略進行篡改區(qū)域定位，當背景區(qū)域與拼接區(qū)域噪聲值差異較小時，篡改區(qū)域定位精度仍可保持較高的水平。文獻[21]探索了噪聲水平函數(shù)(Noise Level Function，NLF)與相機響應(yīng)函數(shù)(Camera Response Function，CRF)之間的關(guān)系，并擬合了CRF約束下的NLF曲線。該研究通過建立貝葉斯最大后驗概率框架對NLF估計性能進行了優(yōu)化，并利用顯著性來區(qū)分圖片區(qū)域。當區(qū)域的標準差大于所設(shè)置的閾值時，該區(qū)域?qū)⒈徽J為是拼接區(qū)域。

綜上所述，基于圖像塊噪聲水平估計的圖像篡改檢測算法需要對圖像塊的尺寸進行權(quán)衡[19]，較大的圖像塊可以獲得更好的噪聲水平估計性能，而較小的圖像塊則有利于改善定位精度。因此，合適尺寸的圖像塊是對噪聲估計精度與篡改定位精度進行平衡的重要因素。另一方面，當圖像塊尺寸確定時，準確地定位篡改區(qū)域(尤其是篡改區(qū)域的邊緣)對基于圖像塊噪聲水平估計的圖像篡改檢測算法也是至關(guān)重要的。本文基于早期研究基礎(chǔ)，結(jié)合拼接圖像的紋理信息，提出幾何約束下噪聲一致性的圖像拼接篡改檢測方法。該方法不僅能夠有效地定位篡改區(qū)域及其邊緣，還對常規(guī)圖像的后處理操作具有較好的魯棒性。

1 圖像篡改定位方法

1.1 算法框架

對于待檢測圖片，首先將其進行分塊(分塊區(qū)域彼此互不重疊)，并評估每個局部圖像塊的噪聲水平。然后，使用K-means算法將圖像塊聚類為篡改塊與非篡改塊，形成初步的檢測結(jié)果并提取其邊緣(本文稱為篡改塊邊緣圖)。組成篡改塊邊緣圖邊緣的點被稱為點集合A，以點集合A中非邊界點為中心，設(shè)置邊長為R/2的方形區(qū)域，并在邊緣圖上搜索確定拼接區(qū)域的邊緣痕跡以組成點集合B。由于點集合B含有大量異常點，故需使用幾何約束篩選算法選擇正確的點集合并進行連接。最終，確定篡改區(qū)域。本文算法的框架圖如圖1所示。

圖1 算法框架圖

1.2 基于統(tǒng)計的噪聲水平估計算法

若將具有不同噪聲水平的兩張圖像拼接為一幅圖像，則拼接區(qū)域和背景區(qū)域?qū)⒕哂胁煌肼曀?。在?shù)字圖像產(chǎn)生的過程中，相機傳感器和后處理操作均會引入固有的噪聲信息。依據(jù)統(tǒng)計特性將噪聲分為周期噪聲和隨機噪聲，前者一般來源于圖像采集系統(tǒng)中電氣和電機引起的干擾，在空間域和頻域呈現(xiàn)周期性特點。對周期噪聲參數(shù)，可采用傅里葉譜進行估計，即當僅有通過傳感器的圖像可用時，利用恒定灰度值的部分估計概率分布函數(shù)的參數(shù)。然而在圖像拼接過程中，一方面篡改區(qū)域會出現(xiàn)“平坦”的區(qū)域；另一方面，幾何變換、模糊和JPEG壓縮等操作均會破壞周期噪聲的分布特性，因此本文主要考慮將隨機噪聲的不一致性作為拼接的線索，隨機噪聲可以通過對圖像加性或乘性操作進行模擬。

xt=Ayt+et

(1)

為了精確地定位拼接區(qū)域，本文采用由粗到細的兩階段策略[20]。首先將待檢測圖像分為固定大小的圖像塊，其維度為2R×2R×3，利用算法1估計圖像塊噪聲水平，并使用K-means算法對圖像塊噪聲水平值進行聚類，將待檢測圖像分為可疑圖像塊和非可疑圖像塊。其中，K-means算法的初值設(shè)置如下：首先基于兩分類將K設(shè)置為2，將估計后的噪聲值序列按照從小到大排序。為了在提升聚類效率的同時避免異常點的干擾，將初始值的設(shè)置規(guī)則設(shè)定為：取序列的前1/4長度的數(shù)值并取均值作為其中初始值，另外一個初始值被設(shè)置為序列后1/4長度的數(shù)值的均值；其次將圖像塊分割為維度為R×R×3的較小的圖像塊，采用算法1的噪聲估計方法來估計每個圖像塊的噪聲水平；最后，向非邊緣圖像塊和邊緣圖像塊賦予不同比例的兩階段噪聲估計值，并確定圖像塊噪聲水平值。

算法1 圖像噪聲水平估計輸入: Observed Image I∈RM×N×c,Patch Size d。1. Generating dataset Xs={xt}Rt=1,which contains s=(M-d+1)(N-d+1)patches with size r=cd2 from the image I。2. u=1/s∑st=1 xt and ∑x=1/s(xt-u)(xt-u)T3. Calculating the eigenvalues {λi}ri=1of the covariance matrix ∑x and order λ1≥λ2≥…λr.4. for i=1∶r do5. г=1/(r-i+1)∑vj=iλj6. if τ is the median of set {λj}rj=1 then7. σ=√τ and break8. end if 9. end for 10. 輸出: noise level estimation σ。

基于統(tǒng)計的噪聲水平估計方法是目前比較出色的算法之一，它對圖像紋理的敏感度低，在速度與精度方面具有良好的性能表現(xiàn)，故本文以此作為圖像特征提取方法。

1.3 幾何約束篩選算法

1.3.1 數(shù)據(jù)預(yù)處理

在待檢測圖像上使用基于統(tǒng)計的噪聲估計和K-means聚類算法，形成初步的篡改檢測結(jié)果。由于上述噪聲水平估計算法以塊為單位，故其定位出的篡改區(qū)域會形成鋸齒狀邊緣，如圖2(c)和圖2(g)所示，拼接區(qū)域的邊緣無法被精準定位。本文對初步結(jié)果圖進行形態(tài)學(xué)操作，得到篡改塊邊緣圖，如圖2(d)和圖2(h)第4列所示。在組成篡改塊邊緣圖中的點為集合A，將點集合A中位于圖像邊界的點歸為點集合A1，其余點歸為點集合A2。

圖2 初步檢測效果圖

1.3.2 異常點篩選算法

若待檢測圖像的尺寸為L×w，初步檢測結(jié)果圖中的方形局部圖像塊的邊長為R。從圖3中可以看出，雖然初步檢測結(jié)果圖形成的邊緣能夠?qū)φ鎸嵠唇訁^(qū)域邊緣進行刻畫，但其與真實的拼接區(qū)域邊緣仍然存在一定的差距。針對該問題，本文給出了一種有效的拼接區(qū)域邊緣搜索算法：(1)利用Canny算法獲取待檢測圖像的邊緣，邊緣圖能夠精確地刻畫紋理邊緣(包含拼接區(qū)域邊緣)；(2)以點集合A2中每個點為中心，依次在邊緣圖上搜索邊長為R/2的方形區(qū)域中歐式距離最近的非零點，并對該點進行標記，形成點集合B，其能準確地定位拼接區(qū)域邊緣。圖3為邊緣圖與搜索示意圖。

圖3 邊緣圖與搜索示意圖

由于拼接區(qū)域內(nèi)部與背景區(qū)域的紋理都會在邊緣圖凸顯，是主要的異常點來源之一，基于圖像塊的噪聲估計算法難以區(qū)分同時包含拼接區(qū)域和背景區(qū)域的局部塊，造成局部塊的漏檢與錯檢，也會導(dǎo)致點集合B存在大量異常點，因此需對點集合B進行篩選，篩選算法如下：

(1)對點集合B進行逆時針排序，利用B集合中每個點與其中心點的反正切值，將散亂無序的點集合B排序，研究其局部特征與整體特征；

(2)基于篡改區(qū)域的不規(guī)則性與邊緣的連續(xù)性，依次選取局部連續(xù)的5個點的絕對距離與相對距離的離散性作為約束條件

(2)

式中，{LBi|，i=1，…}為點集合B到點cen(點集合B的中心點)的歐式距離

var5(i)

(3)

式中，var5(i)是LBi中連續(xù)5個點的方差；mean_var是整體LBi的方差，q為常數(shù)

|mean5(j)-uplen|

(4)

式中，q1為常數(shù)；uplen是上一個符合式(2)～式(4)的點距cen的距離；mean5(j)為連續(xù)5個點距cen的平均距離；

(3)將邊界點集合A1與上述條件篩選后的點集合{BBk|k=1，…}合并，結(jié)合Alpha-Shape[23]算法將點集合整理為點集合{Cs|s=1，…}并連接形成最終的拼接區(qū)域。

算法2 點集合篩選算法輸入: Points Set{BBk|k=1,…} Patch Size R, Constant q1,q。1. Calculating the center of {Bi|i=1,…} is cen=mean{Bi}2. angle=artan(dy/dx), dx,dy are difference between ordinate and abscissa of points Bi and cen, order B1≥B2≥…3. LBi =|cen-Bi|2, meanvar=var(LBi), i=1,… mean5(j)=mean(sum(LBi,LBi+1, LBi+2 ,LBi+3 ,LBi+4))4. var5(i)=var(LBi,LBi+1, LBi+2 ,LBi+3 ,LBi+4)5. for p=1:length(Bi)-46. if |LBp-LBp+1|>R/2 || var5(q)>q×mean_var7. continue8. end if 9. if |mean5(p)-uplen|

2 結(jié)果與分析

2.1 實驗設(shè)置

本文的實驗環(huán)境為裝有Windows10系統(tǒng)的臺式電腦和MATLAB 2018仿真軟件。本文使用哥倫比亞大學(xué)未壓縮彩色圖像庫DVMM[24]進行測試實驗，所使用的數(shù)據(jù)集中含有拼接圖像和真實圖像共363幅，其中183幅是來自不同數(shù)碼相機拍攝的真實圖像，另外180幅為拼接而成的圖像，圖像格式均為TIFF格式，尺寸大小范圍757～568像素至1152～768像素，這些圖像主要在室內(nèi)拍攝而成，場景包含走廊、辦公桌、人物、盆栽植物等。

為評估本文方法的有效性，使用正確檢測率(True Positive Rate，TPR)和錯誤檢測率(False Positive Rate，F(xiàn)PR)進行評估，計算式為

(5)

(6)

式中，F(xiàn)N表示篡改像素點被誤檢測為真實像素點的數(shù)量；FP表示真實像素點被誤檢測為篡改像素點的數(shù)量；TN表示真實像素點被正確檢測出的數(shù)量；TP表示篡改像素點被正確檢測出的數(shù)量。

2.2 實驗結(jié)果

2.2.1 幾何約束篩選算法定位效果

為了驗證幾何約束篩選算法的有效性，本文隨機從哥倫比亞大學(xué)未壓縮彩色圖像庫DVMM中抽取3幅拼接圖像，將其編號為圖像3、圖像4和圖像5，用于對比幾何約束篩選算法的效果。圖4所示的是應(yīng)用幾何篩選算法前后的對比圖，實驗所用圖像來自于哥倫比亞大學(xué)未壓縮彩色圖像庫DVM或使用Photoshop在flickr.com網(wǎng)站上拼接獲得。

由圖4可知，圖4的第3行為初步檢測mask圖。初步檢測圖存在鋸齒狀分割結(jié)果，其與真實拼接區(qū)域邊緣存在一定差距，拼接區(qū)域邊緣信息保留較少。經(jīng)過搜索拼接痕跡可以找到拼接區(qū)域的大致邊緣點集合A2，如圖4第4行亮白色標記點所示。此外，A2中包含不屬于拼接區(qū)域邊緣的點集合，這些來源于拼接區(qū)域內(nèi)部或者背景區(qū)域的點被稱為異常點。

由于拼接區(qū)域具有不規(guī)則的特點，因此去除異常點需要考慮拼接邊緣的局部性與整體性。幾何約束篩選算法利用相對距離的整體離散性與局部連續(xù)點篩選異常點。圖4的第4行、第5行分別是未處理和應(yīng)用幾何約束篩選算法后的結(jié)果，由圖可知，采用幾何約束篩選算法能夠有效篩選點集合。本文以5個連續(xù)點來考慮局部性，利用式(2)能夠有效限制點位置的劇烈突變，而采用式(3)則可將局部點的離散程度與整體離散進行關(guān)聯(lián)，從而判斷局部點相對整體點集合的合理性。式(4)用于進一步判斷點的規(guī)范性。最后，采用Alpha-Shape算法對點集合取得最小多邊形邊界來定位拼接區(qū)域，如圖4中第6行最終檢測結(jié)果所示。

圖4 應(yīng)用幾何篩選算法前后對比圖

對圖像3～圖像5應(yīng)用幾何約束篩選算法前后的正確檢測率與錯誤檢測率結(jié)果如表1所示。由表1可知應(yīng)用幾何約束算法可增加正確檢測率，降低錯誤檢測率。對應(yīng)于圖4第6行，幾何約束篩選算法可有效去除初步檢測結(jié)果圖中被誤檢測的背景區(qū)域，增加漏檢的篡改區(qū)域，消除圖像塊形成的鋸齒狀，實現(xiàn)更精確的拼接區(qū)域定位。

表1 應(yīng)用幾何約束篩選算法性能指標對比

2.2.2 移植幾何約束篩選算法性能比較

由于幾何約束篩選算法具有較好的可移植性，為了驗證對基于圖像塊噪聲水平估計算法性能改善的有效性，本文隨機選取3張哥倫比亞大學(xué)未壓縮彩色圖像庫DVM中的拼接圖像(將其編號為圖像6、圖像7、圖像8)，分別在文獻[16]、文獻[19]和前期方法[20]的檢測結(jié)果圖上增加幾何約束篩選算法處理操作。本文中，將進一步的檢測結(jié)果記作[16]-GCF、[19]-GCF以及本文的方法結(jié)果，如圖5所示。

圖5第1行分別是拼接圖像6～圖像8。圖5的第3行和第5行分別是文獻[16]與文獻[19]中算法篡改區(qū)域的定位結(jié)果。由于背景和拼接區(qū)域內(nèi)部紋理影響以及噪聲差異較小，因此采用文獻[16]、文獻[19]中的方法所獲得的定位效果較差，這兩種算法無法完整定位篡改區(qū)域，導(dǎo)致出現(xiàn)拼接區(qū)域內(nèi)部以及邊緣部分漏檢和背景區(qū)域誤檢的情況，定位邊緣不連續(xù)，凹凸也不一致。圖5第4行和第6行分別是在文獻[16]和文獻[19]方法基礎(chǔ)上應(yīng)用幾何約束篩選算法的實驗結(jié)果。由圖可知，在應(yīng)用幾何約束篩選算法后，拼接圖片的篡改區(qū)域的定位更加準確，保留了更多的邊緣信息。由圖5第7行可以看出，本文方法相較于文獻[16]和文獻[19]方法具有較強的噪聲提取能力，可對拼接區(qū)域邊緣進行更加細致的區(qū)分。

表2是對圖5結(jié)果的定量分析。文獻[16]和文獻[19]中的方法分別對應(yīng)圖5中第3行與第5行檢測結(jié)果的定位分析。[16]-GCF、[19]-GCF對應(yīng)圖5的第4行與第6行，分別代表在文獻[16]、文獻[19]方法上結(jié)合應(yīng)用幾何約束篩選算法后的檢測結(jié)果。文獻[16]中的方法通過結(jié)合幾何約束篩選算法后，圖像6～圖像8的平均正確檢測率提高了約15.9%，錯誤檢測率降低約2.9%。文獻[19]中的方法結(jié)合幾何約束篩選算法后，圖像6、圖像7和圖像8的平均正確檢測率提高約18.8%，錯誤檢測率減少約2.6%。綜上所述，將原有方法結(jié)合幾何約束篩選算法后，能夠提高以塊為單位的噪聲水平估計算法的準確率，保留更多拼接區(qū)域的邊緣信息。上述結(jié)果也表明幾何約束篩選算法具有良好的移植性。

圖5 移植幾何約束篩選算法效果圖

表2 移植幾何約束篩選算法性能指標對比

2.2 算法魯棒性分析

JPEG圖像壓縮、幾何變換和拼接邊緣模糊為常見的拼接圖像后處理操作。為了進一步評估本文提出方法的魯棒性，從哥倫比亞大學(xué)未壓縮彩色圖像庫DVMM中隨機選取一張原始拼接圖片，使其分別經(jīng)過壓縮因子QF=95的JPEG壓縮及下采樣20%操作。后處理操作中，圖像拼接部分所加噪聲標準差為5。圖6為不同后處理圖像的定位結(jié)果。

從圖6篡改區(qū)域定位結(jié)果可知，原始圖像經(jīng)過JPEG壓縮后，會出現(xiàn)部分區(qū)域漏檢，原因是噪聲估計算法性能一定程度上受到JPEG塊效應(yīng)的影響。原始圖像經(jīng)過下采樣后，采用本文方法可有效地定位出篡改區(qū)域，保留更多的邊緣信息，避免出現(xiàn)誤檢區(qū)域。

圖6 常見后處理操作結(jié)果比較

表3為哥倫比亞大學(xué)未壓縮彩色圖像庫DVMM經(jīng)過后處理操作前后的算法性能對比結(jié)果，其中TPR和FPR分別表示180幅拼接圖像的平均正確檢測率和錯誤檢測率。對比現(xiàn)有文獻算法，以文獻[16]和文獻[19]中的算法為例，兩種算法結(jié)合幾何篩選算法后被記為[16]-GCF、[19]-GCF。從表3中可知，當噪聲水平差異較小時，基于噪聲水平估計的拼接檢測定位方法無法取得理想篡改檢測效果。

如表3所示，針對未經(jīng)過后處理操作的偽造圖像，本文所提方法的正確檢測率高于采用文獻[16～17]及文獻[19～20]中的方法，與文獻[21]所提方法接近，但文獻[21]中方法的錯誤檢測率高于本文約12.7%；在文獻[16]和文獻[19]方法的基礎(chǔ)上應(yīng)用幾何約束篩選算法處理后，正確檢測率提高了2%～7%，錯誤檢測率降低1%～2%，其中[19]-GCF相對于文獻[16]所提方法的正確檢測率提高了約7.8%，而[16]-GCF正確檢測率則比文獻[16]中的方法提高了約1.6%。其原因在于文獻[16]方法的檢測結(jié)果多數(shù)偏離真實拼接區(qū)域的邊緣。在文獻[19]基礎(chǔ)上，采用改進的[19]-GCF方法可取得較高的性能提升，表明本文方法在一定程度上能夠有效地定位篡改區(qū)域，結(jié)合幾何約束篩選算法后的綜合性能也優(yōu)于現(xiàn)有方法。

通過表3可知，本文方法在檢測JPEG壓縮方面表現(xiàn)較差，結(jié)合幾何約束篩選算法后性能略有下降，方法[19]-GCF的正確檢測率和錯誤檢測率均低于文獻[19]中的方法。但本文方法對于后處理下采樣20%表現(xiàn)較好，其正確檢測率均高于文獻[16～17]、文獻[19～21]中的方法。本文方法的正確檢測率高于文獻[21]中方法約13.5%，錯誤檢測率減少約11.5%，保持較低水平。[16]-GCF與[19]-GCF的正確檢測率平均提高了約4%，錯誤檢測率并未明顯增加。由此可知，本文所提出的拼接檢測方法對常見后處理操作具有魯棒性。

2.3 時間復(fù)雜度

為了評估本文方法的時間復(fù)雜度，表4給出了同一環(huán)境下不同算法的檢測時間。這些被比較的算法包括本文所提的方法、文獻[16]所提方法、[16]-GCF、文獻[17]所提方法、文獻[19] 所提方法、[19]-GCF、文獻[20] 所提方法和文獻[21]的方法。每幅圖的平均時間包括讀取圖像、噪聲估計和拼接區(qū)域定位的時間。

表4 圖像拼接定位方法運行時間比較

由表可知，文獻[16]和文獻[20]所提算法的復(fù)雜度較低，所用時間最短。本文方法增加了紋理信息處理階段，并增加了時間復(fù)雜度以獲得較高的拼接圖片定位精度。

3 結(jié)束語

本文提出了一種幾何約束下噪聲一致性的圖像拼接篡改檢測方法。該方法在對拼接圖像分塊的基礎(chǔ)上使用基于統(tǒng)計噪聲估計算法對噪聲水平進行估計，將噪聲值聚類定位初步篡改區(qū)域，根據(jù)噪聲值定位初步篡改區(qū)域并提取篡改區(qū)域的邊緣點集合。在拼接圖像的邊緣圖像上以點集合為中心，在方形區(qū)域內(nèi)搜索拼接區(qū)域邊緣點。對于圖像中拼接區(qū)域和背景區(qū)域中紋理產(chǎn)生的異常數(shù)據(jù)，采用幾何約束篩選算法篩選正確的拼接區(qū)域邊緣點集合，消除了鋸齒狀邊緣對篡改區(qū)域的影響，并且?guī)缀渭s束篩選算法可被成功地應(yīng)用在其它基于塊的噪聲水平評估方法中。在實驗中，本文提出方法的性能優(yōu)于現(xiàn)有方法，原因是本文所提出方法在利用噪聲一致性的同時結(jié)合了拼接區(qū)域邊緣，對拼接區(qū)域與背景區(qū)域進行了區(qū)分，因此對常見的圖像處理具有一定的魯棒性。本文方法為圖像篡改被動取證的精準定位提供了一種新思路，今后的工作將繼續(xù)加強算法的魯棒性，以便應(yīng)對更復(fù)雜的圖像篡改情況。