沈 軍,廖 鑫,秦 拯,劉緒崇

1(湖南大學 信息科學與工程學院,湖南 長沙 410 012)

2(大數(shù)據(jù)研究與應用湖南省重點實驗室(湖南大學),湖南 長沙 410082)

3(網(wǎng)絡犯罪偵查湖南省重點實驗室(湖南警察學院),湖南 長沙 410138)

隱寫的主要原理是將秘密信息隱藏在原始載體的不易被人感知的冗余信息中,從而達到通過載體傳遞秘密信息而不被察覺的目的[1?3].隱寫分析的主要目的是檢測載體中是否隱藏了秘密信息,目前,常見的載體包括圖像、文本、音頻、視頻等多媒體信息[4].隨著隱寫技術的不斷進步,近幾年提出的WOW[5],S-UNIWARD[6]和HILL[7]等空域自適應隱寫算法能夠自動將秘密信息隱藏在圖像紋理較為復雜的區(qū)域,使得圖像能夠保持很復雜的統(tǒng)計特征.傳統(tǒng)的空域隱寫分析方法為了應對這些更復雜的隱寫技術,需要將特征設計得更加復雜且維度更高,如空間豐富模型SRM[8].但是傳統(tǒng)的空域隱寫分析方法需要人為地設計特征,隱寫分析的效果取決于特征的設計.并且隨著隱寫算法的發(fā)展,特征的設計也變得越來越復雜和困難,同時,也極大地延長了訓練時間.近幾年,隨著深度學習的發(fā)展并不斷在計算機視覺領域取得研究成果,研究人員也開始將深度學習的方法應用到了空域隱寫分析領域中,并取得了較好的研究成果[9].

雖然目前已有很多基于卷積神經(jīng)網(wǎng)絡的隱寫分析研究取得了一定的進展,但是這些研究都是在高嵌入率的條件下進行檢測,在低嵌入率的情況下進行檢測的效果還有待進一步提高.特別是在0.1bpp 甚至是0.05bpp這種低嵌入率下的檢測效果,目前的隱寫分析方法都很難正確地進行檢測.因此,本文針對低嵌入率設計了一個新的網(wǎng)絡結構進行空域隱寫分析,網(wǎng)絡使用SRM 濾波器進行預處理操作,并結合使用兩個小尺寸卷積核和一個大尺寸卷積核,使網(wǎng)絡能夠有效地捕獲低嵌入率的隱寫特征.網(wǎng)絡中通過取消池化層,防止隱寫特征信息的丟失.網(wǎng)絡的淺層使用TanH 激活函數(shù),深層使用ReLU 激活函數(shù),并通過批量歸一化操作對網(wǎng)絡性能進行進一步提升.實驗結果表明:本文設計的網(wǎng)絡結構在對WOW[5],S-UNIWARD[6]和HILL[7]這3 種常見的空域內容自適應隱寫算法進行隱寫分析時,檢測效果與現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法相比取得了明顯的提升.在對低嵌入率(0.2bpp,0.1bpp 和0.05bpp)進行檢測時,本文提出的網(wǎng)絡結構能夠得到比較理想的檢測效果.為了實現(xiàn)對低嵌入率的檢測效果進行進一步提升,本文還提出了一種逐步遷移(step by step)的遷移學習方法.

本文第1 節(jié)首先介紹相關工作.第2 節(jié)主要介紹本文設計的卷積神經(jīng)網(wǎng)絡結構,詳細介紹了網(wǎng)絡的預處理層、卷積層、批量歸一化和激活函數(shù),并對模型特點進行了分析,最后通過遷移學習提高檢測效果.第3 節(jié)對實驗參數(shù)、實驗設置和實驗結果進行介紹.第4 節(jié)對全文進行總結.

1 相關工作

目前,基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法,網(wǎng)絡結構的設計以兩個卷積層、三個卷積層或五個卷積層為主,本文根據(jù)卷積層的深度分別對現(xiàn)有方法進行介紹.

1.1 兩層卷積結構

Pibre 等人在文獻[10]中針對使用相同密鑰生成隱寫圖像這一場景,設計了Pibre-Net.Pibre-Net 的預處理使用單個KV 核的高通濾波器層(HPF 層),網(wǎng)絡結構中只有兩個卷積層,且分別使用7×7 和5×5 的大尺寸卷積核.Pibre-Net 中去掉了池化層,直接通過卷積層來減小特征圖維度,避免池化操作造成隱寫特征信息的丟失.在該場景下,對Bossbase 圖像庫進行S-UNIWARD[6]嵌入率為0.4bpp 的檢測,Pibre-Net 的準確性相比SRM 有了很大的提升.基于Pibre[10]提出的場景,Salomon 等人[11]直接使用大尺寸卷積核設計了Salomon-Net 網(wǎng)絡結構,Salomon-Net 的輸入圖像大小為512×512,該網(wǎng)絡只有兩個卷積層:第1 個卷積層作為全局過濾器輸出一個特征圖;第2 個卷積層使用了509×509 的大尺寸卷積核,輸出64 個2×2 大小的特征圖.Salomon-Net 中對WOW[5]和HUGO[12]分別進行了檢測,實驗結果顯示:該模型不僅在0.4bpp 嵌入率下能夠取得很好的檢測結果,而且在0.1bpp 低嵌入率下的檢測效果也比較理想.

高培賢等人在文獻[13]中設計了兩層卷積層和兩層全連接層的淺層網(wǎng)絡結構S-CNN,該結構同樣使用高通濾波器層(HPF 層)作為預處理操作.與Xu-Net[14]相比,S-CNN 減少了卷積的層數(shù),同時,通過去除池化層來避免隱寫噪聲信息的丟失.該文獻在實驗中使用Bossbase 圖像庫對S-UNIWARD[6]算法0.4bpp嵌入率進行了檢測,檢測效果優(yōu)于Tan-Net[15],Qian-Net[16]和Xu-Net[14].

1.2 三層卷積結構

Tan 等人在文獻[15]中首次將深度學習的方法應用于空域隱寫分析領域中,構造了包含3 個卷積層和一個全連接層的4 層網(wǎng)絡結構,使用了KV 核對第1 層卷積核進行初始化,通過利用卷積自動編碼器(SCAE)進行預訓練,檢測效果有了較大提升.在Tan-Net 的工作中,驗證了隨機初始化第1 個卷積層的訓練模型基本沒有隱寫分析檢測的能力.

1.3 五層卷積結構

Qian-Net[16]是由Qian 等人提出的一個具有5 個卷積層的網(wǎng)絡結構,使用KV 核作為預處理層對圖像進行預處理,使得模型能夠直接對殘差圖像進行學習,降低了圖像內容對訓練的干擾.Qian-Net 還根據(jù)隱寫噪聲的特點,使用了高斯激活函數(shù)和均值池化,進一步提高了檢測性能.Qian-Net 在Bossbase 圖像庫中的檢測準確性相比SRM[8]只低了3%~5%,在ImageNet 圖像中的檢測準確性與SRM 相當.Qian-Net 在基于深度學習的隱寫分析中屬于很好的研究成果.Qian 等人提出采用遷移學習[17]的方法提高模型在低嵌入率下的檢測性能,將高隱寫容量的訓練模型遷移到低隱寫容量中進行訓練,該方案在減少訓練時間的同時,有效地提高了檢測正確率.

Xu 等人隨后提出了Xu-Net[14],該網(wǎng)絡使用KV 核作為高通濾波器層(HPF 層)對圖像進行預處理操作,網(wǎng)絡中使用5 個卷積層,第1 個卷積層之后,利用絕對(ABS)層來消除殘差信號的符號影響.前兩個卷積層的卷積核為5×5,為了防止網(wǎng)絡模型過擬合,在隨后的卷積層中使用1×1 大小的卷積核.每個卷積層中使用了批量歸一化(batch normalization,簡稱BN)操作,前兩個卷積層后使用TanH 激活函數(shù),其他卷積層使用ReLU 激活函數(shù).每個卷積層通過均值池化來減小特征圖的維度,均值池化能夠綜合所有殘差信息,降低信息丟失的影響.Xu-Net 在Bossbass 圖像庫中,對S-UNIWARD[6]和HILL[7]算法的檢測能力均優(yōu)于SRM.Xu 等人在文獻[18]中對之前的工作進行了改進,使用卷積神經(jīng)網(wǎng)絡的集成學習和重疊池化方法來提高檢測效果.

Yedroudj 等人在文獻[19]中通過結合Xu-Net[14]和Res-Net[20]網(wǎng)絡的特點設計了Yedroudj-Net,該網(wǎng)絡預處理層使用了30 個SRM[8]卷積核,讓網(wǎng)絡能夠提取到更多的隱寫特征.網(wǎng)絡結構中使用5 個卷積層,綜合使用了絕對(ABS)層、批量歸一化(batch norm alization,簡稱BN)層、截斷函數(shù)(truncation fu nction,簡稱Trunc)[21]和均值池化層.該文獻中使用Bossbase 圖像庫分別對WOW[5],S-UNIWARD[6]算法進行檢測,發(fā)現(xiàn)0.4bpp 和0.2bpp 嵌入率下的效果均優(yōu)于SRM[8],Xu-Net[14]和Ye-Net[22].

1.4 其他深層結構

基于Xu 等人的研究[14],Ye 等人提出了Ye-Net[22],該網(wǎng)絡使用了更深的八層卷積網(wǎng)絡結構,并且使用30 個SRM[8]卷積核作為預處理層來讓模型學習更多的特征.Ye 等人在文獻中設計了新的截斷線性單元(truncated linear unit,簡稱TLU)作為激活函數(shù),通過適當?shù)脑O置參數(shù)T(一般取3 或7),使網(wǎng)絡能夠更好地適應隱寫噪聲分布.Ye-Net 還通過選擇通道,進一步提高了該模型的檢測效果.實驗中,該文獻結合Bossbase 和BOWS2 這兩個圖像庫進行檢測,其準確率已顯著優(yōu)于SRM 等傳統(tǒng)隱寫分析方法.Wu 等人利用殘差網(wǎng)絡Res-Net[20]構造了一個深層次的隱寫分析模型Wu-Net[23],Wu-Net 通過增加卷積層數(shù)量,使模型能夠更有效的捕獲圖像的隱寫特征.Wu-Net 的檢測效果均優(yōu)于SRM 算法[8]、Qian-Net[16]和Xu-Net[12].Tsang 等人為了使模型能夠對任意尺寸圖像進行處理,基于Ye-Net[22]網(wǎng)絡結構提出了Tsang-Net[24].Tsang-Net 中,在全連接層前加入了統(tǒng)計矩提取層,統(tǒng)計矩提取層通過將卷積層輸出的任意大小特征圖轉換為固定維度的特征輸入全連接層.Tsang-Net 實現(xiàn)了對任意大小的圖像進行隱寫分析檢測,且保持了較好的檢測能力.

2 本文提出的卷積神經(jīng)網(wǎng)絡結構

針對低嵌入率下空域隱寫分析存在的問題,本文構建了一個新的卷積神經(jīng)網(wǎng)絡結構Shen-Net 實現(xiàn)空域隱寫分析[25].Shen-Net 整體算法框架如圖1所示,主要分為輸入模塊、卷積模塊和輸出模塊.待測圖像首先進入預處理層對待測圖像進行預處理操作,預處理操作能夠從待測圖像中提取出噪聲殘差信息,有利于卷積模塊的特征學習;提取的噪聲殘差信息隨后進入卷積模塊,卷積模塊中,首先通過卷積運算提取隱寫特征,緊隨的批量歸一化操作和激活層能夠有效提高卷積模塊的特征學習能力和提升網(wǎng)絡的性能,合理設計多組卷積模塊能夠使網(wǎng)絡能夠更好地學習隱寫特征;經(jīng)過卷積模塊中一系列的卷積層和激活層等層層連接之后,需要通過全連接層進行連接,并將全連接層輸出值直接傳給分類器Softmax 層進行分類,最終輸出的分類結果為待測圖像分屬原始圖像和攜密圖像的概率值.為了有效提升低嵌入率下的隱寫分析效果,本文基于Shen-Net 框架提出了逐步遷移學習方案,將高嵌入率下的訓練模型作為初始參數(shù)逐步遷移至低嵌入率的網(wǎng)絡中進行訓練,使低嵌入率的網(wǎng)絡能夠有效借助高嵌入率訓練模型的參數(shù)作為輔助來提升對低嵌入率隱寫特征的學習能力.

Fig.1 Overall framework of the algorithm proposed in this paper圖1 本文提出的算法整體框架

網(wǎng)絡的整體結構如圖2所示.Shen-Net 的輸入圖像的大小為256×256,網(wǎng)絡結構包括一個預處理層、3 個卷積模塊.其中,每個卷積模塊包括卷積層、批量歸一化操作、激活函數(shù),卷積模塊后跟隨了兩個全連接層,最后使用softmax 函數(shù)進行分類.下面將對Shen-Net 網(wǎng)絡結構的各個部分進行詳細闡述.

Fig.2 Shen-Net convolutional neural network structure圖2 Shen-Net 卷積神經(jīng)網(wǎng)絡結構

2.1 網(wǎng)絡執(zhí)行流程

本文提出的Shen-Net 執(zhí)行流程框圖如圖3所示,在模型的訓練階段,訓練圖像輸入網(wǎng)絡后首先通過預處理層進行噪聲殘差提取,在后續(xù)網(wǎng)絡的傳播中對噪聲殘差圖像進行隱寫特征的學習訓練.訓練過程中,利用正向傳播計算輸出結果,通過對輸出結果與實際結果求偏差,判斷是否超過容許范圍;否則進行反向傳播,并計算各層中的誤差,并通過梯度下降算法更新各層權值.通過反復傳播計算,最終生成訓練好的網(wǎng)絡模型.

在測試階段,直接將待檢測圖像輸入網(wǎng)絡模型中,模型同樣首先進行噪聲殘差的提取操作,再通過后續(xù)的傳播計算,最終進行分類,分類結果為兩個標簽上的概率值.最后,根據(jù)圖像分類產(chǎn)生的概率值進行最終判定,概率值大的做為最終結果.

Fig.3 Shen-Net execution flowchart圖3 Shen-Net 執(zhí)行流程框圖

2.2 預處理層

預處理層主要用于提取出輸入圖像的噪聲殘差分量,因為信息隱藏操作可以被視為向載體圖像添加極低幅度的噪聲[22].若將圖像直接輸入卷積層,很難保證卷積操作能夠有效地提取出隱寫噪聲,從而導致模型的收斂速度會非常慢[10,16].而預處理操作的主要目的是為了增強隱寫信號和圖像信號之間的信噪比,并抑制圖像內容對訓練過程所造成的影響,因此,對輸入圖像進行噪聲殘差提取的預處理操作,能夠有效提升模型對隱寫特征的學習效果.圖像噪聲殘差的計算公式如下所示:

其中,*表示卷積操作;X表示輸入圖像;K表示用于計算噪聲殘差的線性濾波器,其目的是為了通過相鄰元素值對中心元素值進行預測,并計算差值.因此,噪聲殘差的計算可以通過卷積層進行模擬[19],本文采用的預處理操作主要基于Fridrich 等人[8]的研究,預處理層使用了一個具有30 個濾波器的卷積層,卷積核大小為5×5,卷積核的初始權值使用空間豐富模型(SRM)中的30 個高通濾波核進行初始化[19,22].其中,預處層中所使用的幾類高通濾波核分別如下所示:

其中,“1st”“2nd”和“3rd”經(jīng)過45 度旋轉操作后,可以分別得到8 個、4 個和8 個濾波核;“EDGE3×3”和“EDGE5×5”進行90 度旋轉操作后,分別可以得到4 個濾波核.為了將30 個濾波核尺寸統(tǒng)一為5×5,在“1st”“2nd”“3rd”和“EDGE3×3”的四周填充0.相比于只使用一個濾波核的高通濾波器層(HPF 層)進行預處理操作[10,13,14,16],30 個SRM 濾波核組合了7 種不同的濾波殘差模型,從而SRM 濾波器進行預處理操作時能夠更有效地提取出隱寫圖像中的噪聲殘差分量,從而有利于后續(xù)卷積操作進行特征提取和學習,加快模型在訓練過程中的收斂速度.

2.3 卷積層

第一個卷積模塊中,卷積層使用32 個濾波器,卷積核大小為3×3.卷積層的輸入為預處理進行噪聲殘差分量提取后的噪聲殘差圖,從第一個卷積層開始提取噪聲殘差中的隱寫特征,并生成用于下一階段計算的特征圖.卷積操作的計算公式如下所示:

由于池化層是一個下采樣的過程,在減小特征圖大小的同時,會使得部分隱寫特征信息丟失,從而降低后續(xù)卷積操作進行特征提取的性能,收斂速度變得緩慢,從而影響模型最終的分類準確率.因此,在本文的網(wǎng)絡結構中取消了池化層的使用.但是為了減小卷積層的特征圖大小,同時降低卷積操作的計算量,本文通過設置卷積層中卷積核的大小和步長來完成.因此,本文第1 個卷積層的步長設為2,經(jīng)過第1 個卷積層的卷積操作后的特征圖大小為32×127×127.

Shen-Net 中的第2 個卷積層設置與第1 個卷積層相同,也是使用了32 個卷積核為3×3 大小的濾波器.本文通過多組實驗驗證了與第一層使用同樣數(shù)量卷積核,訓練模型能夠得到更好的檢查效果,實驗結果見表1.檢測算法為S-UNIWARD,隱寫強度為0.1bpp.實驗中,對3 個卷積層設置3 組不同的卷積核數(shù)量,實驗結果分別給出了隱寫圖像(stego)、原始圖像(cover)的檢測正確率和平均檢測正確率,本文根據(jù)實驗結果選取了最優(yōu)的參數(shù)設置.表1 中最后一組實驗取消了第2 個卷積層,在第1 個卷積層后直接進入大卷積核進行卷積操作,實驗結果表明,其他使用 3 個卷積層的模型檢測性能更好.Shen-Net 中進行第2 個卷積操作后,輸出特征圖的大小為32×63×63.

Table 1 S-UNIWARD 0.1bpp detection accuracy of different convolution kernel settings表1 S-UNIWARD 算法0.1bpp 不同卷積核設置的檢測準確率

在第3 個卷積模塊的卷積層中使用了64 個濾波器,特別的是使用了大小為62×62 的大尺寸卷積核.Salomon 等人[11]驗證了使用大卷積核能夠構建小的長程相關模式,可以獲得一組精簡的識別特征.通過小卷積核與大卷積核的結合使用,使得模型在訓練階段能夠有效地學習到低嵌入率的隱寫特征.大卷積核還能夠保證網(wǎng)絡正確學習隱寫特征的同時,降低特征的維度.第三個卷積層輸出的特征圖大小為62×2×2,極大地減小了特征圖的尺寸,減輕了后續(xù)的計算復雜度.

2.4 批量歸一化

通過使用批量歸一化層(BN 層)[21]對每個卷積層實現(xiàn)歸一化操作.由于卷積神經(jīng)網(wǎng)絡中的訓練階段,每一層都會對網(wǎng)絡參數(shù)進行更新,而每一層對參數(shù)的更新都會影響后續(xù)網(wǎng)絡輸入數(shù)據(jù)的分布,并隨著網(wǎng)絡深度的加深進行放大,輸入數(shù)據(jù)的分布的變化會降低對網(wǎng)絡訓練的收斂速度.批量歸一化操作能夠很好地解決數(shù)據(jù)分布產(chǎn)生變化的問題,歸一化后的值都在特定的范圍以內,使得模型能夠快速地進行收斂,并在一定程度上防止網(wǎng)絡出現(xiàn)過擬合的現(xiàn)象.批量歸一化首先需對特征的每個維度進行歸一化,其公式如下所示:

2.5 激活函數(shù)

本文在前3 個卷積模塊的最后使用了TanH 函數(shù)作為激活函數(shù),TanH 函數(shù)如公式(12)所示:

第1 個全連接層后使用ReLU 函數(shù)作為激活函數(shù),ReLU 函數(shù)如公式(13)所示:

其中,x為輸入特征圖.TanH 函數(shù)能夠使輸出與輸入的關系保持非線性單調上升和下降關系.Xu 等人[14]驗證了,在網(wǎng)絡結構的前幾組非線性激活函數(shù)使用TanH 函數(shù)能夠比ReLU 函數(shù)取得更好的性能.由于TanH 函數(shù)的飽和區(qū)域,能夠有效地限制數(shù)據(jù)值的范圍.

經(jīng)過3 個卷積模塊的特征提取后進入分類模塊,分類模塊主要包括兩個全連接層和一個損失函數(shù):第1 個全連接層的神經(jīng)元數(shù)量為1 000 個,其后使用ReLU 激活函數(shù)來提升網(wǎng)絡的性能;第2 個全連接層的神經(jīng)元數(shù)量為2,對應于網(wǎng)絡輸出的類別.分類模塊的最后,通過softmax 函數(shù)來對兩個類別標簽上產(chǎn)生概率分布.

2.6 模型分析

本文在預處理階段使用了30 個SRM 濾波器,相比于僅僅使用一個HPF 高通濾波器的預處理方式,SRM 濾波器能夠提取出更多的噪聲殘差信息,使網(wǎng)絡在訓練階段學習到更多的隱寫特征,從而提高隱寫分析能力.在Pibre[10]、Salomon[11]等人的網(wǎng)絡結構中,都是只采用了兩個卷積層,本文增加了卷積層的層數(shù),有利于訓練階段進行特征提取.

通過在第3 個卷積層中使用大尺寸卷積核,在提高了特征提取性能的同時,降低了特征數(shù)量,從而限制了訓練模型的大小(在輸入圖像大小為256×256 時,文獻[10]模型大小約為980MB,本文的訓練模型大小約為31MB).且通過結合前兩個卷積層的小尺寸卷積核與第3 個卷積層的大尺寸卷積核,使網(wǎng)絡能夠有效地捕獲低嵌入率下的隱寫噪聲特征.

本文在卷積層中取消了池化層的使用,避免了池化層的下采樣操作造成隱寫特征的丟失.基于Xu 等人[14]的研究,在3 個卷積層后使用TanH 函數(shù)作為激活函數(shù),第1 個全連接層后使用ReLU 函數(shù)作為激活函數(shù),通過在淺層TanH 函數(shù)和深層ReLU 函數(shù)的結合使用,一定程度上提升了網(wǎng)絡性能.

Shen-Net 網(wǎng)絡能夠對低嵌入率的隱寫特征進行有效學習,并使模型最終進行正確分類,關鍵在于預處理層、小尺寸卷積核和大尺寸卷積核的結合使用.預處理層中,通過30 個高通濾波器,從低嵌入率隱寫圖像中提取出30 種不同的噪聲殘差圖像.在卷積模塊中,通過小尺寸卷積核與大尺寸卷積核對噪聲殘差圖像的卷積操作,使模型能夠有效地提取低嵌入率下微弱的隱寫特征.通過對網(wǎng)絡的層數(shù)進行一定控制,讓模型的復雜度盡量縮小.同時,Shen-Net 中,通過批量歸一化操作來控制各卷積模塊中的數(shù)據(jù)分布,并在網(wǎng)絡的卷積層中,通過TanH 函數(shù)進行非線性激活操作,提高網(wǎng)絡的表達能力,使網(wǎng)絡收斂性得到有效保證.由于低嵌入率時圖像中的隱寫特征信息本就非常微弱,而池化層進行下采樣操作時無可避免地會對特征圖的信息產(chǎn)生丟失,因此在Shen-Net 中取消了池化層,避免了池化操作所造成的隱寫特征的丟失,間接地提高了模型的檢測能力.通過對網(wǎng)絡結構的合理設計,使Shen-Net 的模型能夠對低嵌入率的隱寫圖像的檢測能夠達到很好的效果.

2.7 逐步遷移(step by step)的遷移學習

由于內容自適應隱寫算法[5?7]會根據(jù)圖像紋理特征和嵌入率,將信息從紋理最復雜的區(qū)域開始嵌入,因此當嵌入率很低時,秘密信息會被嵌入在圖像最復雜的紋理區(qū)域中,從而導致網(wǎng)絡在訓練階段難以學習到足夠的隱寫特征,使訓練模型的檢測效果并不理想.

本文為了進一步提升低嵌入率的檢測效果,在相同的隱寫算法中,通過遷移學習的方法將高嵌入率下的訓練模型作為初始參數(shù)遷移至低嵌入率的網(wǎng)絡中進行訓練,使低嵌入率的網(wǎng)絡能夠借助高嵌入率訓練模型的參數(shù)作為輔助,來提升對隱寫特征的學習能力.文獻[17]中,利用遷移學習的方法有效地提升了Qian-Net[16]的檢測能力.遷移學習框架如圖4所示,在本文的遷移學習方法中,使用的網(wǎng)絡結構為Shen-Net 結構,源任務與目標任務使用相同的網(wǎng)絡結構.首先,通過對高嵌入率的圖像集進行訓練,利用高嵌入率下訓練好的模型,將訓練參數(shù)遷移至嵌入率較低的目標任務中對網(wǎng)絡訓練參數(shù)進行初始化.目標任務在訓練階段通過對網(wǎng)絡參數(shù)進行微調來提升低嵌入率下訓練模型的隱寫分析能力.通過利用高嵌入率中訓練參數(shù)遷移來初始化低嵌入率的訓練任務,來代替使用隨機值對參數(shù)進行初始化,能夠有效提升網(wǎng)絡的訓練效果.

Fig.4 Shen-Net embedding rate transfer learning framework圖4 Shen-Net 嵌入率遷移學習框架

嵌入率越高的訓練模型,往往能夠更好地學習到隱寫特征,因此,本文希望能夠將最高嵌入率下的訓練模型的參數(shù)直接遷移至低嵌入率下進行微調,但如果源任務與目標任務之間的嵌入率相差過大(如0.5bpp 與0.05bpp之間),隱寫噪聲信息存在強度上的差異,直接進行遷移學習可能不會取得很好的性能提升.因此,本文提出了逐步遷移(step by step)的方法,即:將0.5bpp 的訓練模型遷移至0.4bpp 中進行訓練,再將0.4bpp 的訓練模型遷移至0.3bpp,以此類推,直至0.05bpp.通過逐步遷移的方式,將最高嵌入率下的訓練參數(shù)逐步遷移至低嵌入率下進行微調,消除了噪聲信息的強度差異.

3 實驗結果與分析

3.1 數(shù)據(jù)集和實驗平臺

本文實驗使用WOW[5]、S-UNIWARD[6]和HILL[7]這3 種常見的空域自適應隱寫算法,嵌入率分別為0.5bpp,0.4bpp,0.3bpp,0.2bpp,0.1bpp 和0.05bpp.實驗中使用的數(shù)據(jù)集為BOSSbase V1.01[27],該數(shù)據(jù)集包含10 0 00 張分辨率為512×512 像素的灰度圖像,圖像格式為pgm.將每張圖像分割為4 張256×256 像素的灰度圖像,這樣得到40 000 張圖像.隱寫圖像集(stego)通過將載體圖像集(cover)嵌入秘密信息得到.實驗中,將30 000 張圖像用為訓練,其中訓練集占80%,驗證集占20%;剩下的10 000 張圖像作為測試集.所有的實驗都是在Windows 10 系統(tǒng)中通過Caffe1.0[28]深度學習框架實現(xiàn).

3.2 參數(shù)設置

實驗中,本文采用隨機梯度下降算法(SGD)來訓練卷積神經(jīng)網(wǎng)絡.學習率策略(lr_policy)為“step”,stepsize 為50 0 00,gamma 為0.1.基礎學習率(base_lr)為0.001,上一次更新的權重(momentum)為0.9,權值衰減(weight_decay)為0.004.由于GPU 顯存的限制,訓練階段每一批次(batch size)設為16.最大迭代次數(shù)(max_iter)為200 000.所有卷積層的初始化方法為“Xavier”,權重遵循均勻分布,并且保證每層輸入和輸出的方差保持一致[29].30 個SRM 濾波器未被標準化.

3.3 實驗結果

圖5 展示了WOW 隱寫算法在0.1bpp 嵌入率下,測試集中一張圖像的嵌密結果及其對應嵌入位置.圖5(a)為隱藏信息之后的嵌密圖像,圖5(b)為圖5(a)嵌密圖像中秘密信息的嵌入位置,其中,白色點表示該位置像素值的進行了+1 修改,黑色點表示該位置像素值進行了?1 修改.模型進行分類后輸出的概率值結果分別為Cover:0.168572;Stego:0.831528.由于模型將圖像判為嵌密圖像的概率值更大,因此本文將圖5(a)最終的檢測結果判定為嵌密圖像.

Fig.5 WOW algorithm 0.1bpp embedded effect圖5 WOW 算法0.1bpp 嵌密效果圖

為了驗證模型特征提取的有效性,本文將網(wǎng)絡部分層的特征圖進行展示.圖6 展示了預處理層進行SRM 高通濾波核進行濾波處理后的部分噪聲殘差圖.可以看出:不同的濾波核能夠從不同的角度提取出攜密圖像紋理區(qū)域和噪聲區(qū)域的殘差信息,并且同時減少了圖像內容信息,極大地降低了訓練階段圖像內容對隱寫噪聲特征的學習的影響.圖7 展示了第1 個卷積層輸出的32 個特征圖,這些特征圖中的信息依然主要集中在圖像的紋理和噪聲區(qū)域中,說明卷積操作能夠從這些秘密信息的主要嵌入?yún)^(qū)域中有效的提取特征.

Fig.6 Partial noise residual image outputed from the preprocessing layer圖6 預處理層輸出的部分噪聲殘差圖

Fig.7 32 feature maps outputted from the first convolutional layer圖7 第1 個卷積層輸出的32 個特征圖

表2 中展示了在WOW 隱寫算法下,嵌入率為0.5bpp,0.4bpp 和0.3bpp 這3 種高嵌入率時,現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法Pibre-Net[10]、Salomon-Net[11]、Yedroudj-Net[19]和S-CNN[13],以及本文提出的Shen-Net的檢測正確率.表3 展示了WOW 隱寫算法在嵌入率為0.2bpp、0.1bpp 和0.05bpp 這3 種低嵌入率下的檢測結果的對比,表中“?”表示該模型在訓練階段未收斂.

Table 2 Comparison of high embedding rate detection accuracy of WOW表2 WOW 隱寫算法高嵌入率檢測準確率對比

Table 3 Comparison of low embedding rate detection accuracy of WOW表3 WOW 隱寫算法低嵌入率檢測準確率對比

從表2 和表3 中可以看出,本文提出的Shen-Net 在WOW 隱寫算法下的檢測正確率比現(xiàn)有隱寫分析方法更好.與Pibre-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.3bpp 時的檢測正確率提高了3%~8%.由于Pibre-Net 對輸入圖像直接使用大尺寸卷積核進行卷積操作,使模型無法捕獲低嵌入率下的隱寫噪聲信息,所以在嵌入率為0.2bpp~0.05bpp 時的訓練模型已經(jīng)無法收斂.與Salomon-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.1bpp 時的檢測正確率提高了2%~5%.與Yedroudj-Net 相比,Shen-Net 在嵌入率為0.5bpp~0.2bpp 時的檢測正確率提高了20%左右.與S-CNN 相比,Shen-Net 在嵌入率為0.5bpp~0.05bpp 時的檢測正確率提高了3%~15%.

特別是在0.05bpp 下,現(xiàn)有隱寫分析方法的網(wǎng)絡結構在訓練階段已經(jīng)難以收斂,S-CNN 網(wǎng)絡雖然在訓練階段達到了收斂效果,但是對訓練模型進行測試后,檢測正確率僅僅只有51.22%.顯然,這個檢測效果對于兩分類問題很不理想.但是本文提出的Shen-Net 在0.05bpp 下,檢測正確率能夠達到66.55%.由此可見,本文提出的Shen-Net 在嵌入率很低的情況下,進行隱寫分析也能取得很好的效果.

表4 和表5 展示了S-UNIWARD 隱寫算法高嵌入率和低嵌入率時,本文提出的Shen-Net 與現(xiàn)有隱寫分析方法的檢測準確率的對比.根據(jù)表4 和表5 的檢測結果可以看出:在S-UNIWARD 隱寫算法下,本文提出的Shen-Net 的檢測性能同樣優(yōu)于現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法.檢測正確率的提升幅度與WOW 隱寫算法檢測正確率大致類似.在嵌入率為0.05bpp 時,Pibre-Net,Salomon-Net 和Yedroudj-Net 這3 個網(wǎng)絡的訓練模型都未能收斂,S-CNN 網(wǎng)絡的檢測準確率為58.83%.而本文提出的Shen-Net 在嵌入率為0.05bpp 時檢測正確率能夠達到73.63%.

Table 4 Comparison of high embedding rate detection accuracy of S-UNIWARD表4 S-UNIWARD 隱寫算法高嵌入率檢測準確率對比

Table 5 Comparison of low embedding rate detection accuracy of S-UNIWARD表5 S-UNIWARD 隱寫算法低嵌入率檢測準確率對比

表6、表7 分別展示了HILL 隱寫算法高嵌入率和低嵌入率情況下,Shen-Net 與現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法的檢測準確率的對比.根據(jù)表6 和表7 的檢測結果,本文提出的Shen-Net 在HILL 隱寫算法下,檢測性能同樣優(yōu)于其他4 個現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法.在0.05bpp 下,Pibre-Net,Salomon-Net 和Yedroudj-Net 這3 個網(wǎng)絡的訓練模型依然未能收斂,S-CNN 的測試結果僅為50.58%,這個檢測結果并無太大意義.而本文提出的Shen-Net 在HILL 隱寫算法0.05bpp 下,檢測準確率還是能夠達到70.48%.

Table 6 Comparison of high embedding rate detection accuracy of HILL表6 HILL 隱寫算法高嵌入率檢測準確率對比

Table 7 Comparison of low embedding rate detection accuracy of HILL表7 HILL 隱寫算法低嵌入率檢測準確率對比

由WOW,S-UNIWARD 和HILL 這3 種常見的隱寫算法下的檢測性能可見:本文提出的Shen-Net 相比于現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法,不僅提升了檢測正確率,并且在0.05bpp 這種其他方法難以檢測的低嵌入率下,Shen-Net 同樣能夠取得較為理想的檢測效果.

除了訓練模型的檢測正確性以外,模型在訓練階段的收斂情況也是評價一個網(wǎng)絡的重要指標.loss 值為訓練過程中預測結果與實際結果之間的誤差,反映了網(wǎng)絡在訓練階段的收斂情況.圖8 展示了Shen-Net 與其他4個網(wǎng)絡在訓練階段loss 值的變化情況,訓練集的隱寫算法為WOW,嵌入率為0.3bpp.根據(jù)loss 曲線能夠看出:相比其他4 個網(wǎng)絡,Shen-Net 在訓練階段能夠明顯地快速進行收斂.在30 000 次左右的迭代時,loss 值已基本保持在極低范圍內,而其他網(wǎng)絡的loss 曲線基本都還在收斂階段,且loss 值都遠遠高于Shen-Net 的loss 值.

Fig.8 Loss variation of 0.3bpp embedding rate training stage of WOW圖8 WOW 隱寫算法0.3bpp 訓練階段loss 變化情況

在卷積神經(jīng)網(wǎng)絡中,模型的訓練與測試所耗時間是衡量模型性能重要指標,表8 展示了本章提出的Shen-Net 與對比的4 個網(wǎng)絡在訓練與測試階段所耗費的時間.其中,每個網(wǎng)絡在訓練階段的迭代次數(shù)都為20 萬次,測試結果為對一張圖像進行檢測所耗費時間.

Table 8 Performance during training and testing表8 訓練與測試的性能比較

Yedroudj-Net 由于其網(wǎng)絡深度相對較大,模型的參數(shù)較多,因此訓練階段需要耗費14.5 小時.Salomon-Net的網(wǎng)絡深度為兩層卷積結構,網(wǎng)絡結構較為簡單,且第1 次卷積層只有一個卷積核,從而模型參數(shù)較少,因此訓練階段只需1.3 小時即可完成.Shen-Net 與其他4 個網(wǎng)絡相比,在加深網(wǎng)絡層數(shù)的基礎上,通過對卷積核的設計對模型參數(shù)數(shù)量進行了一定限制,因此訓練階段所耗費時間較為適中.測試階段所耗時間與訓練時間相對應,Yedroudj-Net 運行時間同樣為最長,Salomon-Net 只需0.1 秒即可完成,而Shen-Net 對單張圖片的測試時間為0.4秒.根據(jù)Shen-Net 與其他4 個網(wǎng)絡的訓練和測試時間可以反映出,S-CNN 的模型性能接近于5 個模型的平均值,Shen-Net 的模型性能雖然不是最優(yōu)的,但是也能達到較好的水平.

3.4 遷移學習實驗

為了進一步對提高低嵌入率的檢測效果,如0.05bpp、0.1bpp 和0.2bpp,本文采用遷移學習方法將嵌入率為0.3bpp、0.4bpp 和0.05bpp 訓練得到的網(wǎng)絡模型參數(shù),分別遷移至0.05bpp、0.1bpp 和0.2bpp 下進行微調訓練.通過將高嵌入率的模型參數(shù)有效地遷移至相同隱寫算法低嵌入率中進一步進行特征學習,有效提升了模型對低嵌入率的隱寫分析能力.除了通過直接將嵌入率為0.3bpp、0.4bpp 和0.05bpp 下的預訓練的模型遷移至低嵌入率中進行訓練以外,實驗中通過逐步遷移(step by step)學習,對嵌入率差距較大的情況進行有效的參數(shù)遷移.針對本文提出的Shen-Net 網(wǎng)絡,分別對WOW、S-UNIWARD 和HILL 這3 種隱寫算法進行遷移學習實驗.

表9展示了Shen-Net對WOW隱寫算法未進行遷移學習與4種遷移學習方式的檢測準確率對比.對0.05bpp進行遷移學習,較好地提升了準確率,其中,通過0.3bpp 和逐步遷移的方式,相比未進行遷移學習提升了2%左右.其次,逐步遷移的方法對0.1bpp 的檢測準確率也提升了1%左右.但是對于0.2bpp 而言,遷移學習并沒有提升檢測準確率.

Table 9 Comparison of transfer learning detection accuracy of WOW表9 WOW 隱寫算法遷移學習檢測準確率對比

S-UNIWARD 隱寫算法下,使用遷移學習的檢測準確率對比結果見表10.在0.05bpp 下,通過遷移學習能夠在未進行遷移學習的基礎上提升1%左右,其中,0.5bpp 和0.4bpp 遷移學習的效果最好.在0.1bpp 和0.2bpp 下,遷移學習的方法檢測準確率都能得到一定的提升.

Table 10 Comparison of transfer learning detection accuracy of S-UNIWARD表10 S -UNIWARD 隱寫算法遷移學習檢測準確率對比

遷移學習方法對HILL 隱寫算法檢測準確率的對比結果見表11,整體而言,逐步遷移學習的檢測效果能夠得到最好的提升.其中,在0.05bpp 和0.1bpp 下,逐步遷移的方法能夠在未進行遷移學習的基礎上分別提升2%和1%左右.

Table 11 Comparison of transfer learning detection accuracy of HILL表11 HILL 隱寫算法遷移學習檢測準確率對比

通過以上實驗可以發(fā)現(xiàn),使用逐步遷移學習的方法能夠獲得更為穩(wěn)定的準確率提升.特別是在0.05bpp 下,相比未進行遷移學習的效果提升更為明顯.但是在0.2bpp 下,由于Shen-Net 未進行遷移學習時,在訓練階段同樣能夠學習到足夠的隱寫特征,因此遷移學習對檢測準確率的提升不大.

4 結束語

本文針對現(xiàn)有空域隱寫分析方法在低嵌入率下難以區(qū)分的問題,通過分析現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的隱寫分析方法的特點,構造了一個新的網(wǎng)絡結構 Shen-Net.實驗結果證明:新提出的網(wǎng)絡結構在對 WOW,SUNIWARD 和HILL 這3 種常見空域內容自適應隱寫算法進行隱寫分析時,準確率得到了較高的提升.在嵌入率較低的情況下,現(xiàn)有網(wǎng)絡結構無法收斂或準確性很低,而本文設計的網(wǎng)絡結構仍能夠取得較為理想的檢測準確率.此外,本文還通過采用逐步遷移學習的方法進一步提高了對低嵌入容量的檢測準確率.由于在現(xiàn)實生活中,JPEG 格式圖像的使用更為常見,下一步我們將對JPEG 格式圖像的隱寫分析方法進行深入研究.