韓宇軒，孫錟鋒，蔣興浩

（上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240）

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和進(jìn)步，日漸強(qiáng)大和便捷的視頻圖像編輯技術(shù)使用戶可以輕易對數(shù)字圖像﹑視頻進(jìn)行篡改，使得數(shù)字圖像和視頻作為司法證據(jù)時難以有效發(fā)揮作用。數(shù)字圖像視頻取證旨在檢測和分析圖像和視頻原始內(nèi)容的真實(shí)性，以保證司法有效﹑公正。為了保證視頻原始內(nèi)容的真實(shí)性，學(xué)術(shù)界已提出了許多主動取證技術(shù)，如數(shù)字水印技術(shù)。通過在錄制視頻時嵌入認(rèn)證信息進(jìn)行真實(shí)性驗(yàn)證，但主動取證技術(shù)要求在視頻錄制時就嵌入認(rèn)證信息，這在現(xiàn)實(shí)場景中很難實(shí)現(xiàn)。所以，基于視頻本身特征的被動取證技術(shù)有更大的發(fā)展和應(yīng)用空間。視頻幀間篡改檢測技術(shù)是被動取證技術(shù)的主要分支。視頻的幀間篡改方式主要有：幀刪除，刪除原始視頻的一幀或部分幀；幀插入，異源幀片段插入原視頻；幀復(fù)制，同源幀片段插入原視頻?，F(xiàn)有的幀間篡改檢測方法主要分為兩類：基于篡改點(diǎn)內(nèi)容不連續(xù)性的方法和基于二次編碼周期性效應(yīng)的方法。

基于二次編碼周期性效應(yīng)的方法最初用于研究JPEG圖像的雙重壓縮檢測，2006年開始越來越多的學(xué)者將其應(yīng)用于視頻篡改檢測。針對兩次編碼前后視頻GOP結(jié)構(gòu)是否對齊﹑視頻的不同編碼標(biāo)準(zhǔn)（MPEG-X﹑H.264﹑HEVC）﹑兩次編碼量化參數(shù)是否相同等多種情況，也提出了大量檢測算法[1]?；诖鄹狞c(diǎn)內(nèi)容不連續(xù)性的方法研究始于2012年，是幀間篡改檢測領(lǐng)域的新方向。Chao等人[2]提出了一種基于LK光流[3]的方法，Wang等人[4]在此基礎(chǔ)上進(jìn)一步研究，提出了基于高斯分布的篡改檢測方法。Wu等人[5]使用速度場揭示篡改帶來的不連續(xù)性。Wang等人[6]提出了一種基于灰度相關(guān)性系數(shù)穩(wěn)定性的檢測方法。Yin等人[7]將非負(fù)張量分解算法應(yīng)用于幀間篡改檢測，提出將待檢視頻序列用四維張量表示，對其進(jìn)行Tucker分解后提取時間維度因子矩陣表示視頻每幀內(nèi)容，然后根據(jù)相關(guān)性檢測篡改行為?；诙尉幋a效應(yīng)的方法依賴于受檢視頻的編碼參數(shù)，而基于內(nèi)容連續(xù)性的方法對編碼參數(shù)不敏感，具有更好的普適性，在實(shí)際應(yīng)用中更具優(yōu)勢。

本文圍繞基于內(nèi)容連續(xù)性的檢測方法，設(shè)計(jì)了針對監(jiān)控視頻的幀間篡改檢測系統(tǒng)，對系統(tǒng)的整體架構(gòu)﹑功能模塊進(jìn)行了設(shè)計(jì)實(shí)現(xiàn)。在此基礎(chǔ)上，該類方法的執(zhí)行速度較慢。針對這一劣勢，對算法進(jìn)行GPU并行化計(jì)算的優(yōu)化研究和設(shè)計(jì)實(shí)現(xiàn)，實(shí)現(xiàn)的系統(tǒng)具有良好的可用性和用戶友好性。

1 系統(tǒng)設(shè)計(jì)

視頻篡改檢測系統(tǒng)的需求主要源于司法領(lǐng)域，對作為司法證據(jù)的監(jiān)控視頻的內(nèi)容真實(shí)性進(jìn)行驗(yàn)證?，F(xiàn)有網(wǎng)絡(luò)環(huán)境下，視頻傳輸速率無法保障?？紤]這一實(shí)際情況和應(yīng)用場景的特殊性，系統(tǒng)采用單機(jī)應(yīng)用模式，提供單獨(dú)友好的GUI（Graphical User Interface，圖形用戶界面）。系統(tǒng)界面使用Qt庫的Python接口PyQt實(shí)現(xiàn)。系統(tǒng)核心模塊包括視頻處理﹑篡改檢測和數(shù)據(jù)庫交互，使用Python﹑C/C++實(shí)現(xiàn)。

1.1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)設(shè)計(jì)是實(shí)現(xiàn)系統(tǒng)的首要步驟。只有在合理的架構(gòu)下開發(fā)，才能保證系統(tǒng)最終的可用性。根據(jù)應(yīng)用場景的具體需求，通過對系統(tǒng)的整體分析，設(shè)計(jì)了視頻篡改檢測系統(tǒng)的總體模塊結(jié)構(gòu)，包括系統(tǒng)狀態(tài)管理﹑視頻預(yù)處理﹑篡改檢測﹑結(jié)果處理分析以及數(shù)據(jù)管理五大模塊，如圖1所示。

圖1 視頻幀間篡改檢測系統(tǒng)結(jié)構(gòu)

（1）系統(tǒng)狀態(tài)

系統(tǒng)狀態(tài)功能是向用戶展示系統(tǒng)當(dāng)前的運(yùn)行狀態(tài)，并對各個狀態(tài)下用戶可以進(jìn)行執(zhí)行的操作進(jìn)行限制和管理。

（2）視頻預(yù)處理

該模塊是將用戶選擇的視頻進(jìn)行預(yù)期處理，為后續(xù)的檢測工作提供服務(wù)。視頻分析功能利用FFprobe分析待檢視頻的編碼參數(shù)﹑分辨率等信息。解碼功能將待檢視頻解碼成幀序列，其實(shí)現(xiàn)依賴于開源庫FFmpeg，通過合理的配置使其能夠處理盡可能多的視頻格式。圖像轉(zhuǎn)化功能主要是對解碼得到的圖像進(jìn)行通道轉(zhuǎn)化，多為由RGB三通道轉(zhuǎn)為灰度單通道。

（3）篡改檢測

該模塊是核心功能模塊，利用實(shí)現(xiàn)的篡改檢測算法對待檢視頻進(jìn)行檢測。系統(tǒng)用C語言移植了文獻(xiàn)[2，7]的檢測算法，并分析實(shí)際應(yīng)用中存在的問題，設(shè)計(jì)了相應(yīng)的功能模塊?；瑒哟翱诠δ茉跈z測長視頻序列時將其劃分為短序列，避免以單線操作整個長序列帶來的時間消耗。特征計(jì)算功能通過解碼得到的幀序列計(jì)算檢測所需的特征。該功能是整個流程中最耗時的部分，也是集中優(yōu)化的部分。異常檢測則是通過檢測計(jì)算得到的特征中的異?，F(xiàn)象，判斷待檢視頻是否遭到篡改并得出篡改點(diǎn)信息。

（4）結(jié)果處理

結(jié)果處理是為了將待檢視頻的檢測結(jié)果以更豐富明晰的方式展現(xiàn)，可視化處理待檢視頻的篡改信息﹑視頻信息﹑特征序列，給出多元的檢測結(jié)果報(bào)告。格式化數(shù)據(jù)組建將展示的結(jié)果信息和系統(tǒng)信息等組織成定義好的數(shù)據(jù)格式，存入數(shù)據(jù)庫作為存檔。

（5）數(shù)據(jù)管理

該模塊是系統(tǒng)的重要功能模塊。該模塊提供了檢測完成后待檢視頻序列檢測結(jié)果的存檔，同時還對執(zhí)行檢測操作時的系統(tǒng)信息﹑視頻自身信息等進(jìn)行記錄，并對這些重要信息提供簡便的檢索功能。這些功能均是源于應(yīng)用場景的實(shí)際需求。

1.2 系統(tǒng)流程設(shè)計(jì)

完成系統(tǒng)的整體設(shè)計(jì)后，需要細(xì)化系統(tǒng)各模塊。這一步的主要工作是設(shè)計(jì)各個功能模塊的具體功能和不同模塊間的協(xié)作關(guān)系。系統(tǒng)的流程設(shè)計(jì)為主要環(huán)節(jié)，現(xiàn)對這方面進(jìn)行簡要闡述。

系統(tǒng)采用經(jīng)典的三層模型結(jié)構(gòu)，自上而下為表示層﹑邏輯層和數(shù)據(jù)訪問層。表示層負(fù)責(zé)播放用戶選擇的待檢視頻﹑展示視頻篡改檢測的結(jié)果﹑展示記錄檢索的結(jié)果等功能界面；邏輯層負(fù)責(zé)執(zhí)行待檢視頻的檢測，并針對檢測結(jié)果的增刪查改與數(shù)據(jù)訪問層相關(guān)聯(lián)；數(shù)據(jù)訪問層規(guī)定了對后臺數(shù)據(jù)庫的操作方式。

根據(jù)用戶操作流程實(shí)現(xiàn)功能模塊，對于保證系統(tǒng)的可用性和用戶友好性具有重要作用。在此以用戶執(zhí)行一次篡改檢測流程為例給出流程圖，以說明系統(tǒng)常規(guī)的操作流程，如圖2所示。

用戶在選擇需要檢測的視頻后，系統(tǒng)判斷解碼器是否支持該視頻的格式。若格式支持，前臺表示層將播放該視頻，同時邏輯層對視頻執(zhí)行篡改檢測。檢測結(jié)果決定了表示層向用戶展示的內(nèi)容，若判斷待檢視頻未遭篡改，則將視頻的格式﹑編碼參數(shù)﹑分辨率等信息展示給用戶；若判斷待檢視頻遭到篡改，則將篡改點(diǎn)類型﹑位置和特征序列﹑篡改點(diǎn)前后幾幀等內(nèi)容展示給用戶。用戶在查閱完結(jié)果后，可以選擇是否保存此次篡改檢測結(jié)果的信息。若選擇保存，則將相關(guān)信息和此次執(zhí)行操作的記錄寫入數(shù)據(jù)庫；否則，將此次操作記錄寫入數(shù)據(jù)庫。

圖2 篡改檢測流程設(shè)計(jì)

2 性能優(yōu)化研究

2.1 問題分析

考慮到多種編碼參數(shù)的待檢視頻的適應(yīng)性要求，在實(shí)現(xiàn)篡改檢測時，利用的算法為基于篡改點(diǎn)內(nèi)容不連續(xù)性的方法。該類方法在實(shí)際應(yīng)用中的主要問題是其需要將視頻序列解碼成幀序列，之后再對幀序列逐幀計(jì)算特征，會產(chǎn)生大量的時間消耗。在使用OpenCV實(shí)現(xiàn)的LK光流接口進(jìn)行實(shí)驗(yàn)時，處理1 280×720分辨率的視頻效率接近2秒/幀。雖然大部分情況下篡改檢測操作沒有高實(shí)時性要求，但巨大的時間消耗無法滿足系統(tǒng)的可用性要求。為此，根據(jù)特征計(jì)算的特點(diǎn)，系統(tǒng)使用GPU執(zhí)行特征計(jì)算，大幅降低了執(zhí)行時間，大大改進(jìn)了篡改檢測功能模塊。

2.2 GPU與CUDA

GPU（GraphicsProcessingUnits，圖形處理器）目前已成為執(zhí)行大規(guī)模并行計(jì)算的主要工具。不同于CPU的多核結(jié)構(gòu)，GPU采用的是眾核架構(gòu)，其絕大部分晶體管都用于執(zhí)行單元而非復(fù)雜的控制單元和緩存。因此，GPU可以容納上千個沒有邏輯關(guān)系的數(shù)值計(jì)算線程，較CPU有更強(qiáng)大的計(jì)算能力。

圖3 CPU與GPU架構(gòu)對比

CUDA（Compute Unified Device Architecture，統(tǒng)一計(jì)算設(shè)備架構(gòu)）是NVIDIA于2007年推出的通用并行計(jì)算平臺，提供了抽象的線程模型和內(nèi)存模型。它為使用GPU執(zhí)行并行計(jì)算提供了良好的編程模型，極大降低了使用GPU進(jìn)行數(shù)據(jù)計(jì)算的開發(fā)難度。CUDA提供了CPU+GPU的異構(gòu)計(jì)算架構(gòu)。具體地，使用CPU執(zhí)行復(fù)雜邏輯控制，使用GPU執(zhí)行高度并行化的數(shù)據(jù)計(jì)算。主機(jī)端代碼通過CPU執(zhí)行，GPU設(shè)備上的代碼則在主機(jī)端通過核函數(shù)（kernel）執(zhí)行[8]。

2.3 特征計(jì)算優(yōu)化

在進(jìn)行計(jì)算任務(wù)時，首先需要保證實(shí)現(xiàn)代碼的正確性，之后進(jìn)行進(jìn)一步的性能優(yōu)化。性能優(yōu)化的主要途徑有：訪存優(yōu)化﹑計(jì)算資源優(yōu)化以及數(shù)據(jù)本地化[9]。訪存優(yōu)化與數(shù)據(jù)本地化利用CUDA的內(nèi)存模型，使數(shù)據(jù)在GPU片上內(nèi)存的存儲與加載能夠充分利用帶寬。計(jì)算資源優(yōu)化利用CUDA的線程模型，以最大化發(fā)揮GPU計(jì)算單元的能力。

2.3.1 幀序列存儲與加載優(yōu)化

CUDA的內(nèi)存模型提供了多種可編程內(nèi)存類型，包括寄存器﹑共享內(nèi)存﹑本地內(nèi)存﹑常量內(nèi)存﹑紋理內(nèi)存和全局內(nèi)存。核函數(shù)的線程有私有的寄存器和本地內(nèi)存；線程塊有對其所有線程可見的共享內(nèi)存，而常量內(nèi)存﹑紋理內(nèi)存和全局內(nèi)存對所有內(nèi)存可見。

數(shù)據(jù)在主機(jī)與GPU設(shè)備之間的傳輸通常是GPU計(jì)算的瓶頸。使用GPU進(jìn)行圖像計(jì)算時，大部分研究/開發(fā)人員選擇了在GPU上進(jìn)行RGB三通道向灰度單通道轉(zhuǎn)換的計(jì)算。但實(shí)際中發(fā)現(xiàn)，在片上進(jìn)行通道轉(zhuǎn)換意味著要將原始三通道圖像數(shù)據(jù)傳輸?shù)皆O(shè)備上，不僅會增加多主機(jī)與設(shè)備間需要傳輸?shù)臄?shù)據(jù)量，而且會減少單次傳輸?shù)膱D像數(shù)量，反而降低了總體計(jì)算性能。更合理的方案是在主機(jī)端CPU上進(jìn)行通道轉(zhuǎn)換，然后在GPU上處理單通道灰度圖。

在對視頻進(jìn)行特征計(jì)算時，不同于對單一圖像進(jìn)行計(jì)算。首先，由于GPU片上內(nèi)存空間的限制，大部分情況下無法將整個視頻的幀序列一次性拷貝到GPU的片上內(nèi)存中。而采取處理單張圖像的方式逐幀傳輸與計(jì)算，則會大大增加主機(jī)與GPU設(shè)備之間的數(shù)據(jù)傳輸次數(shù)，嚴(yán)重影響整體的計(jì)算優(yōu)化效果?？紤]到每幀在計(jì)算特征的同時需要使用歷史數(shù)據(jù)，本文采用類似滑動窗口的機(jī)制。首先根據(jù)GPU的存儲大小﹑視頻分辨率決定窗口大小，在GPU的全局存儲空間內(nèi)維護(hù)一個圖像序列。當(dāng)序列中一定數(shù)量的圖像計(jì)算完成后，則拷貝進(jìn)新的圖像覆蓋舊數(shù)據(jù)。為了避免進(jìn)行新數(shù)據(jù)覆蓋時過多的數(shù)據(jù)移動操作，另用一個數(shù)組維護(hù)圖像序列的索引。這個過程用偽代碼表示為：

在單幀圖像上執(zhí)行計(jì)算時，也可以采取一定的措施提高數(shù)據(jù)的傳輸速率。將數(shù)據(jù)從全局內(nèi)存中載入讀寫速度更快的共享內(nèi)存，然后通過共享內(nèi)存進(jìn)行數(shù)據(jù)讀取，減少從較慢的全局內(nèi)存讀取數(shù)據(jù)，提高了數(shù)據(jù)讀取速度。用CUDA提供的share 標(biāo)識符聲明二維數(shù)組，使其作為共享變量來通過共享內(nèi)存存取數(shù)據(jù)，從全局內(nèi)存中讀入線程塊所需的數(shù)據(jù)后，所有線程通過此數(shù)組讀取數(shù)據(jù)而不再通過全局內(nèi)存。

2.3.2 計(jì)算優(yōu)化

計(jì)算過程的優(yōu)化圍繞GPU的線程指令執(zhí)行方式展開，GPU的架構(gòu)圍繞流式多處理器（StreamingMultiprocessor，SM）的陣列搭建。CUDA的線程模型是一種兩層結(jié)構(gòu)，第一層是最多由二維線程塊組成的線程網(wǎng)格，第二層是最多由三維線程組成的線程塊。線程塊是SM的調(diào)度單位。SM在線程塊上執(zhí)行指令時，將32個線程劃分成一個基本執(zhí)行單元——線程束。為了最大化利用線程束，在啟動核函數(shù)時，應(yīng)將線程塊大小設(shè)置為32的整數(shù)倍，避免線程束出現(xiàn)空缺。

在線程束中，所有線程執(zhí)行相同的指令。如果使用條件判斷使不同線程執(zhí)行不同指令路徑，會造成線程束分化，導(dǎo)致所有線程無法同時執(zhí)行，嚴(yán)重削弱性能。所以，應(yīng)盡量避免條件分支。若無法避免條件分支，應(yīng)盡量使分支粒度跨線程束，如設(shè)置判斷條件為if((tid/32)%2==0)。

計(jì)算中還應(yīng)注意的是指令執(zhí)行延遲。當(dāng)每個時鐘周期中所有線程調(diào)度器都有線程束執(zhí)行時，可以使計(jì)算資源充分利用。當(dāng)一個線程束阻塞時，應(yīng)當(dāng)保證有其他滿足條件的線程束供調(diào)度器調(diào)度。根據(jù)利特爾法則（Little’s Law），保證充足的線程束數(shù)量可以達(dá)到延遲隱藏的目的。

利用線程模型進(jìn)行計(jì)算資源的優(yōu)化，主要方法為：合理設(shè)置線程塊大小，保證其是線程束大小的整數(shù)倍，保證線程塊中有足夠多的線程束，規(guī)避線程束分化問題。

2.3.3 總體流程與結(jié)果

使用GPU計(jì)算視頻幀序列的通用優(yōu)化流程如圖4所示。依照該流程，系統(tǒng)實(shí)現(xiàn)了優(yōu)化的特征計(jì)算替換原先算法實(shí)現(xiàn)中的相應(yīng)部分。

依據(jù)優(yōu)化流程取代原先實(shí)現(xiàn)的特征計(jì)算部分，在NvidiaGeforceGTX850M（計(jì)算能力5.0），編譯環(huán)境VisualStudioCommunity 2015﹑CUDA8.0下，LK光流和NTF初步表現(xiàn)結(jié)果如表1﹑表2所示。

圖4 GPU優(yōu)化過程

表1 LK光流平均每幀計(jì)算時間

表2 NTF平均每幀計(jì)算時間

LK光流引入OpenCV實(shí)現(xiàn)的GPU模塊，對滑窗載入幀序列的效果進(jìn)行簡要比對。OpenCV提供的LK光流的GPU API執(zhí)行的是逐幀計(jì)算?？梢钥闯觯瑢?nèi)存存取和計(jì)算流程都采取合理的方法進(jìn)行優(yōu)化后，可以大幅縮短特征計(jì)算時間，對大部分非高清視頻實(shí)現(xiàn)了篡改檢測總體流程完成時間低于視頻的播放時間。此外，盡管每幀數(shù)據(jù)量下降了3倍，但計(jì)算時間并沒有呈現(xiàn)3倍下滑。究其原因，一是角點(diǎn)檢測選取的特征點(diǎn)數(shù)量并沒有呈現(xiàn)倍數(shù)下降，二是數(shù)據(jù)傳輸在異構(gòu)計(jì)算中依舊占據(jù)著大部分時間。所以，在進(jìn)行GPU優(yōu)化時更應(yīng)關(guān)注片上內(nèi)存讀寫的優(yōu)化。

3 結(jié) 語

通過對實(shí)際需求的分析，結(jié)合傳統(tǒng)的系統(tǒng)架構(gòu)設(shè)計(jì)，完成了針對監(jiān)控視頻的幀間篡改檢測系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。在有效實(shí)現(xiàn)檢測算法并使用CUDA對特征計(jì)算過程進(jìn)行合理優(yōu)化后，系統(tǒng)的核心功能表現(xiàn)良好，提供的數(shù)據(jù)管理和結(jié)果展示等功能也保證了數(shù)據(jù)交互和用戶體驗(yàn)。但是，在解碼階段，系統(tǒng)依靠FFmpeg開源庫，在應(yīng)對一些稀少的視頻格式時系統(tǒng)無法有效處理。因此，后期會考慮優(yōu)化解碼器部分，以提高系統(tǒng)應(yīng)對多種格式視頻的能力。

[1] 謝豐,蔣興浩,孫錟鋒.視頻雙壓縮檢測技術(shù)綜述[J].通信技術(shù),2017,50(03):393-399.

XIE Feng,JIANG Xing-hao,SUN Tan-feng.Overview of Video Double Compression Detection[J].Communications Technology,2017,50(03):393-399.

[2] Chao J,Jiang X,Sun T.A Novel Video Inter-frame Forgery Model Detection Scheme based on Optical Flow Consistency[C].International Conference on Digital Forensics and Watermaking,2012:267-281.

[3] Lucas B D,Kanade T.An Iterative Image Registration Technique with an Application to Stereo Vision[C].International Joint Conference on Artificial Intelligence,1981:674-679.

[4] Wang W,Jiang X,Wang S,et al.Identifying Video Forgery Process Using Optical Flow[C].Digital-Forensics and Watermarking,2013:244-257.

[5] Wu Y,Jiang X,Sun T,et al.Exposing Video Inter-frame Forgery based on Velocity Field Consistency[C].IEEE International Conference on Acoustics,Speech and Signal Processing,2014:2674-2678.

[6] Wang Q,Li Z,Zhang Z,et al.Video Inter-Frame Forgery Identification Based on Consistency of Correlation Coefficients of Gray Values[J].Journal of Computer & Communicatio ns,2014,2(04):51-57.

[7] Yin L,Bai Z,Yang R.Video Forgery Detection based on Nonnegative Tensor Factorization[C].IEEE International Conference on Information Science and Technology,2014:148-151.

[8] 程潤偉,馬克斯·格羅斯曼,泰·麥克切爾.CUDAC編程權(quán)威指南[M].北京:機(jī)械工業(yè)出版社,2017.

CHENG Run-wei,Max G,Ty M.Professional CUDAC Programming[M].Beijing:China Machine Press,2017.

[9] 梁軍,賈海鵬.視頻圖像處理與性能優(yōu)化[M].北京:機(jī)械工業(yè)出版社,2017.

LIANG Jun,JIA Hai-peng.Video Image Processing And Performance Optimization[M].Beijing:China Machien Press,2017.