王琛　閔永軍　張?zhí)齑?/p>

摘? 要：利用真實圖像生成虛擬駕駛場景視圖時，首先要從圖像中移除車輛、行人等前景目標(biāo)，以便獲得不包含移動目標(biāo)的背景圖像。針對原始Criminisi算法存在的圖像破損區(qū)域在修復(fù)后會出現(xiàn)模糊效應(yīng)、邊界不夠平滑的弊端，提出了一種在處理掩膜圖像環(huán)節(jié)使用開運算，并優(yōu)化原始優(yōu)先權(quán)函數(shù)的改進(jìn)算法。運用MATLAB仿真平臺進(jìn)行實驗分析，結(jié)果表明改進(jìn)后算法修復(fù)時間平均縮短了16.5 s，峰值信噪比平均高出原算法1.65 dB。該算法還原了圖像中更多的道路信息，彌補了Criminisi算法的不足。

關(guān)鍵詞：圖像修復(fù);Criminisi算法;開運算;道路場景;虛擬駕駛

中圖分類號：TP391.41? ? ?文獻(xiàn)標(biāo)識碼：A

Image Restoration of Automatic Driving Simulation Road

Scene based on Improved Criminisi Algorithm

WANG Chen， MIN Yongjun， ZHANG Tianci

（College of Automobile and Traffic Engineering， Nanjing Forestry University， Nanjing 210037， China）

wangchen12090598@126.com; yjmin@njfu.edu.cn; 814575590@qq.com

Abstract： When generating virtual driving scene view from real images， the foreground objects such as vehicles and pedestrians should be removed from the image first， so to obtain a background image without moving objects. Aiming at the shortcomings of the original Criminisi algorithm that the damaged area of the image will have fuzzy effect and the boundary is not smooth enough after repairing， this paper proposes an improved algorithm， which uses open operation and optimizes the priority function in the process of mask image. MATLAB Simulation platform is used for experimental analysis. The results show that the restoring time of the improved algorithm is shortened by 16.5 seconds on average， and the peak signal-to-noise ratio is 1.65 dB higher than the original algorithm on average. The improved algorithm restores more road information in the image and makes up for the deficiency of Criminisi algorithm.

Keywords： image restoration; Criminisi algorithm; open operation; road scene; virtual driving

1? ?引言（Introduction）

在自動駕駛領(lǐng)域，基于場景的仿真測試在算法研發(fā)、系統(tǒng)測試和安全驗證等環(huán)節(jié)中必不可少。道路場景是自動駕駛仿真系統(tǒng)中駕駛場景的核心要素，傳統(tǒng)的道路場景使用游戲引擎或計算機圖形學(xué)模型來創(chuàng)建，不僅成本高、耗時多，而且所得場景圖像缺乏真實世界圖像的豐富性和真實性，不能滿足自動駕駛測試的需要[1]。數(shù)據(jù)驅(qū)動自動駕駛仿真道路場景以移除了行人、車輛等前景目標(biāo)的真實圖像為基礎(chǔ)，通過圖像修復(fù)復(fù)原完整的背景圖像，創(chuàng)建類似真實世界的模擬場景，可避免傳統(tǒng)方法的不足，成為道路場景構(gòu)建技術(shù)的發(fā)展方向。

目前，圖像復(fù)原修復(fù)技術(shù)主要分為兩種，分別是基于結(jié)構(gòu)的修復(fù)[2]和基于紋理的修復(fù)[3]。基于結(jié)構(gòu)的修復(fù)方法是由BERTALMIO等人[4]提出的，利用圖像分解模型將圖像分解為結(jié)構(gòu)部分和紋理部分，先用偏微分方程（Partial Differenitial Equation， PDE）方法修復(fù)結(jié)構(gòu)部分，再用紋理合成技術(shù)對紋理部分進(jìn)行填充[5]?；诖朔椒ǖ倪€有CHAN等人提出的整體變分（TV）模型[6]和曲率擴散（CDD）模型[7]。基于紋理的修復(fù)技術(shù)[8]是以圖像塊為單位，用已知的圖像信息合成圖像缺損部分的信息，進(jìn)而達(dá)到修復(fù)的目的，它與第一種方法最明顯的區(qū)別在于它修復(fù)大面積缺損的圖像時效果更好。這類方法的代表是CRIMINISI等人[9]在2004 年提出的新的修復(fù)算法。該算法首次引入了優(yōu)先權(quán)的概念，利用數(shù)據(jù)項與置信項的乘積來決定處理的先后次序，而后利用最佳匹配搜索來填補空白區(qū)域，考慮了目標(biāo)對象的結(jié)構(gòu)與紋理。應(yīng)用于自動駕駛仿真的背景圖像通常需要移除行人、車輛等大面積復(fù)雜圖像區(qū)域，使用基于結(jié)構(gòu)的算法修復(fù)時模糊效應(yīng)嚴(yán)重，而使用Criminisi算法修復(fù)相較前者效果有所改觀，但圖像缺損部分的邊界修復(fù)后不夠平滑。

本文根據(jù)自動駕駛仿真系統(tǒng)道路場景構(gòu)建需要，提出一種改進(jìn)的Criminisi算法移除并修復(fù)真實背景圖像中的行人、車輛等目標(biāo)，取得了較好的效果，為自動駕駛仿真中的靜態(tài)場景構(gòu)建提供了良好的基礎(chǔ)。

2? ?Criminisi算法（Criminisi algorithm）

2.1? ?Criminisi算法原理

Criminisi算法將紋理技術(shù)引入圖像修復(fù)中，用以解決在修復(fù)大尺度缺損圖像時基于結(jié)構(gòu)的算法所造成的模糊效應(yīng)。其主要原理如圖1所示，其中是已知的圖像信息，Ω表示待修復(fù)區(qū)域，?Ω為待修復(fù)區(qū)域的邊界，為?Ω上的一點;是以點為中心點鄰域的目標(biāo)塊;是點的法向量，為點的等照度線向量。

其主要思想分為三步：在圖像的已知區(qū)域中計算最大優(yōu)先級目標(biāo)快;在樣本塊中搜尋與待修復(fù)區(qū)域具有最佳匹配度的匹配塊;將匹配塊的信息復(fù)制到待修復(fù)區(qū)域中。

2.1.1? ?計算最大優(yōu)先級目標(biāo)塊

若圖像中含有具有較強的邊緣性特征且已知信息的部分，則這些部分（樣本塊）會被優(yōu)先修復(fù)。點的優(yōu)先權(quán)定義為：

式中，置信度項用于衡量目標(biāo)塊中已知信息的比重;稱為數(shù)據(jù)項，其中表示點的等照度線向量，它的方向與點的梯度向量呈相互垂直關(guān)系，表示待修補區(qū)域邊界的法向量，為歸一化因子。

如上所述，能夠使含有較多已知信息的目標(biāo)塊得到優(yōu)先的修復(fù)，而能夠使含有較多結(jié)構(gòu)信息的目標(biāo)塊優(yōu)先被修復(fù)。和兩項的結(jié)合，才能使圖像的紋理與結(jié)構(gòu)修復(fù)達(dá)到平衡，取得理想的效果。

2.1.2? ?搜尋最佳匹配樣本塊

由第一步計算出了具有最大優(yōu)先權(quán)的目標(biāo)塊，接下來搜索與此目標(biāo)塊最佳的匹配塊。匹配塊與目標(biāo)塊之間的匹配準(zhǔn)則是匹配塊中的紋理信息要盡量與目標(biāo)塊中的紋理信息相一致，匹配公式如下（例如圖1中為最佳匹配塊）：

式中，、、是目標(biāo)塊中像素點的RGB值，、、是匹配塊中像素點的RGB值。

2.1.3? ?復(fù)制信息和更新置信項

樣本塊中的破損區(qū)域被填充后，其像素點的位置也相應(yīng)發(fā)生了變化，從目標(biāo)區(qū)域轉(zhuǎn)移到像素區(qū)域中。按下列方程更新這些點的置信度：

重復(fù)上述修復(fù)步驟，直至將所有待修復(fù)區(qū)域修復(fù)完。修復(fù)流程如圖2所示。

2.2? ?算法存在的問題

在修復(fù)大區(qū)域破損圖像時，Criminisi算法應(yīng)用廣泛。但CHENG等人[10]指出，隨著填充迭代過程的進(jìn)行，置信值會迅速下降到零，這就使得計算出的優(yōu)先值并不可靠，從而影響了修復(fù)順序，進(jìn)而影響最終修復(fù)的效果[11]。此外，在修復(fù)圖像時，Criminisi算法需要對圖像中的待處理部分進(jìn)行掩膜操作，可是人為創(chuàng)建的掩膜圖像邊界不夠平滑，目標(biāo)物間粘連嚴(yán)重，導(dǎo)致待修復(fù)區(qū)域邊緣在修復(fù)后會出現(xiàn)模糊效應(yīng)。數(shù)據(jù)驅(qū)動自動駕駛仿真道路場景以真實圖像為基礎(chǔ)，邊界的模糊會使得仿真系統(tǒng)采集的道路場景數(shù)據(jù)不夠真實，進(jìn)而影響系統(tǒng)對真實道路的自動化還原。

3? 改進(jìn)的Criminisi算法（Improved Criminisi algorithm）

3.1? ?開運算處理

針對前述Criminisi算法的不足，在處理掩膜圖像環(huán)節(jié)使用開運算，對Criminisi算法進(jìn)行改進(jìn)，提高待修復(fù)區(qū)域邊界的清晰性和邊界像素點優(yōu)先權(quán)計算的精度。在數(shù)學(xué)形態(tài)學(xué)中，開運算被定義為先腐蝕后膨脹[12]。

（1）腐蝕

腐蝕的作用是消除物體的邊界點，它能夠把小于目標(biāo)結(jié)構(gòu)元素的物體都去除掉。表示被的腐蝕，具體定義為：

即可看作所有使被平移后包含于的的集合。

（2）膨脹

膨脹的作用是擴大目標(biāo)區(qū)域，填補物體中的空洞，它可以將離得較近的兩個物體聯(lián)通到一起。表示被的膨脹，具體定義為：

膨脹的步驟是首先進(jìn)行關(guān)于原點的映射，然后平移，膨脹被平移后，就會造成它與至少存在一個非0的公共元素。

開運算是先腐蝕再膨脹的運算，其算法仿真如圖3所示，其中圖3（a）是原始掩膜圖像，圖3（b）是開運算處理后得到的效果圖。

經(jīng)過對比可以看出，零碎的小白點物體被消除了，較大物體的邊界變得平滑，同時物體面積沒有明顯改變[13]。在原Criminisi算法處理掩膜圖像的基礎(chǔ)上加入開運算，能去除小顆粒噪聲以及斷開目標(biāo)物之間粘連，使得待修復(fù)的空白部分在修復(fù)后邊緣平滑，模糊效應(yīng)減輕。

3.2? ?優(yōu)先權(quán)函數(shù)的改進(jìn)

由公式（2）可知，當(dāng)為0時，即使數(shù)據(jù)項的值很高，優(yōu)先權(quán)的值也必然等于零，從而該目標(biāo)塊得不到優(yōu)先修復(fù)。針對這一問題，對優(yōu)先權(quán)的計算公式提出如下修改：

式中，和都為常數(shù)。由式（8）可以看出，即使置信項為0，只要數(shù)據(jù)項足夠大，優(yōu)先值的計算結(jié)果依然會比較高，那么目標(biāo)區(qū)域就能被優(yōu)先修復(fù)，這在一定程度上改善了原算法修復(fù)順序混亂的問題。

4? 道路場景圖像修復(fù)實例（Road scene image restoration example）

本實驗在AMD（R） Ryzen7-5800H CPU @2.30 GHz、16.0 GB內(nèi)存，安裝64 位Windows 10設(shè)備的筆記本電腦環(huán)境下實現(xiàn)，使用的算法平臺為MATLAB 2017b。本次算法所使用的圖像為實拍的真實世界道路圖像。實驗內(nèi)容為運用改進(jìn)的Criminisi算法來修復(fù)圖像，與原算法修復(fù)的圖像進(jìn)行對比，并運用峰值信噪比（PSNR）[14]體現(xiàn)出改進(jìn)前后的修復(fù)效果差別。以下為兩組移除圖像中行人、車輛目標(biāo)的修復(fù)效果對比圖，如圖4和圖5所示。

由圖4對比來看，掩膜圖像經(jīng)過開運算的處理，去噪效果明顯且邊緣更加平滑。此圖片運用原Criminisi算法修復(fù)效果已經(jīng)很好，與改進(jìn)后的算法修復(fù)效果對比來看差別并不明顯，引入PSNR來評價，如表1所示。

由表1評價結(jié)果來看，改進(jìn)后的算法修復(fù)圖片失真更小，效果更好，并且由于修復(fù)順序混亂問題的改進(jìn)，圖像修復(fù)的時間減少了，提高了修復(fù)效率。

從圖5車輛區(qū)域的填充不難看出，Criminisi算法在修復(fù)位于圖像邊緣的大尺度缺損的圖像時，并不能輕易尋找到最佳匹配樣本塊，修復(fù)難度大，效果并不理想。原算法在修復(fù)車輛部分的缺損時，運用樹木、路面及斑馬線的顏色進(jìn)行填充，有明顯的修復(fù)痕跡，模糊效應(yīng)嚴(yán)重，樹和斑馬線甚至出現(xiàn)了重影。在運用改進(jìn)的算法修復(fù)原圖片時，修復(fù)效果有明顯改善，斑馬線重影消失了，樹木部分雖然仍然存在模糊效應(yīng)，但比改進(jìn)前的效果已有大幅提升。同樣引入PSNR進(jìn)行評價，如表2所示。

這組實驗的修復(fù)效果差別明顯，由表2客觀評價結(jié)果可得出結(jié)論，改進(jìn)后算法修復(fù)的圖片失真更小，修復(fù)速度更快，使得道路圖像更加真實，還原了更多的道路信息。仿真系統(tǒng)用它作為背景參考圖像將更有利于實現(xiàn)對真實道路的自動化還原。

5? ?結(jié)論（Conclusion）

仿真系統(tǒng)是自動駕駛技術(shù)開發(fā)和驗證的基礎(chǔ)，本文以真實圖像為基礎(chǔ)，研究移除前景目標(biāo)后的背景圖像修復(fù)方法，為仿真系統(tǒng)提供背景參考圖像。Criminisi算法因其在修復(fù)大尺度破損圖像時的優(yōu)越性而適用于仿真系統(tǒng)的靜態(tài)場景構(gòu)建。本文針對它現(xiàn)存的缺陷進(jìn)行改進(jìn)，提出在處理掩膜圖像的環(huán)節(jié)使用開運算，優(yōu)化了待修復(fù)區(qū)域被人為擴大及邊緣粗糙的問題;然后通過對優(yōu)先權(quán)函數(shù)的修改，改善了修復(fù)順序錯亂的問題。實驗證明，改進(jìn)的算法不僅修復(fù)效率有所提高，同時去噪效果明顯且使得破損區(qū)域的邊界在修復(fù)后更加平滑，這將有利于仿真系統(tǒng)從圖像中提取更為真實的道路場景信息。

參考文獻(xiàn)（References）

[1] 張微，李鑫慧，吳學(xué)易，等.自動駕駛仿真技術(shù)研究現(xiàn)狀[J].汽車電器，2019（08）：13-15，8.

[2] LIAN X L， ZHONG Y X， FENG L L， et al. Novel image inpainting based on partial differential equation[J]. Computer Engineering， 2009， 35（6）：234-236.

[3] TANG F， YING Y， WANG J， et al. A novel texture synthesis based algorithm forobject removal in photographs[C]//MAHER M J. Asian Computing Science Conference： Dedicated to Jean-Louis Lassez on the Occasion of His 5th Cycle Birthday. Chiang Mai， Thailand： Oversea Publishing House， 2004：248-258.

[4] BERTALMIO M， VESE L， GUILLERMO S T， et al. Simultaneous structure and texture image inpainting[J]. IEEE Transactionson Image Processing， 2003， 12（8）：882.

[5] 張東，唐向宏，張少鵬，等.小波變換與紋理合成相結(jié)合的圖像修復(fù)[J].中國圖象圖形學(xué)報，2015，20（07）：882-894.

[6] CHAN T F， SHEN J H. Non-texture inpainting by curvature driven diffusions[J]. Journal of Visual Communication and Image Representation， 2001， 12（4）：436-449.

[7] CHAN T F， KANG S H， SHEN J H. Euler's elastic and curvature based inpainting[J]. SIAM Journal on Applied Mathematics， 2002， 63（2）：564-592.

[8] 謝斌，丁成軍，劉壯.基于圖像分解的圖像修復(fù)算法[J].激光與紅外，2018，48（5）：651?658.

[9] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing， 2004， 13（9）：1200-1212.

[10] CHENG W H， HSIEH C W， LIN S K， et al. Robust algorithm for exemplar-based image inpainting[C]//CGIV. Conference on Computer Graphics， Imaging and Visualization. Beijing， China： IEEE， 2005：64-69.

[11] 杜閃閃，韓超.基于總變分模型的改進(jìn)圖像修復(fù)算法[J].激光與光電子學(xué)進(jìn)展，2018，55（7）：175-180.

[12] 白瑜.數(shù)學(xué)形態(tài)學(xué)與形態(tài)學(xué)圖象處理[J].中國高新技術(shù)企業(yè)，2008（15）：113.

[13] 陳尹剛.基于數(shù)學(xué)形態(tài)學(xué)圖像處理算法研究[J].信息通信，2019（12）：67-68.

[14] 何凱，?？』郏虺赡?，等.基于SSIM的自適應(yīng)樣本塊圖像修復(fù)算法[J].天津大學(xué)學(xué)報（自然科學(xué)與工程技術(shù)版），2018，51（07）：763-767.

作者簡介：

王? ??。?998-），男，碩士生.研究領(lǐng)域：汽車檢測與診斷.

閔永軍（1963-），男，博士，教授.研究領(lǐng)域：汽車電子控制和汽車檢測與診斷.

張?zhí)齑龋?989-），男，博士，講師.研究領(lǐng)域：自動駕駛和智能交通與新航行系統(tǒng).