孫佳憶， 曹 芳， 唐振軍， 姚 恒， 秦 川

（1. 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093； 2. 廣西師范大學(xué) 廣西多源信息挖掘與安全重點(diǎn)實(shí)驗(yàn)室，桂林 541004； 3. 上海海事大學(xué) 信息工程學(xué)院，上海 201306）

圖像修復(fù)在許多應(yīng)用領(lǐng)域中得到越來(lái)越多的關(guān)注，它被用來(lái)刪除不想要的物體或區(qū)域，填補(bǔ)圖像中的缺失部分[1]，在計(jì)算機(jī)視覺(jué)研究中也有廣泛的應(yīng)用，包括在圖像恢復(fù)、壓縮、編輯和合并等方面。圖像修復(fù)也擴(kuò)展到與圖像相關(guān)的應(yīng)用程序中，如它被應(yīng)用于視頻和動(dòng)畫(huà)的完成與合并。在過(guò)去的幾十年中，已經(jīng)提出了幾種圖像修復(fù)的經(jīng)典算法。如今的圖像修復(fù)算法以自修復(fù)為主，大概分為兩大類。一類是針對(duì)小區(qū)域破損圖像的修復(fù)方法[1-4]。例如，Bertalmio等[1]提出的BSCB（Bertalrnio, Sapiro, Caselles, Ballester）算法，該算法基于偏微分方程，利用受損區(qū)域周?chē)袼匦畔?lái)對(duì)受損區(qū)域進(jìn)行修復(fù)。Chan等[2]提出的基于曲率驅(qū)動(dòng)擴(kuò)散模型（curvature driven diffusion，CDD）和全變分模型（total variation，TV）[3]是對(duì)破損區(qū)域進(jìn)行平滑修復(fù)，這類方法對(duì)大區(qū)域損壞圖像的修復(fù)會(huì)產(chǎn)生模糊等不好效果。另一類是針對(duì)大區(qū)域破損圖像的修復(fù)[5-11]，這類方法基于圖像的紋理和結(jié)構(gòu)進(jìn)行修復(fù)。Drori等[5]突破了上一類模型中只利用破損區(qū)域附近像素的弊端，以多個(gè)像素組成的小塊為單位，修復(fù)圖像的破損區(qū)域。其中，這類算法中較為經(jīng)典的算法有Criminisi等[6]在2003年提出的一種通過(guò)置信度和結(jié)構(gòu)性函數(shù)來(lái)決定修復(fù)優(yōu)先權(quán)并選出最佳匹配塊的算法。該算法在紋理復(fù)原方面比文獻(xiàn)[5]所采用的方法效果更好，但若圖像的待修復(fù)區(qū)域中存在明顯的結(jié)構(gòu)特征，仍可能無(wú)法得到滿意的修復(fù)效果。

現(xiàn)有的大多數(shù)圖像修復(fù)方法都是對(duì)單幅圖像進(jìn)行的自修復(fù)，即通過(guò)待修復(fù)圖像上的未破壞像素對(duì)待修復(fù)區(qū)域進(jìn)行修復(fù)。這類算法有各自的優(yōu)勢(shì)，但也面臨相同的問(wèn)題，就是由于缺少可信信息使圖像的修復(fù)結(jié)果非常不穩(wěn)定，且待修復(fù)區(qū)域越大越復(fù)雜，圖像的修復(fù)結(jié)果就越不能保證。盡管一些現(xiàn)有的修復(fù)方法獲得了較為理想的視覺(jué)修復(fù)效果，但也只是在肉眼觀察下似乎比較合理，無(wú)法保證其真實(shí)性，即這種自修復(fù)的圖像修復(fù)算法并不能做到恢復(fù)場(chǎng)景的真正面目。

現(xiàn)如今，圖像拼接技術(shù)以及各種圖像處理技術(shù)不斷發(fā)展[12-15]，完全可以選擇一些合適的相關(guān)圖像信息作為參考，利用這些參考圖像對(duì)破損圖像進(jìn)行可信修補(bǔ)，以避免對(duì)修復(fù)區(qū)域做無(wú)根據(jù)的揣測(cè)，可以保證修復(fù)的真實(shí)性。引入相關(guān)圖像的過(guò)程使恢復(fù)圖像的真正面目成為可能，直接增加了圖像恢復(fù)的可信度。但有時(shí)并不能通過(guò)參考圖像獲得足夠的恢復(fù)破損區(qū)域的有用信息，這時(shí)既無(wú)法通過(guò)參考圖像直接完成破損圖像的修復(fù)，又不想放棄現(xiàn)有的參考圖像而完全靠自修復(fù)獲得可信度很低的修復(fù)結(jié)果。所以本文針對(duì)大區(qū)域破損且存在可供參考的圖像的待修復(fù)圖像，提出了一種自修復(fù)和在參考圖像協(xié)助下的可信修補(bǔ)相結(jié)合的圖像修復(fù)方法。

1 可信修補(bǔ)算法

為了盡可能恢復(fù)含有較大破損區(qū)域的待修復(fù)圖像真正面目，并且待修復(fù)圖像的部分破損區(qū)域存在可利用的參考圖像作為前提條件，依托圖像拼接技術(shù)和圖像修復(fù)算法提出了一種自修復(fù)和在參考圖像協(xié)助下的可信修補(bǔ)相結(jié)合的圖像修復(fù)方法，其框架流程如圖1所示。

圖1 可信圖像修補(bǔ)方法流程圖Fig.1 Flowchart of the proposed trustable image inpainting method

本方法是利用參考圖像對(duì)待修復(fù)圖像進(jìn)行可信修補(bǔ)。具體來(lái)講，先提取待修復(fù)圖像和參考圖像中的特征點(diǎn)，再對(duì)兩幅圖像中的特征點(diǎn)進(jìn)行配對(duì)，得到相應(yīng)的特征點(diǎn)對(duì)集，對(duì)點(diǎn)對(duì)集中的特征點(diǎn)對(duì)進(jìn)行篩選，最終完成待修復(fù)圖像和參考圖像的配準(zhǔn)并獲得相應(yīng)的投影矩陣，利用投影矩陣將參考圖像中對(duì)應(yīng)的像素信息投影到待修復(fù)圖像中，完成對(duì)破損區(qū)域的可信修補(bǔ)。若有多幅參考圖像分別是針對(duì)多個(gè)破損區(qū)域，便依次利用這些參考圖像分別對(duì)相應(yīng)的破損區(qū)域進(jìn)行修補(bǔ)。若完成以上操作后，發(fā)現(xiàn)依然存在未修補(bǔ)的破損區(qū)域，而沒(méi)有對(duì)應(yīng)的參考圖像，這時(shí)就借助圖像修復(fù)算法進(jìn)行圖像自修復(fù)。

1.1 特征點(diǎn)的提取與匹配

基于參考圖像的可信圖像修復(fù)是待修復(fù)圖像和移位參考圖像拼接的過(guò)程。圖像拼接的關(guān)鍵為圖像配準(zhǔn)，而配準(zhǔn)的第一步就是提取特征點(diǎn)并完成特征點(diǎn)的粗略匹配。首先，分別提取破損圖像和參考圖像的特征點(diǎn)，從而抓住兩幅圖像中主要特征的具體位置，并對(duì)特征進(jìn)行描述、區(qū)分和配對(duì)。提取特征點(diǎn)的算法有多種，比如SIFT（scale invariant feature transform）特征點(diǎn)提取算法[16]、SUSAN（smallest univalue segment assimilating nucleus）特征點(diǎn)提取算法[17]和Harris特征點(diǎn)提取算法[18]。由于本文研究的問(wèn)題中待修復(fù)圖像與參考圖像重疊區(qū)域大小不定，可能是整個(gè)場(chǎng)景的重疊，也可能只是想利用參考圖像里的一個(gè)事物，所以在選擇提取特征點(diǎn)的算法上要關(guān)注算法的穩(wěn)健性和多量性。

Lowe[16]2004年提出了SIFT算法，該算法提取的特征點(diǎn)具有以下特征：提取的是圖像的局部特征，具有良好的穩(wěn)健性；對(duì)平移、尺度縮放、旋轉(zhuǎn)、仿射變換、遮擋，甚至亮度變化和噪聲都有很好的抵抗能力；提取的特征點(diǎn)數(shù)目眾多，即使被處理的圖像中物體較少，也會(huì)產(chǎn)生大量特征點(diǎn)和對(duì)應(yīng)的特征向量。該算法提供了豐富的信息量，非常適用于本文中待修復(fù)圖像和參考圖像的特征提取工作。具體過(guò)程如圖2所示，該算法在大量的特征信息中，能夠快速且準(zhǔn)確地完成粗匹配，且運(yùn)行速度較快，幾乎可達(dá)到實(shí)時(shí)的效果。

圖2 基于參考圖像的修補(bǔ)過(guò)程Fig.2 Inpainting process based on a reference image

SIFT算法包含兩個(gè)階段：階段一是特征點(diǎn)的提取和特征向量的生成；階段二是對(duì)特征點(diǎn)進(jìn)行配對(duì)。

其中，特征點(diǎn)的提取步驟如下：

a. 構(gòu)造高斯金字塔，再做出DOG（difference of Gaussian）金字塔，檢測(cè)尺度空間極值點(diǎn)。

DOG的表達(dá)式為

式中：σ是尺度坐標(biāo)；(x, y)是空間坐標(biāo)；L(x, y, σ)是二維圖像的尺度空間。圖3是由高斯金字塔算出的DOG金字塔的過(guò)程。

b. 極值點(diǎn)精確定位。

對(duì)三維二次函數(shù)進(jìn)行擬合，從而獲得極值點(diǎn)的位置和尺度；然后對(duì)得到的極值點(diǎn)進(jìn)行篩選，先去除對(duì)噪聲敏感或低對(duì)比度的像素點(diǎn)，再去除位于邊緣的像素點(diǎn)。方法如下：通過(guò)對(duì)比度對(duì)特征點(diǎn)進(jìn)行篩選，D ( x, y, σ )的泰勒展開(kāi)式為

式中：D是某像素點(diǎn)的 DOG結(jié)果；x是待選像素。由此便可求得

可通過(guò)對(duì)設(shè)置閾值，便可篩去對(duì)比度低的特征點(diǎn)。去除邊緣點(diǎn)是通過(guò)海森邊緣檢測(cè)，矩陣公

圖3 DOG金字塔轉(zhuǎn)化過(guò)程Fig. 3 Transformation process of DOG pyramid

式為

篩選公式為

c. 確定特征點(diǎn)方向。

SIFT 算法是通過(guò)特征點(diǎn)周?chē)袼氐奶荻忍卣鳛樘卣鼽c(diǎn)賦予特征向量，模和方向分別為

式中，L(x, y)是點(diǎn)(x, y)所在的尺度空間。

d. SIFT特征點(diǎn)匹配。

通過(guò)相似性對(duì) SIFT 特征點(diǎn)進(jìn)行配對(duì)。本文利用歐氏距離對(duì)SIFT的特征向量進(jìn)行匹配，獲得點(diǎn)對(duì)集S，完成特征點(diǎn)的粗匹配。

1.2 特征點(diǎn)對(duì)再篩選

獲取兩幅圖像時(shí)的各種不確定因素會(huì)導(dǎo)致誤匹配現(xiàn)象，進(jìn)而直接影響配準(zhǔn)結(jié)果，使得以該結(jié)果為依據(jù)進(jìn)行的圖像可信修補(bǔ)效果較差。所以在特征點(diǎn)粗匹配基礎(chǔ)上要進(jìn)一步篩選，以減小待修復(fù)圖像和參考圖像的配準(zhǔn)誤差。本文采用RANSAC（random sample consensus）算法進(jìn)行特征點(diǎn)再篩選。

RANSAC匹配算法的基本思想是：為求出對(duì)應(yīng)的目標(biāo)函數(shù)，先隨機(jī)選出M組數(shù)據(jù)，而目標(biāo)函數(shù)就決定了每次抽取數(shù)據(jù)的個(gè)數(shù)；接下來(lái)用M組數(shù)據(jù)分別估算出目標(biāo)函數(shù)的參數(shù)，再找出每組參數(shù)對(duì)應(yīng)的內(nèi)外點(diǎn)，求出每組參數(shù)的內(nèi)點(diǎn)個(gè)數(shù)，內(nèi)點(diǎn)個(gè)數(shù)越多，就表示該組模型目標(biāo)函數(shù)中的參數(shù)越準(zhǔn)確。本文采用投影變換模型，該模型需要的最小數(shù)據(jù)量為4 對(duì)匹配點(diǎn)，包含平移、旋轉(zhuǎn)、縮放和拉伸形變，故該模型適用于所有不同情況拍攝得到的圖像間的變換。

RANSAC算法的具體步驟為：

a. 在匹配點(diǎn)對(duì)集S中反復(fù)隨機(jī)抽4對(duì)匹配點(diǎn)對(duì)，算出對(duì)應(yīng)的變換模型；

b. 用點(diǎn)對(duì)集中所有匹配點(diǎn)對(duì)檢驗(yàn)該變換模型，選出該變換模型的支撐點(diǎn)集，便是樣本的內(nèi)點(diǎn)對(duì)，再利用樣本內(nèi)點(diǎn)對(duì)算出歐式距離，歐式距離為

式中，n為滿足該模型的內(nèi)點(diǎn)個(gè)數(shù)；

c. 可根據(jù)內(nèi)點(diǎn)個(gè)數(shù)與歐式距離選出兩幅待拼接圖像變換模型；

d. 重復(fù)進(jìn)行步驟a, b，使之產(chǎn)生符合標(biāo)準(zhǔn)的最佳變換模型。

利用求出的最佳投影變換模型來(lái)表示待修復(fù)圖像和參考圖像像素之間的關(guān)系

式中，分別表示待修復(fù)圖像和參考圖像的齊次坐標(biāo)，投影變換矩陣H本身是齊次，，兩者相差一個(gè)非零常數(shù)因子。圖4表示投影變換模型拼接過(guò)程，首先將參考圖像I2通過(guò)最佳變換模型投影到待修復(fù)圖像I1所在平面，得到圖像，再找出待修復(fù)圖像I1與圖像重疊區(qū)域內(nèi)的破損像素，并用圖像中相應(yīng)位置的像素來(lái)進(jìn)行修復(fù)。

圖4 投影矩陣模型拼接示意圖Fig.4 Schematic of projection matrix model

當(dāng)n = 4時(shí)，投影變換矩陣能求出唯一解；當(dāng)n ＞ 4時(shí)，投影變換矩陣的解就不再唯一。本文是運(yùn)用RANSAC算法篩選出正確匹配特征點(diǎn)對(duì)，同時(shí)獲得對(duì)應(yīng)的投影矩陣H，再通過(guò)投影矩陣將參考圖像投影在待修復(fù)圖像上，完成配準(zhǔn)和部分破損區(qū)域的修復(fù)工作。

1.3 圖像自修復(fù)

因?yàn)楸疚难芯康氖切迯?fù)大區(qū)域破損的圖像，雖然經(jīng)過(guò)前面在參考圖像的配合下完成部分區(qū)域的可信修補(bǔ)，但仍可能存在一些破損區(qū)域，且只能依靠圖像的自修復(fù)。這里選用針對(duì)大區(qū)域破損的Criminisi修復(fù)算法[6]，該算法基于圖像的紋理和結(jié)構(gòu)來(lái)進(jìn)行修復(fù)，在紋理復(fù)原方面較為優(yōu)秀，但也存在修復(fù)算法的通病，即修復(fù)效果不太穩(wěn)定。

Criminisi算法分為以下3個(gè)部分[7-8]：

a. 計(jì)算塊的優(yōu)先權(quán)。

p為選取在輪廓線上的目標(biāo)像素，以p為中心的目標(biāo)塊，該塊的優(yōu)先權(quán)P(p)定義為

P(p)體現(xiàn)出待修復(fù)的塊的置信度。式中：C(p)為置信度；E(p)為數(shù)據(jù)項(xiàng)。

式中，為點(diǎn)p等照度線大小與方向。

b. 找出最佳匹配塊。

以p為中心的塊的最佳匹配塊Ψq為

其中，

式中：；R(x)為像素x的紅色分量；G(x)為綠色分量；B(x)為藍(lán)色分量。

c. 修補(bǔ)該目標(biāo)塊并對(duì)置信度更新。

目標(biāo)塊修補(bǔ)完成后，便重新進(jìn)行上兩步，直至圖像修復(fù)完成。

2 結(jié)果與分析

本文的圖像修復(fù)在CPU為1.50 GHz，內(nèi)存為4 GB的計(jì)算機(jī)上進(jìn)行，該計(jì)算機(jī)為64 bit，Windows7的操作系統(tǒng)，在Matlab 2016a上完成編寫(xiě)。待修復(fù)圖像在參考圖像輔助下通過(guò)圖像配準(zhǔn)和投影完成圖像可信修補(bǔ)，然后利用Criminisi算法完成圖像的自修復(fù)過(guò)程。

圖5是利用參考圖像可信修復(fù)與自修復(fù)相結(jié)合所得到的修復(fù)結(jié)果。為了說(shuō)明該系統(tǒng)的可行性，采樣獲得兩幅相關(guān)圖像，圖5（a）為存在較大損壞區(qū)域的待修復(fù)圖像，圖5（b）為從另一角度拍攝得到的移位參考圖像。可以看出兩張圖像存在重疊區(qū)域，需要通過(guò)圖像配準(zhǔn)達(dá)到可信修補(bǔ)。圖5（c）為用SIFT算法在待修補(bǔ)圖像和參考圖像中獲得的特征點(diǎn)的匹配情況，圖5（d）是用RANSAC算法對(duì)圖5（c）中的匹配點(diǎn)對(duì)進(jìn)行進(jìn)一步篩選得到精匹配點(diǎn)對(duì)，同時(shí)獲得參考圖像和待修補(bǔ)圖像的投影模型。圖5對(duì)應(yīng)的投影矩陣為

圖5 基于參考圖像的可信圖像修補(bǔ)結(jié)果Fig. 5 Trustable image inpainting results based on reference images

根據(jù)式（16）得到對(duì)參考圖像的投影結(jié)果，如圖5（e）所示。將該結(jié)果投影到待修復(fù)圖像中，便得到圖5（f），該圖仍存在破損區(qū)域，需利用Criminisi算法進(jìn)行最后的自修復(fù)，得到圖5（g），至此修復(fù)完成。由該結(jié)果可以看出，通過(guò)參考圖像修復(fù)的區(qū)域，不管結(jié)構(gòu)還是紋理，基本符合實(shí)際情況。由于拍攝角度問(wèn)題，不可避免地存在明暗色差，但基本不影響效果。在自修復(fù)方面，Criminisi算法是目前基于大區(qū)域修復(fù)較為優(yōu)秀的算法之一，在圖5的試驗(yàn)中，效果較理想且結(jié)構(gòu)有所顯現(xiàn)，但自修復(fù)本身就有不穩(wěn)定的特性，無(wú)法對(duì)每個(gè)圖像的修復(fù)效果有所保證。這兩種修復(fù)算法相結(jié)合，可以最大限度地?fù)P長(zhǎng)避短。

圖6為另一組圖像的修復(fù)結(jié)果?？梢钥闯?，在待修復(fù)圖像與參考圖像間存在相對(duì)較大的位移和較復(fù)雜的變換關(guān)系，這里依靠約占50%的重疊區(qū)域，完成準(zhǔn)確地待修復(fù)圖像與參考圖像的配準(zhǔn)，保持了較穩(wěn)定的修復(fù)效果。

圖6 可信圖像修補(bǔ)結(jié)果Fig.6 Trustable image inpainting results

圖7是對(duì)該系統(tǒng)的實(shí)際應(yīng)用，利用參考圖7（c）對(duì)圖7（a）中的遮擋物后方場(chǎng)景進(jìn)行修補(bǔ)，利用圖像配準(zhǔn)得到的投影圖像圖7（d）進(jìn)行修補(bǔ)，對(duì)剩余待修復(fù)部分進(jìn)行自修復(fù)?？梢钥闯?，基于參考圖像的可信修補(bǔ)結(jié)果理想且較為穩(wěn)定，而需要自修復(fù)的破損區(qū)域較大時(shí)，自修復(fù)效果較不穩(wěn)定。

圖7 對(duì)圖像中遮擋物的修補(bǔ)過(guò)程Fig.7 Trustable inpainting process for the image with marked occlusion object

圖8 是基于多幅參考圖像的修補(bǔ)過(guò)程，在這里對(duì)于一幅待修復(fù)圖像獲取了多幅相關(guān)的參考圖像。圖8（a）為待修復(fù)圖像，可以看出損壞區(qū)域相對(duì)較大且分布較為均勻，不同復(fù)雜度的區(qū)域均存在破損，圖8（b）、圖8（c）和圖8（d）是對(duì)應(yīng)不同的待修復(fù)區(qū)域的3幅參考圖像?？梢钥闯?，參考圖像是其中一個(gè)單獨(dú)的小事物，無(wú)需待修復(fù)圖像的大環(huán)境就可以完成配準(zhǔn)和圖像的修補(bǔ)，這使得參考圖像的獲取更為便利。

圖8 待修復(fù)圖像和多幅參考圖像Fig.8 Damaged images and multiple reference images

圖9是圖8中的3幅參考圖像分別通過(guò)SIFT和RANSAC算法，與圖8（a）進(jìn)行配準(zhǔn)，并在投影矩陣下產(chǎn)生的投影結(jié)果。再分別利用投影圖像中相關(guān)像素對(duì)待修復(fù)圖像進(jìn)行修補(bǔ)，最終得到基于參考圖像的可信修補(bǔ)結(jié)果，如圖10所示。圖11是待修復(fù)圖像中剩余的破損區(qū)域利用Criminisi算法進(jìn)行自修復(fù)的結(jié)果，至此該圖像修補(bǔ)完成。

圖9 參考圖像的投影結(jié)果Fig.9 Projection results for reference images

圖10 基于多幅參考圖像的修補(bǔ)結(jié)果Fig.10 Inpainting results based on multiple reference images

圖11 基于多幅參考圖像的最終修補(bǔ)結(jié)果Fig.11 Final inpainting result based on multiple referenceimages

表1、表2分別為本文算法與Criminisi算法的峰值信噪比（peak signal to noise ratio，PSNR）、運(yùn)行時(shí)間的比較結(jié)果。雖然參考圖像與待修補(bǔ)圖像之間存在亮度等差別，但在紋理、結(jié)構(gòu)和真實(shí)性方面有著明顯優(yōu)勢(shì)。從表1、表2可以看出，本文方法在PSNR和運(yùn)行速度方面均有較大優(yōu)勢(shì)，且優(yōu)勢(shì)大小與基于參考圖像的可信修補(bǔ)區(qū)域和自修復(fù)區(qū)域所占比例有著直接關(guān)系。

基于參考圖像的修復(fù)效果比較穩(wěn)定，SIFT粗匹配和RANSAC精匹配基本可以承受參考圖像獲取角度帶來(lái)的很大程度的畸變，而Criminisi通過(guò)置信度和結(jié)構(gòu)性函數(shù)來(lái)選出的最佳匹配塊，在紋理和結(jié)構(gòu)方面也能獲得較為理想的效果，所以該系統(tǒng)對(duì)各種情況均有較好的穩(wěn)定性。

表1 兩種算法的PSNR比較Tab.1 PSNR comparison between the two algorithms

表2 兩種算法的運(yùn)行時(shí)間比較Tab.2 Execution time comparison between the two algorithms

3 結(jié) 論

對(duì)于圖像修復(fù)方面，提出了一種基于參考圖像的可信圖像修補(bǔ)與圖像自修復(fù)相結(jié)合的修復(fù)方法。該方法綜合了圖像拼接與圖像修復(fù)各自的優(yōu)點(diǎn)，即利用SIFT算法與RANSAC算法將參考圖像中的相關(guān)信息投影在待修復(fù)圖像上，之后再利用Criminisi算法進(jìn)行最后的自修復(fù)。通過(guò)以上過(guò)程，使該方法在各種條件下皆有較高的適應(yīng)性，且最大限度地提高了修復(fù)結(jié)果的可信度和穩(wěn)定性。通過(guò)利用能夠獲得的多幅相關(guān)圖像，從根本上解決了現(xiàn)有的自修復(fù)算法因缺乏已知信息而無(wú)法保證修復(fù)質(zhì)量的問(wèn)題。

參考文獻(xiàn)：

[1]BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM, 2000： 417-424.

[2]CHAN T F, SHEN J H. Non-texture inpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4)：436-449.

[3]CHAN T F, SHEN J H. Mathematical models for local non-texture inpainting[J]. SIAM Journal on Applied Mathematics, 2002, 62(3)： 1019-1043.

[4]SINGH M, KAUR H. Image inpainting in remotely sensed images by optimizing NLTV model by ant colony optimization[C]//Proceedings of the 2016 2nd International Conference on Next Generation Computing Technologies.Dehradun： IEEE, 2016： 687-693.

[5]DRORI I, COHEN-OR D, YESHURUN H. Fragmentbased image completion[C]//Proceedings of the 30th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM, 2003： 303-312.

[6]CRIMINISI A, PEREZ P, TOYAMA K. Object removal by exemplar-based inpainting[C]//Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Wisconsin： IEEE, 2003： 721-728.

[7]CHEN Z H, DAI C, JIANG L, et al. Structure-aware image inpainting using patch scale optimization[J]. Journal of Visual Communication and Image Representation, 2016,40： 312-323.

[8]LIU H X, SUN J X, SUN H B, et al. Image inpainting based on hidden Markov random field[C]//Proceedings of 2016 IEEE 13th International Conference on Signal Processing. Chengdu： IEEE, 2016： 697-701.

[9]SMEETS D, KEUSTERMANS J, VANDERMEULEN D,et al. Mesh-SIFT： local surface features for 3D face recognition under expression variations and partial data[J].Computer Vision and Image Understanding, 2013, 117(2)：158-169.

[10]WANG J Z, MA Z Q, ZHANG B X, et al. A structurepreserved local matching approach for face recognition[J].Pattern Recognition Letters, 2011, 32(3)： 494-504.

[11]HUANG Y, LI K, YANG M. An improved image inpainting algorithm based on image segmentation[J].Procedia Computer Science, 2017, 107： 796-801.

[12]HOSSEIN-NEJAD Z, NASRI M. An adaptive image registration method based on SIFT features and RANSAC transform[J]. Computers &Electrical Engineering, 2017,62： 524-537.

[13]KUO T Y, SU P C, KUAN Y P. SIFT-guided multiresolution video inpainting with innovative scheduling mechanism and irregular patch matching[J]. Information Sciences, 2016, 373： 95-109.

[14]劉春曉, 金劍秋, 彭群生. 利用大位移視圖的自動(dòng)可信圖像修補(bǔ)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(3)： 351-357.

[15]梅楊楊, 謝海明, 韓露, 等. 基于Harris算子的圖像拼接高精度檢測(cè)技術(shù)[J]. 光學(xué)儀器, 2010, 32(1)： 9-12.

[16]LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2)： 91-110.

[17]SMITH S M, BRADY J M. SUSAN-A new approach to low level image processing[J]. International Journal of Computer Vision, 1997, 23(1)： 45-78.

[18]HARRIS C, STEPHENS M. A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference. Manchester： Springer, 1988： 147-151.