楊光熙
摘要:在油田安防工作中,視頻監(jiān)控是一個重要環(huán)節(jié),近年來無人機技術(shù)的發(fā)展,不僅減少人工巡檢的工作量,更提高對異常情況進行響應(yīng)的及時性。由于無人機行進過程中,針對同一物體獲取到的圖像以及視頻資料可能來自不同角度,導(dǎo)致無人機自動識別目標(biāo)的難度增加,無法達到自動導(dǎo)航的效果。針對這一問題提出可行性改進方案,將SIFT圖像配準(zhǔn)算法應(yīng)用到實際設(shè)備中,提取圖像特征點,并計算每個特征點的描述符,提高特征點匹配的準(zhǔn)確性。
關(guān)鍵詞:油田安防;配準(zhǔn);特征點;特征描述符
一、前言
視頻監(jiān)控是油田生產(chǎn)中的重要技術(shù)手段,油田安防系統(tǒng)中,工作人員可以通過攝像頭對現(xiàn)場進行監(jiān)控。當(dāng)現(xiàn)場出現(xiàn)設(shè)備故障等意外時,視頻數(shù)據(jù)將作為后續(xù)處理故障以及追責(zé)的重要依據(jù)。大慶油田幅員遼闊,因此對于施工作業(yè)現(xiàn)場的影像資料通過人工獲取的成本較大,此外,對于異常情況的響應(yīng)速度也較慢,無法在第一時間獲取現(xiàn)場的影像資料。在這些困難存在的情況下,無人機技術(shù)的應(yīng)用成為必然的趨勢。無人機能夠快速到達現(xiàn)場,節(jié)約人力成本,提高異常情況的響應(yīng)速度。但是目前的無人機仍需要操作員進行遠程控制,無法做到自動識別并鎖定目標(biāo)。究其原因,是由于無人機攝像頭對于目標(biāo)的識別準(zhǔn)確性不高,針對同一物體,從不同角度進行拍攝,無法從獲取到的圖像中識別出同一目標(biāo),從而進行圖像的匹配。SIFT(尺度不變特征變換)[1]算法是David G.Lowe教授于1999年提出的匹配算法,它的基本原理基于不變量描述符的匹配。經(jīng)典SIFT算法對圖像配準(zhǔn)[2]技術(shù)具有重大意義,它有如下的兩個主要特點:①算法針對圖像局部特征進行提取,因此對于圖像場景中的仿射變換、明暗轉(zhuǎn)換等因素的影響下,可以具備良好穩(wěn)定性;②在一些圖像中,我們直接通過肉眼并不能在影響因素存在的條件下輕易識別出物品,但在提取特征點時,該算法可以識別到圖像中極其細微的特征,并為大量特征點建立特征描述符。本文中提出采用SIFT算法對油田監(jiān)控圖像進行配準(zhǔn)的設(shè)想。
二、SIFT算法原理概述
計算機視覺的一項重要功能就是,通過攝像機拍攝的圖像,經(jīng)過特殊算法,獲取到圖像場景中的幾何關(guān)系,并能夠識別物體??臻g物體表面的三維空間位置與圖像中相應(yīng)物體的三維空間關(guān)系是可以通過一定的轉(zhuǎn)換關(guān)系進行關(guān)聯(lián)的[3]。而這種現(xiàn)實中物體的三維幾何特征到圖像中相應(yīng)物體的特征,二者之間的轉(zhuǎn)換關(guān)系就是攝像機的參數(shù),在攝像測量的過程中,也涉及需要這種攝像機參數(shù)的情況,因此,如何獲取準(zhǔn)確的攝像機參數(shù)也成為多年以來的熱門研究課題,這種計算攝像機參數(shù)的過程就被稱為攝像機標(biāo)定。而通過攝像機參數(shù)來對圖像進行處理,將兩幅圖像進行匹配的過程被稱為圖像配準(zhǔn)。
圖像配準(zhǔn)的最基本工作就是找到圖片中最有代表性的亮點或暗點,也就是特征點[4]。由上述可知,特征點的一大特點就是,必須能夠在盡可能多的干擾情況下依然突出,保證其特別性,才能作為描述圖像中物體特性輪廓的點。SIFT算法在分析了多種影響因素的情況下,引入了通過尺度空間來鎖定圖像特征點的方法。即認為,能夠在不同尺度下依然能夠保持突出的點,就是圖像的特征點。SIFT算法的步驟大致分為:①對圖像進行不同尺度的模糊,建立高斯金字塔。②對高斯金字塔進行進一步處理,相鄰圖像做差,建立DoG金字塔[5]。③獲取每一張圖的局部極值點,即最能克服尺度變化依舊保持特殊的點。④極值點篩選,留下特征足夠明顯的極值點,作為特征點。⑤對每一個特征點建立描述符,描述特征點,以便后面進行匹配。⑥將兩幅圖中特征描述符最接近的點進行匹配,獲得最終匹配結(jié)果。算法具體過程解釋如下。
(一)建立高斯金字塔
構(gòu)建尺度空間的過程可以理解為在不同程度上對圖像進行模糊,以便從中提取能夠保持穩(wěn)定特性不受尺度影像的特征。在提取時,需要建立包含各種不同尺度圖像的空間模型。我們稱這個構(gòu)建出的模型為金字塔,它的作用是在各種尺度上對目標(biāo)圖像提取出穩(wěn)定的特征點。Koenderink等教授經(jīng)過試驗證實,在尺度空間引入高斯函數(shù)的方法是最適合對圖像進行處理的。
當(dāng)比例因子連續(xù)增加時,可以獲得一系列模糊程度逐漸增加的圖像。隨著每個級別圖像的比例逐層增加,其模糊程度也逐漸增加,最終結(jié)果是,當(dāng)前圖像的尺寸以及所占內(nèi)存都是上一級別圖像的一半。此處建造的高斯金字塔有o個級別,每個級別都有s個級別。在同一級別中,兩個相鄰級別之間的比例為k。
(二)建立DoG金字塔
Lowe教授在論文中指出,對特征點進行檢測的過程要在尺度不變的條件下才有意義。因此,怎樣在圖像中提取出克服尺度變化的特征,是非常重要的問題。林德伯格指出,歸一化的LOG算子具有良好的尺度不變性。
在計算方面,DoG算子只需要利用尺度相鄰的上下層圖像進行相減,這個過程獲取到目標(biāo)的輪廓特征。利用高斯差分算法,可以得到目標(biāo)圖像上每一個像素值的變化趨勢以及變化值,從而有效提取目標(biāo)圖像所有像素中變化最大的點。在使用高斯差分算子對圖像進行處理的基礎(chǔ)上,進一步建立高斯金字塔(DoG金字塔)。
(三)局部極值點的檢測
提取關(guān)鍵點的過程是在DoG金字塔中的圖像上進行的,為了尋找DoG函數(shù)的極值點,目標(biāo)圖像的每一個像素都要和它周圍的8個相鄰像素進行灰度值比較,看該像素是否為鄰域內(nèi)的極值點。
對每一個檢測點來說,它不僅要和同一尺度的8個相鄰點進行比較,還需要與它上下相鄰尺度圖像中的9×2個點進行比較,即比較范圍為三維空間中的26個相鄰點,確保在縱向上的尺度空間和橫向上的圖像空間都進行極值點檢測,類似于魔方中心塊與周圍相鄰小塊進行比較。
由上述原理敘述可知,在尺度空間提取極值的過程中,每一組圖像的最上和最下兩層是無法進行極值比較的。為了解決這個問題,使尺度連續(xù)變化,在每組圖像的頂部通過高斯模糊的方式生成三幅圖像,這樣就保證了原來的最上層圖像也有與之進行鄰域比較的參考。
(四)特征點的精確定位和進一步過濾
在上述過程之后,可以初始提取圖像中的關(guān)鍵點。然而,由于DoG對噪聲和邊緣敏感,在尺度空間中檢測到的局部極值點需要進一步篩選,過程如下:
(1)刪除對比度低的點
為提高特征點的穩(wěn)定性和準(zhǔn)確性,需要在尺度空間模型中執(zhí)行DoG函數(shù)的曲線擬合,進而去除對比度比較低的點。
(2)刪除邊緣點
為了保證特征點的穩(wěn)定性,僅去除具有低對比度的點是不夠的。由于DoG函數(shù)在圖像邊緣具有很強的邊緣響應(yīng),因此我們需要對圖像中的邊緣點進行進一步篩選。
通過上述兩個過程(1)和(2),將篩選過濾掉大量特征點,留下更穩(wěn)定和更準(zhǔn)確的像素坐標(biāo)。這個過程對于建立特征描述符的工作至關(guān)重要。
(五)建立特征描述符
1.特征點的方向關(guān)聯(lián)。圖像配準(zhǔn)算法中的最大問題是,如何解決圖像內(nèi)場景旋轉(zhuǎn)帶來的影響。通過前幾步所提取關(guān)鍵點的鄰域像素的梯度特性,為每個關(guān)鍵點設(shè)置一個主方向,從而特征描述符增加了一項方向信息,在特征描述符的匹配過程中可以考慮方向因素,達到使描述符旋轉(zhuǎn)不變的目的。
在上述步驟之后,已經(jīng)檢測到圖像的關(guān)鍵點,并且獲得的每個關(guān)鍵點包含三個重要信息:特征點的位置坐標(biāo)、特征點的比例和特征點的主要方向。這樣保證了提取出的關(guān)鍵點具有旋轉(zhuǎn)以及縮放保持不變的特性。
2.創(chuàng)建功能描述符。建立描述關(guān)鍵點本身以及關(guān)鍵點周圍像素特征的描述符來對關(guān)鍵點進行唯一性身份賦予,描述符能夠包含足夠的特殊性信息。通過調(diào)節(jié)描述符向量參數(shù)信息,獲取效果最好的向量維度,既保證了篩選出足夠數(shù)量和質(zhì)量的特征點,又保證了算法的運行效率。通過大量實驗結(jié)果表明,該描述符采用4×4×8=128維向量,具有最佳的抗噪聲能力和匹配魯棒性,同時保證了描述符計算過程的速度。
3.特征描述符的匹配。選擇一幅參考圖像,以及一幅目標(biāo)圖像,通過之前的幾個步驟分別計算兩張圖像的特征點,并計算每個特征點的描述符。將兩張圖像所有的特征點的特性描述符進行對比,并為目標(biāo)圖像中的每個特征點找到與之最為匹配的參考圖像中的特征點,即找到兩幅圖中特征描述符最為接近的點對。
兩張圖的匹配可以用窮舉法耗時太長,因此使用建立kd樹的方法來實現(xiàn)特征描述符的匹配。對比參考圖像的關(guān)鍵點,在目標(biāo)圖像中查找最接近參考圖像關(guān)鍵點的特征點。如果兩個匹配點之間的距離除以固定最近距離的商值小于預(yù)設(shè)閾值,則將接受這對匹配點,而預(yù)設(shè)的閾值可以通過實際圖像的復(fù)雜程度進行調(diào)整,以便找到最佳閾值。整個算法過程的流程圖如圖1所示。
三、SIFT算法的實際效果展示
(一)SIFT算法的實際圖像效果示例圖展示
上文中講述了SIFT算法的原理,本節(jié)中參考Lowe教授的文章,將SIFT算法進行實現(xiàn)。通過在不同尺度中檢測圖像像素的極值點、篩選最具唯一性身份信息的特征點、為每個特征點分配方向以及灰度信息、建立特征描述符的基本過程,即完成了算法,可以得到目標(biāo)圖像與參考圖像中相應(yīng)的特征點匹配。
為了能夠驗證算法的準(zhǔn)確性,檢查圖像特征點的匹配效率,需要利用真實場景圖像進行實際的配準(zhǔn)操作。對同一物體進行不同方式的拍攝,比如不同角度或者不同明暗,獲取同一物體的不同圖像。對采集到的圖像進行算法處理,獲取圖像對的特征點,并進行匹配,通過連線將兩幅圖中的特征點進行連接,一目了然地檢查特征點的匹配準(zhǔn)確度。
SIFT算法匹配效果的示例圖如圖2所示(所用的圖像由數(shù)據(jù)集中隨機選取而來)。
(二)SIFT算法在圖像庫中的匹配效果統(tǒng)計
為了檢測上述SIFT算法對多模圖像的特征點匹配準(zhǔn)確率,需要用大量的圖像進行實驗,并對效果進行統(tǒng)計。本人在瑞士洛桑聯(lián)邦理工學(xué)院的官方網(wǎng)站上獲取包含大量實驗圖像對的數(shù)據(jù)包,其中的圖像均來自大量實際景物拍攝,即包含村莊田地等自然景物,又包含建筑街道等城市中的場景。用這些包含不同事物的圖像來進行配準(zhǔn)實驗,并將配準(zhǔn)誤差做統(tǒng)計,以表格的形式保存。
分別計算每個圖像庫中多模圖像對的特征點配準(zhǔn)誤差,以誤差的像素數(shù)目作為匹配效果的參考標(biāo)準(zhǔn)。分別將誤差像素數(shù)目分布在0~2,2~5,5~10,10~20,20~50,50~100以及大于100共七個范圍內(nèi)的點對數(shù)目進行統(tǒng)計,并將不同誤差范圍內(nèi)點對數(shù)所占的百分比進行計算。統(tǒng)計結(jié)果如表1所示。
四、算法效果總結(jié)以及在油田中的應(yīng)用前景分析
(一)算法效果總結(jié)
前章詳細敘述圖像匹配經(jīng)典算法SIFT的原理,分步說明該算法提取特征點、建立特征描述符以及匹配特征描述符的基本過程,利用實景圖像進行特征點匹配實驗。經(jīng)過大量圖像進行特征描述符的計算以及匹配,獲取每對特征點匹配的誤差,將誤差分布進行統(tǒng)計。實驗可以得出結(jié)論,上述圖像匹配經(jīng)典算法效果良好,對于內(nèi)容復(fù)雜的場景圖片,可以進行特征點匹配。
(二)SIFT圖像配準(zhǔn)算法在油田中的應(yīng)用
大慶油田產(chǎn)量高,區(qū)域廣,安防工作是十分關(guān)鍵的內(nèi)容,施工作業(yè)現(xiàn)場以及設(shè)備故障現(xiàn)場視頻資料的獲取有著重要意義。隨著計算機視覺技術(shù)的發(fā)展,如何利用計算機程序來完成人工的工作,是提高監(jiān)控效率的重要研究方向。
無人機的特點是監(jiān)控范圍廣,大大減少人工巡檢的工作量,節(jié)約人力成本,同時有效提高故障的響應(yīng)效率,盡快到達現(xiàn)場,有利于統(tǒng)一管理。傳統(tǒng)方式對于操作員的依賴性較大,若能使無人機自動獲取并鎖定目標(biāo),則可完全脫離人工,自動到達現(xiàn)場,進一步減少人工成本,且提高故障響應(yīng)效率。本文介紹的算法可以應(yīng)用于油田場景圖像的匹配,對于目標(biāo)的識別以及鎖定得到較好的效果。
五、結(jié)語
SIFT圖像配準(zhǔn)算法可以通過檢測不同尺度空間中的圖像的極值點、對初步檢測到的特征點進行過濾、為每個過濾后的特征點分配方向、建立特征描述符、對特征點進行分類、對目標(biāo)圖像和參考圖像之間的對應(yīng)特征點進行匹配,以及匹配兩個圖像中所有特征點的特征描述符。目的是識別和匹配兩張圖片中的相同目標(biāo)。作為計算機視覺的一個重要研究方向,SIFT圖像配準(zhǔn)算法的相關(guān)研究工作已受到國內(nèi)外眾多高校和企業(yè)的關(guān)注。
實驗表明,該算法穩(wěn)定高效,能夠在短時間內(nèi)處理大量圖像,能夠滿足實際工程的實時性要求。使用該算法對大量圖像進行匹配,取得了良好的效果。在后續(xù)的研究中,該算法將應(yīng)用于油田場景圖像進行實驗,并進一步研究和改進其在油田視頻監(jiān)控中的效果。
參考文獻
[1]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints.[J].International Journal of Computer Vision,2004,60(2):91-110.
[2]洪貝,孫繼銀.圖像配準(zhǔn)技術(shù)研究[D].西安:第二炮兵工程學(xué)院,2006.
[3]何文峰,查紅彬.基于平面特征的深度圖像配準(zhǔn)[D].北京:北京大學(xué),2006.
[4]章毓晉.圖像理解與計算機視覺[D].北京:清華大學(xué)出版社,2000.
[5]Baba C.Vemuri et al.An efficient motion estimator with application to medical image registration[J].Medical Image Analysis,1998,2(1):79-98.