于 露 楊 帆

（1吉林財(cái)經(jīng)大學(xué)信息經(jīng)濟(jì)學(xué)院，吉林 長(zhǎng)春 130122 2吉林省高速公路管理局伊通分局，吉林 伊通 130700）

運(yùn)動(dòng)估計(jì)是視頻編碼和視頻處理中廣泛使用的一種技術(shù)。運(yùn)動(dòng)矢量是匹配塊和當(dāng)前塊在位置上的相對(duì)移動(dòng)。在視頻壓縮過程中，僅僅需要保存運(yùn)動(dòng)矢量與殘差兩方面的數(shù)據(jù)，就能夠?qū)?dāng)前塊完整地恢復(fù)出來(lái)，從而達(dá)到穩(wěn)定圖像的效果?？偨Y(jié)已有文獻(xiàn)資料，估計(jì)運(yùn)動(dòng)的方法大致有以圖像塊狀、圖像特點(diǎn)、像素灰度值等等為基礎(chǔ)的估計(jì)方法。本文以圖像特征為基礎(chǔ)的方法為主要研究對(duì)象，該方法目前廣泛地應(yīng)用于電子穩(wěn)像技術(shù)及其他圖像處理系統(tǒng)中。

一、以圖像特征為基礎(chǔ)的運(yùn)動(dòng)估計(jì)方法介紹

圖像特征是一種屬性，它呈現(xiàn)代表了所取得的圖像場(chǎng)景。在運(yùn)用圖像特征來(lái)對(duì)連續(xù)不間斷的圖像視頻間的矢量估計(jì)測(cè)算的時(shí)候，第一個(gè)步驟是比對(duì)參考圖像，從中篩選確定一組具有代表性、特征鮮明的特征結(jié)構(gòu)來(lái)作標(biāo)記，下一步搜索當(dāng)前的圖像，來(lái)發(fā)現(xiàn)相應(yīng)的適合特征結(jié)構(gòu)，進(jìn)而獲取到圖像序列的幀間運(yùn)動(dòng)矢量。注意所選取的特征結(jié)構(gòu)，一定是要能準(zhǔn)確說明圖像的移動(dòng)運(yùn)動(dòng)點(diǎn)，并呈現(xiàn)其結(jié)構(gòu)的不變性，也就是圖像特征。能夠凸顯圖像的顯著點(diǎn)有角點(diǎn)、灰度極大值點(diǎn)、物體的邊界點(diǎn)以及在圖像中具有代表性的物體等。對(duì)圖像特征進(jìn)行檢查測(cè)量和進(jìn)行配對(duì)工作是獲得圖像運(yùn)動(dòng)估計(jì)的重點(diǎn)核心技術(shù)。正常條件下，受不同噪聲的干擾，從原始圖像中直接收集獲得能夠代表該圖像特征的點(diǎn)是不能確保所篩選出的特征的穩(wěn)定性的，而如果在提煉特征前先進(jìn)行圖像的事先某種程度的處理，這就會(huì)確保其穩(wěn)定性。

關(guān)于圖像序列幀間運(yùn)動(dòng)矢量估測(cè)方法有多種，而運(yùn)用圖像特征估計(jì)法包括以下幾個(gè)步驟：首先，把各個(gè)幀的圖像特征從圖像序列中提煉出來(lái)；其次，將各個(gè)幀圖像之間所表現(xiàn)的關(guān)系進(jìn)行明確；然后，測(cè)算特征量所涉及的運(yùn)動(dòng)參數(shù)；最后，在圖像運(yùn)動(dòng)模型中代入上一步驟測(cè)試的特征量運(yùn)動(dòng)參數(shù)，計(jì)算得出全局運(yùn)動(dòng)矢量。

二、常用全局運(yùn)動(dòng)矢量算法

1.邊緣匹配法

邊緣匹配法(EPM，全稱為Edge Pattern Matching)，是指一種算法采用全數(shù)字穩(wěn)像的算法，它利用邊緣匹配技術(shù)并結(jié)合動(dòng)態(tài)運(yùn)動(dòng)的一種決策方法。以此為基礎(chǔ)的系統(tǒng)包括以下四個(gè)基本元素：基于該算法的AMV生成單元、FMV生成單元、LMV生成單元以及場(chǎng)內(nèi)存地址生成和數(shù)字縮放單元。

將圖像序列輸入系統(tǒng)中之后，首先要搭建起運(yùn)動(dòng)矢量檢測(cè)區(qū)域，該區(qū)域?qū)?yīng)于參考幀和運(yùn)動(dòng)幀兩者之間，在該區(qū)域內(nèi)又劃分出數(shù)量若干的運(yùn)動(dòng)矢量檢測(cè)模塊；其次將前幀和后幀所對(duì)應(yīng)的模塊進(jìn)行一一對(duì)比，之后每個(gè)對(duì)比都形成一個(gè)局部的運(yùn)動(dòng)矢量LMV（全稱為L(zhǎng)ocal Motion Vector），而其中關(guān)聯(lián)性比較大的LMV就可以作為整個(gè)模型的全局運(yùn)動(dòng)矢量FMV（全稱為Field Motion Vector）。為了保證所產(chǎn)生運(yùn)動(dòng)矢量的精確性，假設(shè)每個(gè)監(jiān)測(cè)區(qū)域中包含檢測(cè)塊M塊，這樣便可以產(chǎn)生M個(gè)LMV?；谠谶吘壠ヅ浼夹g(shù)基礎(chǔ)上形成的LMV，以及考慮到存儲(chǔ)空間的降低、計(jì)算量以及硬件復(fù)雜程度，我們并沒有采用多維圖像或全彩色圖像。而是將二值化的邊緣圖像加以運(yùn)用。在加權(quán)平均化M個(gè)LMV后，便生成FMV。為了更加精確FMV，則應(yīng)該獨(dú)立地進(jìn)行計(jì)算并選擇適宜的加權(quán)因子。如果需要使得大于兩幀的圖像序列更加穩(wěn)定，就應(yīng)該累計(jì)運(yùn)算相續(xù)幀的FMV，計(jì)算得出累積運(yùn)動(dòng)矢量AMV(Accumulated Motion Vector)。通過AMV的觀察，出場(chǎng)內(nèi)存讀出地址就會(huì)被計(jì)算得出，并且能夠讀出所對(duì)應(yīng)的幀所存在的病房地以此除去非正常的圖像邊界，這非正常的圖像邊界是因?yàn)檠a(bǔ)償運(yùn)動(dòng)矢量而生成的。

（1）LMV生成單元

LMV的生成在EMP算法體系中的地位是至關(guān)重要的。這主要是出于后續(xù)的FMV及AMV均是以LMV為基礎(chǔ)而計(jì)算得出的。在LMV的產(chǎn)生模塊中，由于是以三態(tài)動(dòng)態(tài)線性神經(jīng)網(wǎng)絡(luò)算法通過邊緣探測(cè)器之后為基礎(chǔ)，所以圖像數(shù)據(jù)能夠真實(shí)地輸出的，從而更好的將二值化的邊緣圖像數(shù)據(jù)加以導(dǎo)出。把所有輸出的數(shù)據(jù)再次輸入邊緣匹配部分中，再運(yùn)用相關(guān)算法將前后幀中有關(guān)聯(lián)的運(yùn)動(dòng)矢量檢測(cè)區(qū)域計(jì)算出來(lái)，進(jìn)而取得相關(guān)運(yùn)算值M個(gè)，各自與其所對(duì)的邊緣匹配區(qū)域相對(duì)應(yīng)，記做COR(1),…,COR(M)，以此所獲得M個(gè)LMV均是在相互對(duì)應(yīng)的區(qū)域中所獲得的最大相關(guān)值的時(shí)候而獲取到的。

（2）FMV生成單元

將上述獲得的LMV進(jìn)行一定的加權(quán)平均后，即能生成FMV。下列本文假設(shè)：

使用M個(gè)LMV、間隔量權(quán)重ai和穩(wěn)定度權(quán)重bi，得到FMV：

（3）AMV生成單元

AMV的計(jì)算由下式給出：

上述公式中相關(guān)的代數(shù)的表示意義如下：

t—表示幀或時(shí)間；

k—代表常數(shù)，指平滑移動(dòng)與虛擬地增大AMV的時(shí)所有效的范疇；

a—指消除不良噪聲的干擾。

（4）場(chǎng)內(nèi)存地址和數(shù)字縮放單元

根據(jù)AMV與相應(yīng)的放大比率進(jìn)行數(shù)據(jù)輸出，其原始地址就是場(chǎng)內(nèi)存地址及數(shù)字縮放單元，并且還擴(kuò)大圖像序列，緩解去除運(yùn)動(dòng)補(bǔ)償時(shí)帶來(lái)的非正常圖像邊界所產(chǎn)生的影響。這里放大圖像所運(yùn)用的方法是一種雙線性插值算法。

EPM算法具有運(yùn)算速度迅速、精準(zhǔn)度高的特點(diǎn)，同時(shí)能彌補(bǔ)慢速運(yùn)動(dòng)，然而其卻僅僅能彌補(bǔ)平移運(yùn)動(dòng)，在旋轉(zhuǎn)與變焦縮放方面束手無(wú)策。

2.特征量跟蹤算法

特征量跟蹤算法（FTA，全稱為Feature Tracking Algorithm）是穩(wěn)像算法中比較重要的算法之一。對(duì)于這種方法，目前采用的特征量一般有：角點(diǎn)、直邊緣、曲邊緣等部分特征與包括型心、表面積、慣量矩的長(zhǎng)短軸等在內(nèi)的整體特征，這之中應(yīng)用最普遍的特征是角點(diǎn)。角點(diǎn)的提取好壞在很大成分上影響著特征匹配結(jié)果。在實(shí)踐中，特征量的選擇則重點(diǎn)關(guān)注目標(biāo)所具備的特性。通過FTA取得局部運(yùn)動(dòng)矢量之后，下一步另外要求計(jì)算得出圖像的全局運(yùn)動(dòng)矢量。下面列示的數(shù)學(xué)模型就不同場(chǎng)景下全局運(yùn)動(dòng)數(shù)量的測(cè)算進(jìn)行了描述。

當(dāng)圖像中僅僅存在平移量的情況下，對(duì)應(yīng)的是Translation數(shù)學(xué)模型：

其中，P1是指現(xiàn)有幀的特征量所在的坐標(biāo)，P0代表參考幀的特征量所在的坐標(biāo)，T則為二維平移量。不過存在變焦量的情況下，則應(yīng)該使用Similarity模型：

P1=sReP0+T

其中，s代表變焦系數(shù)，是指正交的旋轉(zhuǎn)矩陣。

下面是Affine的數(shù)學(xué)模型，該模型中涉及6個(gè)參數(shù)：

在考慮選擇何種數(shù)學(xué)模型的時(shí)候應(yīng)當(dāng)結(jié)合相應(yīng)的情況，具體問題具體分析。

3.特征點(diǎn)匹配法

特征點(diǎn)匹配法（RPM，全稱為Representative Point Matching）是以特征點(diǎn)為基礎(chǔ)，它也可以叫為代表點(diǎn)匹配法的全數(shù)字穩(wěn)像方法，目前該方法運(yùn)用相對(duì)較少，主要運(yùn)用在部分小型的攝像系統(tǒng)中。

特征點(diǎn)是一種以較為穩(wěn)定、旋轉(zhuǎn)固定、能抑制灰度反轉(zhuǎn)為特征的有效特征點(diǎn)。將其使用于匹配過程中，不僅可以使模型中所涉及的計(jì)算量減少，還能使圖像中重要灰度信息的穩(wěn)定性和完整性得到保證，并且還能對(duì)識(shí)別程度高的影像在局部相似度上加以匹配。

已有文獻(xiàn)中將已有報(bào)道的特征點(diǎn)進(jìn)行了總結(jié)分類，包括狹義與廣義兩方面的特征點(diǎn)。狹義特征點(diǎn)諸如角點(diǎn)、交叉點(diǎn)等自身就具備常規(guī)性的屬性意義。廣義特征點(diǎn)自身不具有特征意義，其是以區(qū)域定義為基礎(chǔ)的，僅僅只是代表了與一定特征條件相符合的特征區(qū)域位置。任何一個(gè)特征區(qū)域的相對(duì)位置都可以稱為廣義上的特征點(diǎn)，其沒有武力意義上的特征的強(qiáng)制性要求，只需要符合一定的數(shù)字描述即可，所以這種特征點(diǎn)也可以是抽象的。從本質(zhì)上而言，廣義特征點(diǎn)能夠看成是一個(gè)抽象的特征范疇區(qū)域，當(dāng)然這種所謂的抽象區(qū)域具有特征區(qū)域所擁有的屬性。已有文獻(xiàn)中認(rèn)為那些被運(yùn)用到計(jì)算機(jī)視覺、識(shí)別模塊、匹配圖像的特征點(diǎn)大部分是我們所說的狹義特征點(diǎn)，但是廣義特征點(diǎn)大都是對(duì)匹配圖像有積極作用的。

特征點(diǎn)一般采用圖像中易確定的點(diǎn)，例如直線交叉點(diǎn)、T型交匯點(diǎn)、角點(diǎn)、高曲率點(diǎn)以及特定范疇的重心、中心點(diǎn)等等。在來(lái)源的角度上劃分，包括有邊緣上提取的特征點(diǎn)、直接來(lái)源于灰度的特征點(diǎn)以及區(qū)域分割上的特征點(diǎn)三個(gè)方面。

RPM算法選取了圖像中部分簡(jiǎn)單的特征量作為代表點(diǎn)，將所選取的離散點(diǎn)組成一個(gè)統(tǒng)一的坐標(biāo)系，一幅圖像通常會(huì)被劃分為四個(gè)區(qū)域，在這些區(qū)域中選擇一定代表點(diǎn)，每組一般為30個(gè)，相應(yīng)的搜索區(qū)域?qū)?yīng)一個(gè)代表點(diǎn)。當(dāng)對(duì)前后幀的相應(yīng)象限的特征點(diǎn)進(jìn)行比對(duì)后，再進(jìn)行匹配測(cè)算，我們所要得到的局部運(yùn)動(dòng)矢量就是匹配值最小的時(shí)候所對(duì)應(yīng)的偏移向量。具體函數(shù)如下：

式中，ft-1（xk，yk）、ft（xk+i-yk+j）分別代表第k個(gè)代表點(diǎn)在當(dāng)前幀與參考幀圖像中的象限數(shù)據(jù)。每個(gè)區(qū)域中最小的（i，j）與相應(yīng)的 P（i，j）就是區(qū)域的局部運(yùn)動(dòng)矢量數(shù)值，然后將全局運(yùn)動(dòng)矢量通過某些算法計(jì)算產(chǎn)生。

該種算法相對(duì)前面介紹的較為簡(jiǎn)單，而且在計(jì)算量上也比較小，但是由于是通過坐標(biāo)來(lái)顯現(xiàn)代表點(diǎn)，所以在圖像發(fā)生變動(dòng)時(shí)，其不會(huì)很敏感，存在不顯著的圖像對(duì)比度的時(shí)候，其精確度也會(huì)被波及，同時(shí)無(wú)法彌補(bǔ)慢速運(yùn)動(dòng)、旋轉(zhuǎn)運(yùn)動(dòng)和變焦縮放，因此只適用于初步研究。

結(jié)束語(yǔ)：通過上文的具體介紹，我們能夠發(fā)現(xiàn)圖像處理技術(shù)中比較重要的一個(gè)成分就是以圖像特征為基礎(chǔ)的運(yùn)動(dòng)估計(jì)方法，隨著各種估計(jì)算法的研究以及實(shí)際應(yīng)用的推廣，電子圖像技術(shù)將會(huì)有更大的發(fā)展。

[1]宋永江，夏良正.多直線全局運(yùn)動(dòng)估計(jì)及其在圖像穩(wěn)定中的應(yīng)用[J].東南大學(xué)學(xué)報(bào).

[2]勒中鑫.數(shù)字圖像信息處理[M].國(guó)防工業(yè)出版社.

[3]羅詩(shī)途，張玘.一種基于特征匹配的實(shí)時(shí)電子穩(wěn)像算法[J].國(guó)防科技大學(xué)學(xué)報(bào).