王 沖，潘 晨，高浩然

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

視覺(jué)顯著性的自適應(yīng)權(quán)重立體匹配算法

王 沖，潘 晨，高浩然

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

針對(duì)傳統(tǒng)算法大多忽略人眼特性，獲得的視差圖與人眼真實(shí)感受之間存在一定差異的問(wèn)題，提出了一種符合人眼視覺(jué)特性的自適應(yīng)權(quán)重匹配算法.該算法首先引入視覺(jué)顯著性特征，然后對(duì)像素權(quán)值分配進(jìn)行改進(jìn)并提出新的匹配代價(jià)度量準(zhǔn)則，最后采取左右視差圖融合的方法獲得最終視差圖.相關(guān)圖像實(shí)驗(yàn)表明，改進(jìn)算法很好地解決了遮擋問(wèn)題，可精確描述邊緣和細(xì)節(jié)視差；相對(duì)于原算法有較大程度的性能提升.

立體匹配；自適應(yīng)權(quán)重；顯著性檢測(cè)；相似性度量；視差圖融合

雙目立體視覺(jué)技術(shù)[1]突破了計(jì)算機(jī)“單眼看世界”的局限性，該技術(shù)主要利用雙目攝像頭觀測(cè)同一場(chǎng)景，獲得左右兩幅二維視圖，經(jīng)過(guò)處理得到反映三維世界信息的視差圖.該技術(shù)的關(guān)鍵是左右兩幅圖之間的匹配，匹配的準(zhǔn)確性直接影響最終生成三維視圖的質(zhì)量.因此，獲取符合人眼特征的高精度視差圖具有重要意義.

匹配算法根據(jù)優(yōu)化方式不同可以分為全局匹配和局部匹配[2].全局匹配算法能獲得精度較高的視差圖，但計(jì)算效率低，不利于實(shí)際開(kāi)發(fā)[3]；局部匹配算法主要利用對(duì)應(yīng)像素點(diǎn)及其鄰域的約束信息進(jìn)行匹配獲得視差圖，這種方法執(zhí)行效率高，且在一個(gè)合適的匹配代價(jià)下能得到較高的匹配率，在近年來(lái)廣泛受到研究者的關(guān)注.其中，De-Maeztu L[4]提出一種利用像素顏色信息計(jì)算自適應(yīng)權(quán)值的匹配方法，提高了原算法的匹配精度.Jyoti Joglekar[5]提出一種基于神經(jīng)網(wǎng)絡(luò)的局部匹配算法，提高了原算法的收斂速度.但是，這些自適應(yīng)權(quán)重匹配算法相比于人眼視覺(jué)仍然有許多欠缺.比如：它所采用的代價(jià)聚合方法只是純粹的數(shù)學(xué)計(jì)算，并沒(méi)有考慮到人眼對(duì)顏色和亮度的敏感度；在匹配時(shí)通常固定一幅圖像作為待匹配圖像，在另一幅圖像中依次尋找對(duì)應(yīng)的匹配點(diǎn)[6].而人類(lèi)雙眼信息傳遞到人腦外膝體時(shí)，會(huì)相互交叉后再傳遞.針對(duì)以上幾點(diǎn)，本文從三個(gè)方面改進(jìn)自適應(yīng)權(quán)重立體匹配算法.

1)為避免圖像中干擾導(dǎo)致的誤匹配及視差不連續(xù)現(xiàn)象，本文引入彩色圖像視覺(jué)顯著度特征來(lái)描述像素點(diǎn)的受關(guān)注程度，并抑制全局性噪聲.圖像顯著度特征結(jié)合像素顏色、亮度和位置信息，自適應(yīng)地為窗口內(nèi)每一個(gè)像素分配一個(gè)合適的權(quán)值.

2)為獲得主觀感受最優(yōu)的視差圖，考慮人眼對(duì)低亮度變化敏感而對(duì)高亮度變化不敏感的特性，本文提出一種考慮相對(duì)關(guān)系的相似性度量方法.

3)考慮到實(shí)際拍攝中攝像機(jī)左右視角存在一定的偏移量和存在一定遮擋問(wèn)題的現(xiàn)象.在一幅圖中的像素點(diǎn)在另外一幅圖中可能無(wú)法得到匹配.本文通過(guò)交叉左右視圖互為待匹配圖像，生成左右兩幅視差圖，通過(guò)圖像融合獲取最終視差圖.

1 經(jīng)典自適應(yīng)權(quán)重立體匹配算法

自適應(yīng)權(quán)重算法[7]的核心思想是以待匹配點(diǎn)為中心假設(shè)一個(gè)固定窗口[8]，計(jì)算窗口內(nèi)的點(diǎn)相對(duì)中心點(diǎn)的權(quán)值大小，窗口內(nèi)與中心點(diǎn)顏色信息越接近、空間幾何位置越接近的點(diǎn)，賦予的權(quán)值越大.具體描述如下：以p作為中心待匹配像素，像素q是像素p支持窗口內(nèi)的一個(gè)支持像素，根據(jù)格式塔準(zhǔn)則，像素q對(duì)像素p的支持權(quán)值為w(p,q).

w(p,q)=f(Δcpq)·f(Δgpq).

(1)

(2)

(3)

根據(jù)WTA(winner take all)局部最優(yōu)化準(zhǔn)則，計(jì)算每個(gè)像素的最終視差：

(4)

該方法具有較高的精度，但對(duì)于權(quán)重的定義只是從圖像本身固有的特征出發(fā)，忽略了人眼主動(dòng)性的影響，沒(méi)有很好地表達(dá)支持像素對(duì)待匹配像素的支持程度.針對(duì)以上幾點(diǎn)，本文提出三個(gè)創(chuàng)新點(diǎn)改進(jìn)傳統(tǒng)自適應(yīng)權(quán)重算法.

2 改進(jìn)的自適應(yīng)權(quán)重立體匹配算法

2.1 改進(jìn)的自適應(yīng)權(quán)重策略

本文綜合考慮RGB顏色特征、灰度特征、空間位置特征和圖像顯著性特征，提出一種新的權(quán)重策略.首先直接利用RGB空間代替Lab空間，描述像素顏色特征.然后引入彩色圖像顯著性特征來(lái)描述像素點(diǎn)的受關(guān)注程度.再結(jié)合像素灰度L和空間位置信息，提出新的支持像素對(duì)未匹配像素的支持權(quán)重,具體方法如下：

Δcpq=|pR-qR|+|pG-qG|+|pB-qB|,

(5)

(6)

Δkpq=|pgray-qgray|,

(7)

Δsapq=|psa-qsa|,

(8)

(9)

(10)

(11)

(12)

wnew(p,q)=f(Δcpq)·f(Δgpq)·f(Δkpq)·f(Δsapq).

(13)

支持像素q(m,n)與中心像素點(diǎn)p(i,j)的顏色分量分別為qR.qG.qB和pR.pG.pB，灰度值為qgray、pgray，顯著度值為qsa、psa，γk、γp、γc、γsa分別表示不同特征差異性參數(shù)[10].新的自適應(yīng)權(quán)值wnew(p,q)不僅考慮了圖像數(shù)據(jù)本身特征，還從人類(lèi)視覺(jué)角度考慮了圖像顯著性對(duì)每個(gè)支持點(diǎn)的影響.

2.2 新的匹配代價(jià)度量

原算法的SAD聚合代價(jià)[11]如式(2)、(14)：

(14)

SAD算法直接對(duì)像素點(diǎn)求差值.利用閾值T找到顏色差別最小的像素對(duì),然后計(jì)算該點(diǎn)像素的視差.

然而，人眼對(duì)1-5的低灰度級(jí)敏感度為100%，而對(duì)250-255的高灰度級(jí)的敏感度為2%，灰度值在低灰度范圍內(nèi)的像素點(diǎn)，雖然差值小，但由于此時(shí)人眼對(duì)這部分較敏感，匹配效果可能與主觀視覺(jué)效果有一定出入.為了解決這個(gè)問(wèn)題，我們引入Ra，用來(lái)表示待配像素點(diǎn)的相關(guān)度，如下：

(15)

(16)

得出視差圖：

(17)

2.3 左右視差圖融合

原自適應(yīng)權(quán)重算法匹配時(shí)，選擇左右視圖中的一幅作為標(biāo)準(zhǔn)參考圖，另一幅為匹配圖.由于左右兩圖視角有一定差值，匹配的視差圖會(huì)存在一定的遮擋問(wèn)題，匹配結(jié)果可能會(huì)存在較多誤差.本文模仿人類(lèi)視覺(jué)傳遞過(guò)程中的信息交叉原理，提出一種解決方案：

1)指定左視圖為參考圖，利用新的自適應(yīng)權(quán)重匹配方法得到左視差圖，再指定右視圖為參考圖，得到右視差圖；

2)聚合代價(jià)越大，像素點(diǎn)越相近，選取左右視差圖中聚合代價(jià)較大值作為視差值；

3)遍歷像素點(diǎn)，計(jì)算最終視差圖.

左右視差圖融合準(zhǔn)則如下：

(18)

其中，r_left和r_right表示對(duì)應(yīng)點(diǎn)的相關(guān)系數(shù)矩陣，disp_left、disp_right表示左右視差圖，disp表示生成的最終視差圖.

融合后局部放大效果如圖1.

圖1 左右視差圖融合局部放大圖Figure 1 Disparity map fusion partial enlarged map

從場(chǎng)景的左、右視圖可以看出兩視圖視角存在一定的差距，按照一幅圖作為標(biāo)準(zhǔn)匹配的視差圖會(huì)存在一定的遮擋問(wèn)題，邊緣部分會(huì)存在較多誤差.而融合后的視差圖在遮擋區(qū)域的細(xì)節(jié)處理在主觀上與人眼感受更一致.

2.4 算法框架

改進(jìn)的自適應(yīng)權(quán)重匹配算法流程圖如圖2.

圖2 自適應(yīng)權(quán)重立體匹配算法框架Figure 2 Stereo matching framework based on adaptive weights

3 實(shí)驗(yàn)結(jié)果與分析

本文算法在matlabR2010b軟件實(shí)現(xiàn)，利用卡內(nèi)基梅隆大學(xué)的Middlebury測(cè)試平臺(tái)提出的立體匹配定量評(píng)價(jià)標(biāo)準(zhǔn)，分別采用Tsukuba,Venus,Teddy,Cones，F(xiàn)ace標(biāo)準(zhǔn)圖作為實(shí)驗(yàn)對(duì)象.統(tǒng)計(jì)立體匹配視差圖dc與真實(shí)視差圖[12]dt間的統(tǒng)計(jì)誤差，獲得錯(cuò)誤匹配率指標(biāo).

(19)

算法獲取的視差圖與標(biāo)準(zhǔn)視差圖對(duì)應(yīng)點(diǎn)的視差絕對(duì)值大于δd(通常為1)時(shí)，判定為誤配.

3.1 不同相似性度量函數(shù)結(jié)果對(duì)比

如圖3，不同立體匹配算法的視差圖表明，SAD和SSD算法只能反映出平坦區(qū)域的視差，對(duì)于物體邊界視差沒(méi)有明顯過(guò)渡，且存在較多噪點(diǎn)，在紋理不豐富的區(qū)域錯(cuò)配率較高；NCC算法在紋理不豐富區(qū)域的視差圖與SAD和SSD相比有一定優(yōu)勢(shì)，但在微小視差區(qū)域和邊界處仍存在較多錯(cuò)誤；原自適應(yīng)權(quán)重算法選擇閾值SAD算法作為對(duì)應(yīng)像素的相似性度量函數(shù)，獲得的視差圖效果比之前兩種算法好，但是對(duì)于邊界的處理，依然不夠清晰.相比之下，本文方法視差圖邊界過(guò)渡明顯，噪聲較小，主觀視覺(jué)效果最好.

圖3五種視差圖的錯(cuò)誤匹配率(%)如表1，SAD和SSD算法的視差圖錯(cuò)配率較高，表明了只考慮絕對(duì)差和歐氏距離來(lái)衡量待匹配點(diǎn)之間的相似性的不合理性.NCC算法的視差圖對(duì)比SAD和SSD算法錯(cuò)配率有所降低，表明考慮對(duì)應(yīng)點(diǎn)之間的相關(guān)性對(duì)視差圖精度提高有一定好處.原自適應(yīng)權(quán)重法的錯(cuò)配率比其他算法低一些，表明該方法是當(dāng)前比較精確方法，但對(duì)于細(xì)節(jié)的處理稍顯粗糙.本文方法與其他方法相比，錯(cuò)配率明顯降低，表明綜合考慮像素顏色、亮度、空間特征以及人眼關(guān)注程度等信息可以提高匹配精度.值得注意的是，表1中本文方法的誤配率在Cones、Face兩圖中沒(méi)有明顯的降低.這是由于標(biāo)準(zhǔn)視差圖中沒(méi)有體現(xiàn)出的面部五官細(xì)微視差，本文算法精確地描述出來(lái)了.因此，誤差計(jì)算時(shí)影響了誤配率指標(biāo).

圖4是圖3中Tsukuba、Face兩圖的視差圖局部放大，從Tsukuba模型的對(duì)比圖中可以看出，本文算法能精確描繪物體邊界視差，得到的邊緣信息相對(duì)完整.從Face模型的對(duì)比圖可以看出，本文算法能夠反映出標(biāo)準(zhǔn)視差圖無(wú)法反映的五官信息，對(duì)微小視差有一定適用性.

自上而下代表：原始圖像、標(biāo)準(zhǔn)視差圖、原自適應(yīng)權(quán)重法視差圖、SAD法視差圖、SSD法視差圖、NCC法視差圖、本文方法視差圖 圖3 不同相似性度量函數(shù)得到的視差圖對(duì)比Figure 3 Disparity maps of different similarity measure function

自左向右代表：原圖、原自適應(yīng)權(quán)重法視差圖、SAD視差圖、SSD視差圖、NCC視差圖、本文方法視差圖圖4 不同算法視差圖的局部放大效果Figure 4 Different algorithms partially enlarged disparity map

%

3.2 不同窗口大小結(jié)果對(duì)比

窗寬大小對(duì)視差圖有影響見(jiàn)圖5.通過(guò)對(duì)比可以看出，當(dāng)窗寬處于某個(gè)合適值時(shí)(如15×15)，視差圖誤配點(diǎn)最少，效果最好.窗寬過(guò)大或者過(guò)小，誤配率都會(huì)增加，且窗寬越大匹配時(shí)間越長(zhǎng).

第1行:左右視圖與標(biāo)準(zhǔn)視差圖；第2行:從左至右窗寬依次為3×3,9×9,15×15,23×23 圖5 不同窗口大小得到的視差圖對(duì)比Figure 5 Different window size disparity map comparison

圖6為上述不同窗口大小的錯(cuò)配率折線圖.

從中可以直觀看出，當(dāng)窗口大小為15×15時(shí)，均方根誤差最小.本文輸入的圖像大小為384×288，即當(dāng)窗口大小為圖像大小的0.2%時(shí)，錯(cuò)誤匹配率最低.在本文其他部分實(shí)驗(yàn)，也都采取該窗口大小.

圖6 窗口大小和錯(cuò)誤匹配率的關(guān)系Figure 6 Relationships between window size and false match rate

4 結(jié) 語(yǔ)

立體匹配是利用二維場(chǎng)景獲取三維場(chǎng)景的重要方法，本文提出了一種利用視覺(jué)顯著性特征改進(jìn)的自適應(yīng)權(quán)重立體匹配算法.該算法首先根據(jù)人類(lèi)視覺(jué)特性提出新的權(quán)重策略，利用新的匹配代價(jià)度量函數(shù)，以及視差圖融合等方法，最終得到符合人類(lèi)主觀感受的視差圖.實(shí)驗(yàn)結(jié)果表明，本文算法能夠精確描繪圖像的邊緣與細(xì)節(jié)特征，并且能夠解決左右視圖遮擋的問(wèn)題，由于引入顯著性檢測(cè)作為匹配的主要方法，匹配點(diǎn)數(shù)量遠(yuǎn)遠(yuǎn)小于傳統(tǒng)算法，且相比傳統(tǒng)算法復(fù)雜度降低，有一定的優(yōu)越性和研究?jī)r(jià)值.

[1] 曹之樂(lè),嚴(yán)中紅,王洪.雙目立體視覺(jué)匹配技術(shù)綜述[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,29(2):70-75. CAO Zhile, YAN Zhonghong, WANG Hong. Summary of binocular stereo vision matching technology[J]. Chongqing University of Technology(Natural Science)，2015,29(2):70-75.

[2] MCCULLAGH B. Real-time disparity map computation using the cell broadband engine[J]. Journal of Real-Time Image Processing,2012,7(2):87-93.

[3] 曾紀(jì)國(guó)，余國(guó)和，謝旭升，等.快速魯棒的立體匹配方法[J]，計(jì)算機(jī)工程與應(yīng)用，2013，49(14):196-198. ZENG Jiguo, YU Guohe, XIE Xusheng, et al. Fast and robust stereo matching method[J]. Computer Engineering and Applications,2013，49(14):196-198.

[4] DE-MAEZTU L, VILLANUEVA A, CABEZA R. Stereo matching using gradient similarity and locally adaptive support-weight[J]. Pattern Recognition Letters,2011,32(13):1643-1651.

[5] JOGLEKAR J, GEDAM S S, MOHAN B K. Image matching using SIFT features and relaxation labeling technique: a constraint initializing method for dense stereo matching[J]. IEEE Transactions on Geoscience and Remote Sensing,2014,52(9):5643-5652.

[6] YOON K J, KWEON I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[7] XU Y, ZHAO Y, WU F, et al. Error analysis of calibration parameters estimation for binocular stereo vision system[C]//2013 IEEE International Conference on Imaging Systems and Techniques. Beijing: IEEE,2013:317-320.

[8] GU Z, SU X, LIU Y, et al. Local stereo matching with adaptive support-weight, rank transform and disparity calibration[J]. Pattern Recognition Letters,2008,29(9):1230-1235.

[9] XUE T, QU L, WU B. Matching and 3-D reconstruction of multibubbles based on virtual stereo vision[J]. IEEE Transactions on Instrumentation and Measurement,2014,63(6):1639-1647.

[10] BORJI A, SIHITE D N, ITTI L. Quantitative analysis of human-model agreement in visual saliency modeling: a comparative study[J]. IEEE Transactions on Image Processing,2013,22(1):55-69.

[11] GU Z, SU X, LIU Y, et al. Local stereo matching with adaptive support-weight, rank transform and disparity calibration[J]. Pattern Recognition Letters,2008,29(9):1230-1235.

[12] AZIZ M Z, MERTSCHING B. Pre-attentive detection of depth saliency using stereo vision[C]//2010 IEEE 39th Applied Imagery Pattern Recognition Workshop (AIPR). Washington:IEEE,2010:1-7.

An adaptive weight stereo matching algorithm based on visual saliency

WANG Chong, PAN Chen, GAO Haoran

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

The traditional stereo matching algorithm rarely considers the characteristics of human eyes, so there is difference between the disparity map and the subjective human feelings. We presented a stereo matching algorithm based on adaptive weight. Firstly, the distinguishing visual images were introduced into the stereo matching algorithm to improve the original algorithm. Then, we proposed a new matching cost criteria. Finally, according to the left and right disparity map fusion, we obtained a disparity map in accordance with human perceptions. Related image experiments showed that the improved algorithm solved the problem of occlusion and accurately described the edges and details of the disparity map. It has better performance compared with the traditional methods.

stereo matching; adaptive weight; saliency detection; similarity measure; fusion disparity map

2096-2835(2016)04-0435-06

10.3969/j.issn.2096-2835.2016.04.014

2016-07-01 《中國(guó)計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

浙江省自然科學(xué)基金資助項(xiàng)目(No.LY13F010004).

TP391

A