杜棋東

（廣州鐵路職業(yè)技術學院教育技術中心，廣州510430）

1 引 言

立體匹配是虛擬現(xiàn)實、機器人視覺等領域的一項重要研究內容，能夠通過多視點圖像計算出物體的深度信息，對視覺導航、障礙物檢測等實際應用有著重要的作用[1-2]。根據(jù)不同匹配的基元，立體匹配分為特征點匹配和區(qū)域立體匹配[3]。其中，區(qū)域立體匹配是以一個區(qū)域為匹配基元，通過匹配其他圖像中最優(yōu)匹配區(qū)域獲取最終視差圖的過程。常見的方法包括歸一化灰度互相關NCC 算法（Normalized Cross Correlation）、絕對誤差和SAD 算法（Sum of Absolute Differences）、誤差平方和SSD 算法（Sum of Squared Differences）。此類常見立體匹配方法往往只關注圖像表面上的像素數(shù)據(jù)[4]，缺乏人眼的感知關注，所以往往會影響算法效率甚至發(fā)生視差圖錯配。

故此提出一種基于視覺注意機制的方法。此方法能夠模擬人眼快速感知外界抽象物體，快速計算其顯著性目標區(qū)域，減少搜索空間，并降低識別的計算復雜度，在文獻[5－7]研究工作的基礎上，引入視覺注意計算模型（Itti 模型），提取圖像亮度、顏色、方向等非空間特征，然后將彩色圖像分割若干區(qū)域，建立圖像間立體匹配關系，接著計算兩幅圖的視差值，通過視差值提取并優(yōu)化視差圖，獲取最終的視差圖。

2 設計方法

視覺注意機制是基于生物學的心理調節(jié)機制，能夠有選擇性地指向環(huán)境中的某一個焦點而忽略其他事物的認知過程，其感知具備選擇能力。引入視覺注意機制的Itti 模型，首先基于雙目視覺，通過中央-周邊（Center-Sound）算子計算輸入圖像的顏色特征、亮度特征、方向特征，獲得多特征、多尺度的量度結果并合成左右兩幅顯著圖，反差大的區(qū)域代表視覺注意力高的區(qū)域，根據(jù)不同顯著圖的值計算顯著區(qū)范圍，然后采用顏色分割方法將圖像劃分為若干區(qū)域。在計算各區(qū)域顏色和灰度相似性的基礎上，建立圖像間的匹配關系，根據(jù)左右兩幅圖匹配計算，得出各個像素點的視差值，再由視差值生成視差圖，最后采用平面相似性估計方法[8]合并場內的近似屬于同一視差的平面，得到新的視差圖，即為深度特征圖。引入視覺注意機制的區(qū)域立體匹配方法流程如圖1 所示。

3 具體計算

3.1 非空間特征計算

非空間特征提取反映了由視覺感知到初級視覺特征信息的處理過程，通過對亮度、顏色和方向等非空間特征的提取，得到各類特征在不同尺度下的多特征圖。

關于亮度特征提取，首先根據(jù)下式將彩色圖轉化為灰度I：

再計算灰度I 在s 尺度下的亮度特征圖。若輸入圖像是灰度圖，則直接獲取亮度信息即可。

關于顏色特征提取，根據(jù)下式計算RG 和BY 的色差：

然后再計算各個領域的色差均值，其中Y=(r+g)/2+(r-g)/2-b, R=r-(g+b)/2,G=g-(r+b)/2,B=b-(r+g)/2，最后得到s 尺度下的顏色特征圖RG、BY。

關于方向特征提取，Gabor 在這方面具有良好的方向選擇和尺度選擇特性，因此采用Gabor 濾波器方法，根據(jù)下式對s 尺度下的灰度圖像I 進行濾波：

其中，x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ，θ 為主頻方向，μ 為頻率，θ∈{0°, 45°, 90°, 135°}，進而可得到方向特征圖O(θ)。

3.2 深度信息計算

深度信息計算對視覺加工處理至關重要，是進行物體識別的重要步驟，下面通過彩色圖像區(qū)域分割、立體匹配、視差圖提取以及視差平面優(yōu)化等步驟，計算深度信息。

3.2.1 圖像分割和SAD 立體匹配

彩色圖像區(qū)域分割的實質就是從復雜的背景粗化提取整體信息，把具有相似性質的像素連通成特定區(qū)域。各種場景的物體姿態(tài)特征提取，其立體視差變化主要體現(xiàn)在顏色區(qū)域的輪廓邊界上，這種情況下采用均值偏移（Mean shift）算法[9]，此算法的實質是核密度估計，算法核心是對特征空間中的樣本點進行聚類，得到密度梯度為零的模式點。彩色圖像分割首先借助Mean shift 算法將圖像中的像素進行聚類，找到不同色彩的聚類點，然后進行二值化處理，使圖像中的灰度級較處理前有所減少。

在上述區(qū)域分割的基礎上，計算最小的SAD 差異區(qū)域，即匹配區(qū)域。SAD 的基本思想是差的絕對值之和，即通過各個像素值之差的絕對值求和，以此來評估區(qū)域的相似度。

SAD 計算如下式：

其中：M 為n×n 大小的窗口，類似于卷積核；d為視差范圍；KmgL(i,j)表示以(i,j)為中心的基準圖待匹配像素的所有灰度值的均值，KmgR(i,j)表示以(i,j)為中心的配準圖的匹配點的所有灰度值均值。

對M 窗口中的全部代價函數(shù)進行加權聚合，通過以下聚合函數(shù)式可計算匹配點與候選點之間的聚合值：

對視差值d 的計算如下式：

其中D 表示視差范圍。

3.2.2 視差圖優(yōu)化

關于視差層提取，所采用的是平面相似性估計方法[10]，即下式：

其中，S 為分割區(qū)域，P 為視差平面，C 為匹配代價函數(shù)，通過C 來判斷S 是否屬于P，并將同樣視差值的平面劃分為一類，合并相似區(qū)域，合并之后的視差圖即為最終視差圖。此處，其中、均是P 的參數(shù)。

為解決視差圖錯誤匹配產(chǎn)生噪聲的問題，利用顯著性檢測法對視差圖進行優(yōu)化。首先對初步視差圖利用基于頻域的HFFT 方法[11]檢測顯著圖，再對其進行非空間特征計算；接著判斷顯著圖的顯著度值是否比設定的閾值大，如果小于閾值，則判斷為圖像正常邊緣，如果大于閾值，采用多點均值濾波進行處理，即對窗口范圍內的所有顯著點進行處理。其中，中心點值用去除最小值點與最大值點后的均值代替；最后重復1~3 次流程進行視差圖優(yōu)化。其具體流程如圖2 所示。

圖2 優(yōu)化視差圖流程

4 實驗分析

實驗使用的計算機配置為：Intel Core i3 8100 3.6GHz，Windows 64 位操作系統(tǒng)；程序在MATLAB 2013b 中實現(xiàn)，實驗圖采用Teddy 標準雙目視圖；標準數(shù)據(jù)實驗采用NCC 算法、SSD 算法、SAD 算法和提出的算法進行實驗比較。為了方便實驗，只使用Teddy 的右圖像。實驗效果如圖3 所示。其中圖3(a)~(d) 分別表示NCC、SSD、SAD 與提出方法的匹配代價計算結果。圖3(e)與圖3(f)用于表示標準視差與原始圖匹配效果的好壞對比。

圖3 各算法實驗效果對比

從圖3(d)和圖3(a)可知，新方法雖然在展示畫布的紋理信息上不夠細致，但對物體邊緣的處理還是優(yōu)于NCC 算法的。從圖3(d)和圖3(b)可知，新方法能較好地處理區(qū)域物體深度信息。從圖3(d)和圖3(c)對比可看出，新方法相對于SAD 算法，不僅能較好解決遮擋區(qū)域的視差問題，而且視差精度較高，示例圖像中的布偶和玩具房輪廓邊緣效果明顯，可信度高。與其他3 種算法的誤差率對比如表1 所示，運算時間上的對比則如表2。

表1 其他算法與新方法誤差率對比 單位：%

表2 其他算法與新方法運算時間對比 單位：s

在表2 中可以看出，NCC 算法的運算速度最快，與新方法對比快了20%左右，但其匹配誤差率也高于新算法2 倍多。SAD 算法與SSD 對比，在誤差率相差不大的情況下，運算時間較快，故而SAD算法優(yōu)于SSD 算法。新方法與SAD 對比，誤差率低于SAD 算法，運算速度也略高于SAD 算法，能夠滿足圖像立體匹配場景下的應用要求。

5 結束語

針對算法效率的提升與降低出錯率，提出了一種引入視覺注意機制的區(qū)域立體匹配算法。在保證圖像一定精度的情況下提高匹配速度和效率，保證匹配的準確性。實驗表明，所述方法相比于精度較高、速度較快的SAD 算法，能夠提高15%速度，同時精度提高3%，為立體匹配技術在視覺導航、障礙物檢測等方面的應用奠定了良好基礎。