張起貴，張 妮

（太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024）

在三維空間物體到二維成像平面上，光流即為空間運(yùn)動(dòng)目標(biāo)像素在其成像平面的瞬時(shí)速度，主要用于圖像分割與運(yùn)動(dòng)目標(biāo)的檢測，目前已被廣泛應(yīng)用于醫(yī)學(xué)、軍事以及智能等領(lǐng)域.針對Horn-Schunck 提出的光流計(jì)算變分方法，J.Colliez［1］采用了基于向量的回歸方法計(jì)算平滑的光流矢量，但不適合在大位移下進(jìn)行光流的檢測.目前，光流的主要研究方法是采用J.Colliez提出的由粗到精的分層細(xì)化技術(shù)［2］，即基于最小二乘法矩陣，在圖像較為平坦的區(qū)域，灰度梯度為零；在其他一些區(qū)域，二次矩陣的特征值可能接近為0.這樣圖像的孔徑問題仍然存在，而且不能提供一個(gè)可靠完整的密度流，同時(shí)采用高斯分布［3］預(yù)處理圖像，無法自適應(yīng)選擇平滑閾值，平滑過大，會(huì)丟失圖像的較多細(xì)節(jié)信息；平滑過小，又無法有效地去除噪音，導(dǎo)致計(jì)算光流存在誤差.因此，本文采用一種多尺度多分辨率的全局能量泛函光流計(jì)算方法，為防止過平滑而導(dǎo)致目標(biāo)邊緣細(xì)節(jié)丟失，采用基于ROF模型預(yù)處理得到的紋理圖像，作為多分辨率、大尺度的輸入圖像，并對因環(huán)境光照影響，目標(biāo)遮擋、自旋轉(zhuǎn)造成的異常光流矢量值進(jìn)行及時(shí)修正.

1 整體算法設(shè)計(jì)

圖1 算法設(shè)計(jì)流程Fig.1 Process of algorithm design

本文整體算法思路包括：全變分正則化預(yù)處理圖像，保留圖像的細(xì)節(jié)信息，雙線性插值分層細(xì)化圖像作為金字塔各層處理圖像［4］，利用有限的迭代Horn-Schunck（HS）光流算法計(jì)算各層的光流矢量，利用自適應(yīng)鄰域修正法對異常光流矢量進(jìn)行修正，并用雙三次插值初始化下一層光流矢量.其具體算法流程如圖1 所示.先用ROF模型［5］得到圖像的紋理結(jié)構(gòu)作為金字塔的預(yù)處理圖像，采用高斯濾波和亞像素圖像多分辨率分層細(xì)化的變形分層技術(shù)處理不同尺寸、不同分辨率的金字塔圖像.設(shè)k為金字塔層數(shù)，第k層金字塔圖像長、寬分別為第k-1層圖像長、寬的1／2，從最低分辨率和最小尺寸圖像層開始計(jì)算，第k層初始光流.定義第k-1層初始光流為雙三次插值下采樣第k層光流矢量的2倍，其中uk，vk為第k層經(jīng)有限迭代后達(dá)到的穩(wěn)態(tài)解.在圖像分層過程中，縮小了光流的位移量，因此只需通過有限的迭代來計(jì)算每層的光流矢量，直至達(dá)到穩(wěn)態(tài)解，將最終計(jì)算得到的光流利用彩色顯示方案進(jìn)行輸出.

2 ROF 模型

因全局過平滑導(dǎo)致目標(biāo)形狀細(xì)節(jié)信息嚴(yán)重丟失，因此圖像在梯度變化較大、物體邊緣的地方出現(xiàn)了模糊現(xiàn)象，導(dǎo)致光流估計(jì)值精度降低.為此采用基于前向差分的ROF模型［6］對輸入圖像進(jìn)行預(yù)處理時(shí)，使圖像在梯度變化較小的地方得到較多的平滑，相反較少的平滑應(yīng)用在圖像梯度變化多的地方，其模型如下：

式中：In為含噪輸入圖像；Iij為輸出圖像，通過最小換能量泛函數(shù)來求解.為防止梯度變化為0，此時(shí)引入一個(gè)輔助對偶變量ξij，可得

其中變量ξij可通過式（4）和（5）求得

圖2 為圖像預(yù)處理連續(xù)輸入兩幀圖像的過程，左列為原始圖像，經(jīng)ROF 模型處理后得到中間列大尺度圖像，其右列所示圖像中細(xì)小變化部分即紋理部分.

圖2 圖像預(yù)處理Fig.2 Image preprocessing

3 基于全局能量泛函的光流

基于本文研究的內(nèi)容及對象，采用由粗到精的分層HS（全局）能量泛函光流模型［7-8］，如式（7）所示.

由HS光流能量泛函整理可得

由式（10）和（11）轉(zhuǎn)化為稀疏線性方程，當(dāng)給定一個(gè)初始值后，經(jīng)時(shí)間輔助變量即有限迭代，基本可使光流矢量（u，v）達(dá)到穩(wěn)態(tài)解.設(shè)x：＝（x，y，t）T，w：＝（u，v，1）T，且在每次迭代過程后更新多分辯率圖像I的偏微分

4 自適應(yīng)鄰域修正

對由目標(biāo)的遮擋、自旋轉(zhuǎn)造成的光流估計(jì)值產(chǎn)生的異常值，本文采用一種自適應(yīng)鄰域修正法，對異常光流矢量進(jìn)行修正.設(shè)圖像坐標(biāo)為（i，j）處的光流矢量為（ui，j，vi，j），采用3×3鄰域模板（如圖3 所示），判斷（ui，j，vi，j）是否異常.

圖3 3＊3鄰域模板Fig.3 3＊3neighborhood template

1）設(shè)（ui，j，vi，j）在3×3鄰域模板的光流估計(jì)平均值為，標(biāo)準(zhǔn)方差為σ（ui，j），σ（vi，j），其計(jì)算公式如下：

3）當(dāng)ui，j異常時(shí)，采用5×5 鄰域光流中值median（ui，j）修正ui，j；當(dāng)vi，j異常時(shí)，采用5×5鄰域光流中值median（vi，j）修正vi，j；繼續(xù)步驟5）.

4）采用3×3鄰域光流中值median（ui，j）修正ui，j，median（vi，j）修正vi，j；繼續(xù)步驟5）.

5）i＝i+1，j＝j(luò)+1，返回步驟1），直至i＝M，j＝N（M×N為圖像的大?。?

5 彩色光流顯示及算法評價(jià)

5.1 彩色光流顯示

光流彩色顯示較傳統(tǒng)有向線段表示方式包含了更多的信息，運(yùn)用彩色顯示不僅可直觀地了解運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)方向和運(yùn)動(dòng)幅度的大小，且更易于捕捉到細(xì)節(jié)信息.本文采用的光流顯示方案是基于HSI模型，RGB 模型，設(shè)I（亮度）固定，將紅、綠、藍(lán)、紫色調(diào)間的連續(xù)變化用一個(gè)色彩盤表示，如圖4 所示.

設(shè)HSI模型中色調(diào)H，飽和度S分別為

將HSI模型轉(zhuǎn)換成RGB模型后，光流場則可通過光流彩色坐標(biāo)系直接顯示出來，圖2所示的連續(xù)視頻幀中，圖像大小為640×480，計(jì)算光流結(jié)果顯示如圖5 所示.圖5（a），（d）為傳統(tǒng)光流顯示圖，雖然能夠顯示計(jì)算得到的光流結(jié)果，但不具有直觀性；圖5（b），（e）為光流彩色顯示圖，通過圖5（c）頭部光流的局部放大，可以看出頭部光流方向是右斜向下的，滿足連續(xù)視頻幀運(yùn)動(dòng)情況.同理，圖5（f）為小狗腿部光流的局部放大，小狗腿部光流方向是向左的，同樣滿足連續(xù)視頻幀運(yùn)動(dòng)情況.

圖4 光流彩色坐標(biāo)系Fig.4 Coordinate system of color optical flow

圖5 光流矢量顯示Fig.5 Display of optical flow vector

5.2 算法評價(jià)

光流算法的評價(jià)直接關(guān)系到光流的計(jì)算質(zhì)量及算法的優(yōu)良程度，也是檢驗(yàn)在復(fù)雜場景下運(yùn)動(dòng)目標(biāo)的有效性［9-10］.本文采用第二代Middebury光流測試庫的非剛體、大位移等情況下的真實(shí)光流場進(jìn)行測試，對于誤差主要發(fā)生在運(yùn)動(dòng)邊緣、灰度梯度變化小及大尺度圖像運(yùn)動(dòng)的區(qū)域，采用平均角誤差、平均終點(diǎn)誤差、光流矢量角度標(biāo)準(zhǔn)差進(jìn)行光流精度的對比.

平均角誤差是衡量整個(gè)光流場角誤差的平均值，是指測試光流（ui，j，vi，j，t）與真實(shí)光流（uith，ith，vith，jth，t）之間的夾角，經(jīng)過反余弦運(yùn)算獲得角度誤差，避免了零值光流問題的出現(xiàn).用平均終點(diǎn)誤差來衡量整個(gè)光流場矢量誤差的平均值，光流矢量角度標(biāo)準(zhǔn)差是衡量整個(gè)光流場角度誤差的波動(dòng)性，三種算法評價(jià)如式（21）～（24）.

1）平均角誤差（AAE）

2）平均終點(diǎn)誤差（AEPE）

3）光流矢量角度標(biāo)準(zhǔn)方差（σ）

5.3 實(shí)驗(yàn)仿真

本實(shí)驗(yàn)是在Matlab 2008a環(huán)境下進(jìn)行的數(shù)據(jù)仿真，連續(xù)選取Middebury 光流測試庫的第10幀、第11幀圖像作為輸入視頻幀，通過本文提出的改進(jìn)算法，得到了如圖6 所示的光流彩色顯示圖.定義超過10 像素位移運(yùn)動(dòng)為大位移運(yùn)動(dòng)，Grove3，Hydrange，Urban2，Urban3圖像即為超過10像素的大位移運(yùn)動(dòng)的目標(biāo)圖像，并且通過表1對比光流算法.設(shè)THS代表傳統(tǒng)HS光流算法，PHS代表金字塔HS光流算法，IHS代表改進(jìn)的HS算法.通過對比，可明顯觀察到，對于紋理復(fù)雜、相對攝像機(jī)的大位移運(yùn)動(dòng)目標(biāo)，光流計(jì)算AAE，AEPE，σ值有明顯減小.

表1 HS光流實(shí)驗(yàn)數(shù)據(jù)Tab.1 Experimental data of HS optical flow

圖6 光流彩色顯示Fig.6 Display of color optical flow

6 結(jié)論

針對復(fù)雜場景下大位移、非剛性運(yùn)動(dòng)目標(biāo)的光流矢量檢測，本文提出了一種改進(jìn)的基于ROF模型的全局能量泛函光流法，不僅克服了過平滑造成目標(biāo)形狀的失真，外界環(huán)境對光流預(yù)處理圖像的影響，而且利用自適應(yīng)鄰域修正法修正了異常光流矢量，同時(shí)實(shí)現(xiàn)了小位移和大位移運(yùn)動(dòng)目標(biāo)的光流計(jì)算.相比于傳統(tǒng)Horn-Schunck算法與金字塔Horn-Schunck算法，AAE平均誤差分別降低了87.86%，58.51%，AEPE平均誤差分別降低了89.44%，58.99%，提高了算法的精確度和魯棒性.在今后研究提高算法精度的同時(shí)，將進(jìn)一步縮短時(shí)間代價(jià)，為后續(xù)光流算法的應(yīng)用奠定了一定的基礎(chǔ).

［1］Colliez J，Dufrenois F，Hamad D.Optic flow estimation by support vector regression［J］.Engineering Applications of Artificial Intelligence，2006，19（7）：761-768.

［2］張金林.基于改進(jìn)的Lucas-Kanade光流估算模型的運(yùn)動(dòng)目標(biāo)檢測［J］.微計(jì)算機(jī)信息，2010，26（8）：194-196.Zhang Jinlin.Moving object detection based on improved Lucas-Kanade optical flow model［J］.Microcomputer Information，2010，26（8）：194-196.（in Chinese）

［3］衛(wèi)保國，李晶.一種針對大尺度運(yùn)動(dòng)的快速光流算法［J］.計(jì)算機(jī)應(yīng)用與研究，2012，29（9）：3351-3357.Wei Baoguo，Li Jing.Fast optical flow algorithm for large-scale motion［J］.Application Research of Computers，2012，29（9）：3351-3357.（in Chinese）

［4］陳震.圖像序列光流計(jì)算技術(shù)及其應(yīng)用［M］.北京：工業(yè)出版社，2012.

［5］王玲玉.圖像去噪的非局部正則化方法研究［D］.武漢：武漢理工大學(xué)，2012.

［6］Brox T，Bruhn A.High accuracy optical flow estimation based on a theory for warping［J］.Proc.8th European Conference on Computer Vision，2004，3024：25-36.

［7］Papenberg N.Highly accurate optical flow computation with theoretically justified warping［J］.Interna-tional Journal of Computer Vision，2006，67（2）：141-158.

［8］廖彬.單目視頻中光流場估計(jì)視頻的研究［D］.廣州：華南理工大學(xué)，2011.

［9］Sun D.Learning optical flow［C］.Computer Vision-ECCV 2008，Berlindelberg：Springer-verlcg，2008：83-97.

［10］Baker S，Scharstein D，Lewis J P，et al.A database and evaluation methodology for optical flow［J］.International Journal Computer Vision，2011，92（1）：1-31.