付婧祎 余 磊 楊 文 盧 昕

光流(Optical flow,OF)估計(jì)一直是圖像處理與計(jì)算機(jī)視覺領(lǐng)域中一個(gè)核心的研究課題.近年來,隨著計(jì)算機(jī)軟硬件水平的提高,各類光流估計(jì)算法層出不窮,光流技術(shù)在跟蹤[1-2]、運(yùn)動(dòng)分割[3-4]、導(dǎo)航[5-6]和圖像配準(zhǔn)[7-8]等應(yīng)用領(lǐng)域凸顯出了越來越重要的作用.特別是在高速運(yùn)動(dòng)場景中,由于空間物體運(yùn)動(dòng)位置的快速變化,對運(yùn)動(dòng)數(shù)據(jù)的獲取和光流的計(jì)算提出了更高要求,連續(xù)且高精度的光流估計(jì)算法[9]更是被國內(nèi)外學(xué)者廣泛研究,其獲得的光流估計(jì)結(jié)果也能為后續(xù)各類視覺任務(wù)打下良好基礎(chǔ).

然而,由于相機(jī)自身較低的時(shí)間分辨率,傳統(tǒng)光學(xué)相機(jī)在高速運(yùn)動(dòng)場景下,難以連續(xù)捕捉到物體在成像平面中位置的快速變化,導(dǎo)致輸出圖像幀存在運(yùn)動(dòng)模糊,因此低幀率的數(shù)據(jù)使得基于傳統(tǒng)相機(jī)的光流估計(jì)算法無法有效地進(jìn)行連續(xù)的光流估計(jì).如圖1(a)所示,向右做高速運(yùn)動(dòng)的棋盤格由傳統(tǒng)光學(xué)相機(jī)成像,由于傳統(tǒng)相機(jī)曝光時(shí)間較長,棋盤格在亮度圖像幀中出現(xiàn)了運(yùn)動(dòng)模糊.通過傳統(tǒng)Horn-Schunck 算法[10]獲得的光流結(jié)果如圖1(b)所示,隨著棋盤格運(yùn)動(dòng)速度加快,受到亮度圖像運(yùn)動(dòng)模糊的影響,傳統(tǒng)算法所估計(jì)的光流精度逐漸降低,甚至輸出與實(shí)際運(yùn)動(dòng)反向的光流結(jié)果.

圖1 基于傳統(tǒng)相機(jī)和基于事件相機(jī)的光流估計(jì)效果對比((a)傳統(tǒng)相機(jī)輸出圖像幀序列;(b)傳統(tǒng)Horn-Schunck算法的光流估計(jì)結(jié)果;(c)事件相機(jī)輸出事件流;(d)本文EDI-CLG 算法光流估計(jì)結(jié)果)Fig.1 Comparison of traditional camera and event camera based optical flow ((a)The samples of images acquired by traditional camera;(b)The results using Horn-Schunck algorithm;(c)The event data generated by event camera;(d)The results using the proposed EDI-CLG algorithm)

近年來,針對基于傳統(tǒng)光學(xué)相機(jī)的光流估計(jì)算法易受運(yùn)動(dòng)模糊影響的問題,基于事件相機(jī)[11-12]的光流估計(jì)算法受到了廣泛關(guān)注.事件相機(jī)是一種新型的仿生傳感器,不同于傳統(tǒng)相機(jī)通過固定時(shí)間間隔采樣獲取圖像幀,該相機(jī)具有獨(dú)立的像素,這些像素只在場景的亮度變化超過一定閾值時(shí)異步地進(jìn)行成像.此外,事件相機(jī)具有高時(shí)間分辨率的特性,受運(yùn)動(dòng)模糊問題影響較少[13],因此能夠?qū)臻g物體的運(yùn)動(dòng)進(jìn)行連續(xù)捕捉,獲取瞬時(shí)的運(yùn)動(dòng)數(shù)據(jù)有利于進(jìn)行連續(xù)的光流估計(jì).圖1(c)展示了棋盤格高速運(yùn)動(dòng)生成的事件點(diǎn),紅色表示亮度增強(qiáng),藍(lán)色表示亮度減弱.可以看出,事件相機(jī)捕捉到的運(yùn)動(dòng)信息在時(shí)間上具有連續(xù)性,基于此估計(jì)出的如圖1(d)所示的光流結(jié)果,不僅在時(shí)間上具有連續(xù)性特征,而且更加精確.

目前,基于事件相機(jī)的光流估計(jì)算法主要分為單純基于事件流算法和聯(lián)合事件流與亮度圖像算法兩種.由于事件流數(shù)據(jù)不能如圖像幀一樣完整地反映場景的紋理信息,因此單純基于事件流的光流估計(jì)算法[14-16]僅能反映事件點(diǎn)觸發(fā)位置的光流信息,無法得到完整的場景運(yùn)動(dòng)信息.此外,由于事件數(shù)據(jù)存在大量噪聲[17],也降低了光流估計(jì)的準(zhǔn)確性.動(dòng)態(tài)和主動(dòng)像素視覺傳感器(Dynamic and activepixel vision sensor,DAVIS)相機(jī)由Berner 等[18]開發(fā).該傳感器結(jié)合了動(dòng)態(tài)視覺傳感器(Dynamic vision sensor,DVS)[19-20]和傳統(tǒng)的主動(dòng)像素傳感器(Active pixel sensor,APS),不僅輸出異步事件流,還可以輸出固定幀率的亮度圖像.基于此,Almatrafi 等[21]提出了聯(lián)合DVS 和APS 數(shù)據(jù)的光流估計(jì)方法,提高了事件相機(jī)光流估計(jì)的準(zhǔn)確性和魯棒性.然而,由于APS傳感器輸出的亮度圖像依然不可避免地受到運(yùn)動(dòng)模糊影響且該算法由于依賴亮度圖像獲取空間梯度,只能估計(jì)出建幀時(shí)刻的非連續(xù)光流,因此并不能保證高速運(yùn)動(dòng)場景下光流的精度和連續(xù)性.

針對上述問題,本文基于亮度恒定假設(shè)和事件產(chǎn)生模型利用事件相機(jī)輸出事件流的低延時(shí)性質(zhì),融合存在運(yùn)動(dòng)模糊的亮度圖像幀,提出基于事件相機(jī)的連續(xù)光流估計(jì)算法.通過研究模糊圖像幀與曝光時(shí)間內(nèi)生成事件點(diǎn)之間的關(guān)系,可以重建出連續(xù)的清晰亮度圖像,從而使算法受運(yùn)動(dòng)模糊的影響較少.最后在計(jì)算光流時(shí),添加平滑約束獲得更具魯棒性的稠密光流,最終實(shí)現(xiàn)高速運(yùn)動(dòng)場景下受運(yùn)動(dòng)模糊影響較小的連續(xù)光流估計(jì).

本文的主要貢獻(xiàn)如下:

1)針對基于傳統(tǒng)光學(xué)相機(jī)的光流估計(jì)算法易受運(yùn)動(dòng)模糊影響問題,本文通過研究模糊圖像幀與曝光時(shí)間內(nèi)生成事件點(diǎn)之間的關(guān)系,理論上推導(dǎo)了聯(lián)合事件和圖像的連續(xù)光流模型,建立了任意時(shí)刻光流、圖像和事件之間的關(guān)系.

2)基于聯(lián)合事件和圖像的連續(xù)光流模型,提出HS (Horn-Schunck)和結(jié)合局部與全局(Combining local and global,CLG)平滑約束的光流估計(jì)方法,提升了重建光流的精度和平滑性.

3)通過實(shí)驗(yàn)表明,本文方法不僅能夠較大提升基于事件相機(jī)光流估計(jì)的精度,同時(shí)還能解決目標(biāo)高速運(yùn)動(dòng)條件下如何進(jìn)行連續(xù)且穩(wěn)定的光流估計(jì)問題.因此,對于高速運(yùn)動(dòng)的極端場景,本文方法具有一定優(yōu)勢.

1 相關(guān)算法概述

1.1 基于傳統(tǒng)相機(jī)的光流估計(jì)

在基于傳統(tǒng)相機(jī)的光流估計(jì)方法中,光流可以通過連續(xù)圖像幀間的相關(guān)性以及圖像上特定像素在空間和時(shí)間上的變化得到.一般地,坐標(biāo) (x,y)上的像素在t時(shí)刻的亮度值可以表示為I(x,y,t),為簡便起見,有時(shí)將I的坐標(biāo)變量默認(rèn)省略.在環(huán)境不變時(shí),用同一相機(jī)拍攝的圖像序列之間有很強(qiáng)關(guān)聯(lián)性,因此可以引入光流的“亮度恒定”假設(shè)[10,22]即隨著時(shí)間的變化,在圖像平面移動(dòng)的像素點(diǎn)亮度值不變.對于t時(shí)刻在坐標(biāo) (x,y)上的像素點(diǎn),經(jīng)過?t時(shí)間,移動(dòng)到 (x+?x,y+?y),則:

基于這一假設(shè),將式(1)按一階泰勒展開后,再忽略高階項(xiàng),可以得到光流約束方程:

但僅有光流約束方程不足以估計(jì)出二維運(yùn)動(dòng)場.因此,Horn 等[10]通過正則化方式提高全局空間的一致性,提出速度平滑假設(shè),將問題轉(zhuǎn)化為可求解的凸函數(shù),也就是HS 光流法.Lucas 等[22]提出基于光流場局部空間一致性的Lucas-Kanade 光流,提高算法的準(zhǔn)確性和魯棒性.隨后,Black 等[23]提出分段平滑的假設(shè)來改進(jìn)全局平滑,黃波等[24]通過引入二維標(biāo)號場改進(jìn)了HS 光流.Fortun 等[25]則通過最小化光流的大小來引入額外的約束,進(jìn)一步提升了算法的精度.

然而,由于傳統(tǒng)相機(jī)的時(shí)間分辨率較低,在某些高速運(yùn)動(dòng)的極端場景下,容易出現(xiàn)運(yùn)動(dòng)模糊,導(dǎo)致光流估計(jì)算法的性能急劇下降.因此基于傳統(tǒng)相機(jī)的光流估計(jì)算法無法有效地保證高速運(yùn)動(dòng)場景下光流估計(jì)的準(zhǔn)確性和穩(wěn)定性.針對運(yùn)動(dòng)模糊問題,現(xiàn)有方法大多數(shù)基于線性運(yùn)動(dòng)的假設(shè),在此基礎(chǔ)上,通過求解模糊問題得到相應(yīng)的光流估計(jì)[26-27].但是,由于場景運(yùn)動(dòng)較為復(fù)雜,無法滿足線性運(yùn)動(dòng)假設(shè),從而影響光流估計(jì)的精度[28].

1.2 事件相機(jī)成像原理

事件相機(jī)是受生物視覺系統(tǒng)啟發(fā)的一類新型視覺傳感器,與傳統(tǒng)相機(jī)存在一定區(qū)別.傳統(tǒng)相機(jī)基于幀進(jìn)行成像,輸出同步圖像幀,像素點(diǎn)代表場景的絕對亮度;事件相機(jī)基于像素點(diǎn)獨(dú)立成像,輸出包含大量事件點(diǎn)的異步事件流,事件流表示場景在對數(shù)域的亮度變化.事件點(diǎn)數(shù)據(jù)包含了亮度變化事件的像素坐標(biāo)、觸發(fā)時(shí)間和極性三類信息.在像素平面上,若像素u=(x,y)T在t時(shí)刻上的對數(shù)光強(qiáng)值與上一時(shí)刻的對數(shù)光強(qiáng)值之差超過一定的閾值C,則激發(fā)事件e:=〈u,t,p〉:

式中,V:=lgI表示圖像對數(shù)域的亮度值;閾值C >0;?t是距離該像素上一次激發(fā)事件經(jīng)過的時(shí)間;p∈{1,-1} 表示事件的極性,p為正表示光強(qiáng)增強(qiáng),為負(fù)表示光強(qiáng)減弱.

與逐幀成像的傳統(tǒng)相機(jī)相比,逐像素點(diǎn)獨(dú)立成像的事件相機(jī)延時(shí)極低,能夠及時(shí)響應(yīng)像素的亮度變化并輸出事件流,從而記錄任意時(shí)刻的亮度變化情況.事件相機(jī)的低延時(shí)性質(zhì),使其特別適用于高速和高動(dòng)態(tài)范圍場景的視覺任務(wù),例如自動(dòng)駕駛[29]、高速同時(shí)定位與地圖構(gòu)建[30]、光流估計(jì)等.

1.3 基于事件相機(jī)的光流估計(jì)

針對基于事件相機(jī)的光流估計(jì)問題,目前常見方法是將恢復(fù)圖像像素強(qiáng)度作為預(yù)處理步驟,以適應(yīng)傳統(tǒng)算法.如Benosman 等[14]利用短時(shí)間內(nèi)事件的逐像素直方圖來代替像素值,Bodo 等[31]使用中心差分來改善空間梯度的質(zhì)量,Tobias 等[32]則利用空間梯度和時(shí)間梯度之間的耦合來提高魯棒性.但由于從事件到強(qiáng)度轉(zhuǎn)換過程中信息的丟失,這些算法與基于幀的光流估計(jì)算法相比,精度較差.

另一種常見方法是利用事件相機(jī)的特性來估計(jì)光流.Gallego 等[15]通過圖像對比度最大化,以產(chǎn)生運(yùn)動(dòng)補(bǔ)償?shù)膱D像來同時(shí)估計(jì)光流和深度.Lagorce等[16]開發(fā)算法來擬合時(shí)空流形以估計(jì)平滑的邊緣運(yùn)動(dòng).Liu 等[33]提出一種基于事件的塊匹配算法來估計(jì)光流的方向,并在文獻(xiàn)[34]中融合了速度的計(jì)算.Barranco 等[35]提出一種基于相位的方法來計(jì)算高頻紋理區(qū)域的光流,并嘗試重建強(qiáng)度信號,以避免紋理邊緣處可能存在的問題.Bardow 等[36]通過建立窗口,將亮度恒定和平滑先驗(yàn)組合為代價(jià)函數(shù),并通過變分法進(jìn)行優(yōu)化,實(shí)現(xiàn)光流和亮度的估計(jì).這些算法在一定程度上提高了光流估計(jì)的精度,但由于事件流數(shù)據(jù)不能如圖像幀一樣完整地反映場景的紋理信息,因此基于事件相機(jī)的光流估計(jì)算法僅能反映事件點(diǎn)觸發(fā)位置的光流信息,無法得到完整的場景運(yùn)動(dòng)信息.

近年來,聯(lián)合事件生成模型和“亮度恒定”假設(shè)進(jìn)行光流估計(jì)的方法[37]得到了廣泛關(guān)注.其中,部分方法基于事件的二重積分(Event-based dou-ble integral,EDI)模型[38],如Pan 等[39]利用該模型提出了聯(lián)合光流估計(jì)和亮度圖像去模糊算法,實(shí)驗(yàn)結(jié)果表明,利用EDI 模型可以降低運(yùn)動(dòng)模糊的影響,有利于提升光流估計(jì)的精度.因此,本文算法同樣基于EDI 模型,并通過結(jié)合事件流和亮度圖像各自的優(yōu)勢,提出基于事件相機(jī)的連續(xù)光流估計(jì)算法,以解決現(xiàn)有的傳統(tǒng)光流估計(jì)算法易受運(yùn)動(dòng)模糊的影響,以及單純基于事件流的光流估計(jì)算法空間信息不足的問題.

2 基于事件相機(jī)的連續(xù)光流估計(jì)

本節(jié)研究基于事件相機(jī)的連續(xù)光流估計(jì)方法,結(jié)構(gòu)安排如下: 第2.1 節(jié)簡要介紹EDI 模型,第2.2 節(jié)推導(dǎo)聯(lián)合EDI 模型和“亮度恒定”假設(shè)的連續(xù)稀疏光流估計(jì)方法,第2.3 節(jié)分別添加兩種平滑約束,最終求得對噪聲具有魯棒性的連續(xù)稠密光流場.

2.1 EDI 模型

EDI 模型[38]利用事件點(diǎn)的高時(shí)間分辨率優(yōu)勢,可以重建出受運(yùn)動(dòng)模糊影響較少的連續(xù)清晰亮度圖像.相機(jī)APS 模塊具有曝光時(shí)間,因此其輸出的亮度圖像在相機(jī)或場景內(nèi)運(yùn)動(dòng)目標(biāo)做高速運(yùn)動(dòng)的情況下,會產(chǎn)生運(yùn)動(dòng)模糊.假定第i幀亮度圖像為Y[i]∈RM×N,曝光時(shí)間為T,曝光起始時(shí)刻用ti表示,則圖像生成模型可以表示為:

式中,I(t)表示在t∈R時(shí)刻的瞬時(shí)清晰亮度圖像,這個(gè)生成模型可以解釋為由于亮度圖像I(t)在T時(shí)間內(nèi)的快速變化,導(dǎo)致輸出圖像Y[i] 模糊.為了更直觀地表示事件,用連續(xù)時(shí)間信號來定義離散事件序列,對于像素平面上的每一個(gè)像素 (x,y),定義exy(t)為連續(xù)時(shí)間t的函數(shù):

式中,δ(·)表示狄拉克函數(shù),te表示事件被激發(fā)的時(shí)刻.定義I(f)是f時(shí)刻的瞬時(shí)清晰亮度圖像,結(jié)合式(4)和式(6),可得:

將式(7)代入亮度圖像生成模型式(5),可以得到曝光時(shí)間內(nèi)的模糊圖像與事件點(diǎn),以及時(shí)刻f的瞬時(shí)清晰亮度圖像之間的關(guān)系:

然后,可以定義:

最終,可將式(8)寫為:

式中,Ei(f)表示第i幀亮度圖像曝光時(shí)間內(nèi)生成事件點(diǎn)的二重積分,I(f)表示任意時(shí)刻f的瞬時(shí)清晰亮度圖像,兩者均在時(shí)間上具有連續(xù)性特征.式(10)將模糊圖像、瞬時(shí)清晰亮度圖像和事件點(diǎn)之間建立了聯(lián)系.而模糊圖像和事件點(diǎn)是已知的,就可以通過式(10)計(jì)算出任意時(shí)刻的瞬時(shí)清晰亮度圖像.

2.2 基于EDI 模型的連續(xù)光流估計(jì)

EDI 模型僅僅考慮了模糊圖像的去模糊問題,本節(jié)進(jìn)一步結(jié)合光流約束方程研究基于EDI 模型的連續(xù)光流估計(jì)問題.

若將EDI 模型重建出的瞬時(shí)清晰亮度圖像看作式(3)中的亮度圖像I,即:

則亮度圖像I對時(shí)間f求導(dǎo)得:

可以結(jié)合式(3)和式(10),推導(dǎo)出聯(lián)合事件流和亮度圖像的連續(xù)光流估計(jì)方法:

則式(12)可更新為:

最終,將式(14)代入式(13),求得基于連續(xù)清晰亮度圖像重建的光流計(jì)算公式:

上式給出了任意時(shí)刻f的連續(xù)光流v(f)與模糊圖像Y[i] 和事件流數(shù)據(jù)Ei(f)之間的關(guān)系.第2.3節(jié)中,將利用這個(gè)關(guān)系并結(jié)合平滑約束,進(jìn)一步得到優(yōu)化的光流估計(jì).

2.3 平滑約束的連續(xù)光流估計(jì)

2.3.1 HS 平滑約束的連續(xù)光流估計(jì)

HS 光流法是一種基于全局的方法[40],它除了需要滿足Lucas-Kanade 光流法的亮度恒定、時(shí)間連續(xù)和運(yùn)動(dòng)位移小的假設(shè)外,還需要滿足圖像光流場全局平滑的假設(shè).使用I簡化表示I(f),令光流矢量v=(v1,v2),定義一個(gè)能量函數(shù):

式中,Ix、Iy和If分別表示圖像I在x、y方向上的導(dǎo)數(shù)和對時(shí)間的導(dǎo)數(shù),?表示求梯度,該能量函數(shù)的 (Ixv1+Iyv2+If)2是灰度變化因子,α(|?v1|2+|?v2|2)是平滑因子,α為正則化參數(shù),調(diào)節(jié)光流場的平滑程度,理想的光流場應(yīng)該使得灰度變化因子和平滑因子之和最小,即亮度恒定且運(yùn)動(dòng)平滑.為了便于推導(dǎo),令:

將L對v1和v2分別進(jìn)行求導(dǎo),得:

式中,? 是拉普拉斯算子操作,可表示為:

本文用以下公式代替:

式中,(x,y)為m(x,y)的拉普拉斯估計(jì)值:

進(jìn)行拉普拉斯操作替換后,將式(19)更新為:

使用Gauss-Seidel 迭代方法[40],利用估計(jì)的空間梯度、時(shí)間導(dǎo)數(shù)和上一次迭代的速度估計(jì)結(jié)果來計(jì)算一組新的速度估計(jì)值,得到迭代式:

本文實(shí)驗(yàn)中選取λθ=1×10-6.具體算法見算法1.其中,時(shí)間間隔 ?f將每一幀亮度圖像的曝光時(shí)間T進(jìn)行T/?f等分,決定了T時(shí)間內(nèi)的連續(xù)光流估計(jì)次數(shù).

2.3.2 CLG 平滑約束的連續(xù)光流估計(jì)

通常情況下,基于局部的光流估計(jì)方法對噪聲更具魯棒性,而基于全局的光流估計(jì)方法則產(chǎn)生更加精確的稠密光流場.CLG 光流法[41]結(jié)合了局部方法和全局方法各自的優(yōu)勢,產(chǎn)生對噪聲具有魯棒性的稠密光流場,其最小化能量函數(shù)可以表示為:

式(26)中各個(gè)參數(shù)的定義如下:

式中,Kρ是高斯核,ρ表示高斯核的鄰域窗口大小,“?”表示卷積操作,參數(shù)α調(diào)節(jié)平滑程度.使用類似第2.3.1 節(jié)中HS 平滑約束迭代公式的推導(dǎo)過程,可得CLG 平滑約束的光流迭代公式:

將式(11)和(15)代入迭代式(31),計(jì)算v1和v2在第k步迭代的估計(jì)值.迭代收斂條件與第2.3.1節(jié)相同,經(jīng)過多次迭代,最終得到連續(xù)稠密光流的估計(jì)結(jié)果.與Pan 等[39]方法不同的是,本文方法利用EDI 模型重建連續(xù)清晰亮度圖像的優(yōu)勢,推導(dǎo)出同樣在時(shí)間上具有連續(xù)性的光流估計(jì)方法,因此在高速運(yùn)動(dòng)的極端場景下具有一定的優(yōu)勢,而文獻(xiàn)[39]則基于曝光時(shí)間內(nèi)光流恒定的假設(shè),對亮度圖像進(jìn)行去模糊操作.

算法1.基于事件相機(jī)的連續(xù)光流估計(jì)算法

3 實(shí)驗(yàn)結(jié)果及分析

本文使用兩組數(shù)據(jù)集對算法進(jìn)行測試.第1 組來自Bodo 等[31]提供的數(shù)據(jù)集,由DAVIS240 相機(jī)[18]錄制且?guī)в泄饬髡鎸?shí)值.該數(shù)據(jù)集場景簡單,所有事件點(diǎn)均由相機(jī)低速運(yùn)動(dòng)生成.圖2 展示了該數(shù)據(jù)集中TranslBoxes、RotDisk 和TranslSin 三個(gè)數(shù)據(jù)的亮度圖像和對應(yīng)事件幀,對應(yīng)結(jié)果如圖3、圖4 所示.第2 組是運(yùn)動(dòng)模糊數(shù)據(jù)集,圖5(a)展示了該數(shù)據(jù)集中三個(gè)數(shù)據(jù)的亮度圖像,前兩行數(shù)據(jù)來自Pan等[38]提供的真實(shí)模糊事件數(shù)據(jù)集,第3 行數(shù)據(jù)為使用DAVIS346 相機(jī)錄制的真實(shí)模糊事件數(shù)據(jù).第2組數(shù)據(jù)集包含高速運(yùn)動(dòng)導(dǎo)致亮度圖像模糊的更具挑戰(zhàn)性的情況,可以用于驗(yàn)證本文算法在極端場景下的魯棒性,但不帶有光流真實(shí)值.在實(shí)驗(yàn)中,將本文提出的引入HS 約束和CLG 約束的連續(xù)光流估計(jì)模型分別命名為EDI-HS 和EDI-CLG.

圖2 DAVIS240 數(shù)據(jù)集的亮度圖像和對應(yīng)事件幀((a)TranslBoxes 數(shù)據(jù);(b)RotDisk 數(shù)據(jù);(c)TranslSin 數(shù)據(jù))Fig.2 Brightness image and corresponding event frame of DAVIS240 datasets ((a)TranslBoxes dataset;(b)RotDisk dataset;(c)TranslSin dataset)

圖3 正則化參數(shù) α 與光流誤差的關(guān)系曲線 ((a)TranslBoxes 數(shù)據(jù);(b)RotDisk 數(shù)據(jù);(c)TranslSin 數(shù)據(jù))Fig.3 Relationship between optical flow error and regularization parameter α ((a)TranslBoxes dataset;(b)RotDisk dataset;(c)TranslSin dataset)

3.1 參數(shù)選取

算法1 中待設(shè)定的參數(shù)為平滑約束的正則化參數(shù)α.本文主要通過實(shí)驗(yàn)方式對該參數(shù)進(jìn)行設(shè)置,選擇帶有標(biāo)準(zhǔn)偏差的平均端點(diǎn)誤差(Average end point error,AEE)和平均角度誤差(Average angular error,AAE)以及均方誤差(Mean square error,MSE)來作為光流精度的衡量指標(biāo).AEE 表示光流大小與真實(shí)值的誤差,單位為%:

AAE 表示光流方向與真實(shí)值的誤差,單位為(°):

MSE 可用如下公式表示:

式中,vi=(vx,vy)i表示第i個(gè)光流測量值,ui=(ux,uy)i表示相應(yīng)的光流真實(shí)值.

采用第1 組DAVIS240 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),通過觀察不同的正則化參數(shù)對所計(jì)算光流的平均端點(diǎn)誤差和平均角度誤差的影響,對參數(shù)進(jìn)行選取.在α取值為[0,3000]范圍內(nèi)進(jìn)行了大量實(shí)驗(yàn),通過實(shí)驗(yàn)發(fā)現(xiàn),在各數(shù)據(jù)集上,當(dāng)α>2 時(shí),兩種誤差都隨α的增大而升高,光流質(zhì)量變差.因此,圖3 展示了α取值在區(qū)間[0,2]上對所得光流的平均端點(diǎn)誤差和平均角度誤差的影響曲線.可以發(fā)現(xiàn),相較于平均角度誤差,平均端點(diǎn)誤差受參數(shù)α的影響更小且平均端點(diǎn)誤差隨α的增大而緩慢升高,平均角度誤差隨α的增大呈現(xiàn)先降低后升高趨勢.當(dāng)α=0.75 左右時(shí),可以同時(shí)保證兩種誤差均為較低,因此在后續(xù)實(shí)驗(yàn)中設(shè)置α=0.75.

3.2 連續(xù)光流估計(jì)結(jié)果

為驗(yàn)證本文算法的精度,將它們與現(xiàn)有的基于事件相機(jī)的光流估計(jì)算法進(jìn)行比較,分別為Almatrafi 等[21]提出的聯(lián)合DVS 和APS 數(shù)據(jù)的光流估計(jì)方法、圖像對比度最大化光流估計(jì)法[15]和局部平面擬合光流估計(jì)法[16].將它們分別命名為DAVIS-OF、DVS-CM 和DVS-LP.其中,DAVIS-OF 光流估計(jì)算法在添加CLG 平滑約束時(shí)取得了最好的效果,因此本文在進(jìn)行對比實(shí)驗(yàn)時(shí),也對其添加了CLG平滑約束.

首先,使用第1 組DAVIS240 數(shù)據(jù)集對算法進(jìn)行實(shí)驗(yàn)測試.表1 展示了各個(gè)算法在這3 個(gè)數(shù)據(jù)上的光流估計(jì)結(jié)果與真實(shí)值之間的誤差,精度排名第1 和第2 的算法分別使用加粗和下劃線標(biāo)注.總體上,EDI-CLG 的結(jié)果最好,在3 個(gè)數(shù)據(jù)上的誤差都比較小,EDI-HS 在TranslBoxes 和TranslSin 兩個(gè)數(shù)據(jù)上的結(jié)果比另外3 種現(xiàn)有算法更優(yōu),且EDICLG 光流結(jié)果的標(biāo)準(zhǔn)差在3 個(gè)數(shù)據(jù)上都較小,說明EDI-CLG 的光流結(jié)果較為穩(wěn)定,很少有異常值,具有良好的抗噪性能.實(shí)驗(yàn)結(jié)果表明,在DAVIS-240 數(shù)據(jù)集上,本文算法相比于其他3 種對比算法,在精度和穩(wěn)定性上具有一定優(yōu)勢.

表1 DAVIS240 數(shù)據(jù)集光流誤差表Table 1 Optical flow error on DAVIS240 datasets

表2 展示了各個(gè)算法在3 個(gè)數(shù)據(jù)上的運(yùn)行時(shí)間對比,其中運(yùn)行速度排名第1 和第2 的算法分別使用加粗和下劃線標(biāo)注.使用Matlab2014a 進(jìn)行光流估計(jì)的平均每幀運(yùn)行時(shí)間作為衡量指標(biāo),其中,DAVIS-OF 的運(yùn)行時(shí)間最短,EDI-HS 的運(yùn)行時(shí)間也相對較短,而EDI-CLG 的迭代過程相比于EDIHS 較為復(fù)雜,因此運(yùn)行時(shí)間略長,DVS-CM 則由于逐像素迭代計(jì)算光流,平均每幀運(yùn)行時(shí)間為最長.實(shí)驗(yàn)結(jié)果表明,在DAVIS240 數(shù)據(jù)集上,本文算法的運(yùn)行時(shí)間相比于現(xiàn)有算法具有一定的優(yōu)勢.

表2 運(yùn)行時(shí)間對比Table 2 Comparison of running time

圖4 為利用第1 組數(shù)據(jù)集中TranslBoxes、Rot-Disk 和TranslSin 三個(gè)數(shù)據(jù)對本文的連續(xù)光流估計(jì)方法與其他3 種光流估計(jì)算法進(jìn)行測試的結(jié)果對比圖.為便于可視化,對光流場進(jìn)行了下采樣.圖4 包括光流真實(shí)值圖像以及5 種算法的光流結(jié)果圖.其中,綠色的直線箭頭表示光流,所有光流估計(jì)結(jié)果都在事件幀圖像上顯示.

在TranslBoxes 數(shù)據(jù)中,箱子在圖像上表現(xiàn)為向右移動(dòng),事件幀圖像中噪聲較少且邊緣明確.其中,EDI-CLG 的光流結(jié)果較好,大小和方向都最接近真實(shí)值;DAVIS-OF 的光流方向總體較好,但光流大小缺乏一致性.而DVS-CM 和DVS-LP 個(gè)別事件點(diǎn)的光流發(fā)生了明顯錯(cuò)誤,特別是DVS-LP 有些光流值幅度很小,增加了AEE 誤差,結(jié)果見表1.在RotDisk 數(shù)據(jù)中,分隔成不同顏色區(qū)域的圓盤順時(shí)針轉(zhuǎn)動(dòng),從真實(shí)值上可以看出,光流方向基本都垂直于區(qū)域邊緣且光流大小與圓盤半徑成正比.其中,EDI-CLG 的光流比較穩(wěn)定,并且光流大小基本符合與圓盤半徑的正比關(guān)系,這有效減少了光流誤差.而EDI-HS 的光流方向較好,但是某些邊緣上的光流大小比例不正確.DAVIS-OF 的光流大小最符合與圓盤半徑的正比關(guān)系,但有些地方輸出的光流方向不夠準(zhǔn)確.DVS-CM 由于只對局部區(qū)域做對比度最大化,光流方向并不都垂直于邊緣;DVSLP 則有許多錯(cuò)誤的光流方向,有些甚至與運(yùn)動(dòng)反向.在TranslSin 數(shù)據(jù)中,圖像表現(xiàn)為黑白正弦曲線向左移動(dòng),由于黑白邊界并不清晰,事件幀圖像上邊緣不明確且有許多噪點(diǎn).其中,EDI-HS 和 EDICLG 估計(jì)的光流方向較為一致,但有個(gè)別光流幅值較大.而對比算法DAVIS-OF、DVS-CM 和DVSLP 輸出的光流方向不穩(wěn)定,且大小也比較雜亂.

為了驗(yàn)證本文算法在更具挑戰(zhàn)性的場景下進(jìn)行光流估計(jì)的準(zhǔn)確性和穩(wěn)定性,下面使用第2 組運(yùn)動(dòng)模糊數(shù)據(jù)集進(jìn)行測試.第2 組數(shù)據(jù)集提供了高速運(yùn)動(dòng)導(dǎo)致亮度圖像模糊的情況,可以用于驗(yàn)證本文算法在極端場景下的魯棒性.

圖5 展示了各種算法在第2 組數(shù)據(jù)集上的測試結(jié)果,包括數(shù)據(jù)集中的模糊亮度圖像、使用EDI 方法重建的清晰亮度圖像和各個(gè)算法的光流結(jié)果圖.第1 行展示的數(shù)據(jù)是人手臂揮動(dòng)黑白格圖像,第2行數(shù)據(jù)是人在室內(nèi)起跳后落下,第3 行數(shù)據(jù)是高速移動(dòng)的相機(jī)拍攝的棋盤格.由圖5 可以看出,在目標(biāo)高速運(yùn)動(dòng)且亮度圖像存在運(yùn)動(dòng)模糊的情況下,本文提出的兩種連續(xù)光流估計(jì)算法都能穩(wěn)定估計(jì)光流,光流方向都較為準(zhǔn)確且變化較為平滑,其中EDI-CLG 估計(jì)的光流視覺效果最好,DVS-CM 和DVS-LP 的光流則存在異常值,方向準(zhǔn)確度也不高.

3.3 連續(xù)光流的精度穩(wěn)定性測試實(shí)驗(yàn)

通過與基于傳統(tǒng)相機(jī)的光流估計(jì)算法對比可知,本文算法可以在一幀亮度圖像的曝光時(shí)間內(nèi)進(jìn)行多次光流的計(jì)算(見圖1),說明本文算法在時(shí)間上具有連續(xù)性.然而,當(dāng)光流連續(xù)輸出時(shí),仍需進(jìn)一步測試其精度是否穩(wěn)定.因此,將本文提出的EDICLG 算法與 DAVIS-OF 方法進(jìn)行連續(xù)光流的穩(wěn)定性對比實(shí)驗(yàn).

利用第1 組數(shù)據(jù)集中TranslBoxes 數(shù)據(jù)進(jìn)行測試.最初使用算法1 得到的連續(xù)光流誤差表明,本文算法在每一幀圖像的曝光邊界時(shí)刻,光流質(zhì)量會比曝光中間時(shí)刻明顯變差(見圖6(a)、圖6(b)).這是由于在亮度圖像的曝光邊界時(shí)刻,EDI 模型對模糊圖像的補(bǔ)償效果比在曝光中間時(shí)刻差[38],從而影響曝光邊界時(shí)刻重建圖像的質(zhì)量,進(jìn)而影響到光流估計(jì)的精度.因此,采用Niklaus 等[42]提出的亮度圖像插幀算法,將前面使用EDI 模型進(jìn)行重建的連續(xù)清晰亮度圖像序列中每幀曝光邊界時(shí)刻生成的圖像,通過前后兩張圖像的插幀,替換為更高質(zhì)量的重建圖像,使連續(xù)光流估計(jì)的精度得到了進(jìn)一步提升.

圖6 連續(xù)光流誤差對比折線圖 ((a)EDI-CLG 算法改進(jìn)前的平均端點(diǎn)誤差;(b)EDI-CLG 算法改進(jìn)前的平均角度誤差;(c)EDI-CLG 算法改進(jìn)后與DAVIS-OF 算法的平均端點(diǎn)誤差對比;(d)EDI-CLG 算法改進(jìn)后與DAVIS-OF 算法的平均角度誤差對比)Fig.6 Continuous optical flow error comparison ((a)The average endpoint error of EDI-CLG before improvement;(b)The average angular error of EDI-CLG before improvement;(c)Comparison of the average endpoint error between the improved EDI-CLG and DAVIS-OF;(d)Comparison of the average angular error between the improved EDI-CLG and DAVIS-OF)

圖6(c)、圖6(d)展示了2 種算法的光流估計(jì)結(jié)果與真實(shí)值之間的平均端點(diǎn)誤差和平均角度誤差對比折線圖,選擇數(shù)據(jù)集中連續(xù)3 幀圖像進(jìn)行實(shí)驗(yàn),對本文方法進(jìn)行每幀圖像曝光時(shí)間內(nèi)連續(xù)4 次光流計(jì)算.由對比兩組光流的平均端點(diǎn)誤差和平均角度誤差結(jié)果可以看出,本文算法估計(jì)出的連續(xù)光流誤差更小且在多幀曝光時(shí)間內(nèi),可以保持精度的穩(wěn)定性.

圖7 展示了單幀亮度圖像曝光時(shí)間內(nèi)進(jìn)行連續(xù)光流的精度穩(wěn)定性測試的結(jié)果對比圖.其中,DAVISOF 算法只能估計(jì)建幀時(shí)刻的非連續(xù)光流,因此輸出單張光流結(jié)果(見圖7(b)).而本文提出的EDICLG 算法可以在單幀亮度圖像的曝光時(shí)間內(nèi)多次計(jì)算光流(本文實(shí)驗(yàn)計(jì)算4 次),如圖7(c)所示.可以看出,與對比算法相比,本文算法獲得的光流與真實(shí)值更加接近,而對比算法輸出的光流精度較低且有些事件點(diǎn)處沒有輸出光流.

圖7 EDI-CLG 算法和DAVIS-OF 算法連續(xù)光流結(jié)果對比圖 ((a)光流真實(shí)值;(b)DAVIS-OF 方法;(c)本文EDI-CLG 方法在單幀圖像曝光時(shí)間內(nèi)連續(xù)4 次進(jìn)行光流計(jì)算的結(jié)果)Fig.7 Comparison of continuous optical flow results between EDI-CLG algorithm and DAVIS-OF algorithm((a)Ground truth;(b)The DAVIS-OF method;(c)The results of four continuous optical flow calculations within the exposure time of a frame using the proposed EDI-CLG method)

4 結(jié)束語

在相機(jī)或目標(biāo)高速運(yùn)動(dòng)的極端場景下,由于相機(jī)自身較低的時(shí)間分辨率等局限性,基于傳統(tǒng)光學(xué)相機(jī)的光流估計(jì)方法難以估計(jì)出連續(xù)的光流結(jié)果.針對這一問題,本文提出基于事件相機(jī)的連續(xù)光流估計(jì)算法,該算法聯(lián)合了事件相機(jī)輸出的DVS 數(shù)據(jù)和APS 數(shù)據(jù)各自優(yōu)勢,不僅能夠重建出任意時(shí)刻的清晰亮度圖像,而且可以保證光流估計(jì)的連續(xù)性和穩(wěn)定性,解決了相機(jī)APS 數(shù)據(jù)易受運(yùn)動(dòng)模糊影響的問題.在計(jì)算光流時(shí),本文通過引入兩種平滑約束來計(jì)算稠密光流,進(jìn)一步提升了算法的魯棒性和準(zhǔn)確性.實(shí)驗(yàn)結(jié)果表明,本文算法相較于現(xiàn)有的光流估計(jì)算法,在平均端點(diǎn)誤差、平均角度誤差和均方誤差指標(biāo)上,性能均有較大提升.在目標(biāo)高速運(yùn)動(dòng)的極端場景下,也依然能夠有效且魯棒地估計(jì)連續(xù)光流.