方應(yīng)紅， 徐 偉， 樸永杰， 馮汝鵬， 鄭亮亮

(1. 中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033； 2. 中國科學(xué)院大學(xué)，北京 100049)

1 引 言

如今相機已經(jīng)廣泛地應(yīng)用在工業(yè)、商業(yè)、軍事、科研試驗、太空探索、日常生活等領(lǐng)域。傳統(tǒng)相機使用一種基于幀的視覺傳感器，它通過預(yù)置一定的曝光時間，來逐幀獲取場景信息。這種基于幀的視覺傳感器有幾個不足：第一，無法得到曝光時間內(nèi)場景的變化信息，使得其在有快速運動的場景中應(yīng)用受限；第二，由于每次曝光得到的圖像包含場景所有內(nèi)容，在研究運動物體時，那些沒有變化的像素會產(chǎn)生較大的信息冗余，這會增加傳輸帶寬、功耗、存儲容量和信息處理的負(fù)擔(dān)；第三，由于傳統(tǒng)相機需要獲取場景的絕對灰度值，當(dāng)場景的光照強度過高或者過低時，傳統(tǒng)相機會出現(xiàn)過曝光或者欠曝光的情況[1]。

早在20世紀(jì)初，研究者們就致力于生物學(xué)視覺傳感器的研究。研究發(fā)現(xiàn)，人眼獲取的場景信息是異步地輸出給大腦神經(jīng)網(wǎng)絡(luò)的，而且人眼對發(fā)生運動的物體有著更強的關(guān)注力。基于這些生物學(xué)現(xiàn)象，一種基于事件的視覺傳感器逐漸發(fā)展起來[2-3]。這種基于事件的視覺傳感器(將使用這種傳感器的相機稱為事件相機)與基于幀的視覺傳感器(將使用這種傳感器的相機稱為傳統(tǒng)相機)有著本質(zhì)的區(qū)別：事件相機的每個像素獨立檢測光照強度對數(shù)的變化，并當(dāng)變化量達到一定閾值時，輸出一個包含時間、位置、極性信息的事件。傳感器中所有像素同時異步地檢測光強對數(shù)變化情況并輸出事件信息，形成了異步事件流。事件相機沒有幀率的限制，而是主動檢測場景中發(fā)生光強變化的位置并輸出變化信息，減少了數(shù)據(jù)量，并擁有很高的動態(tài)范圍，這很好地彌補了傳統(tǒng)相機的不足。

自從基于事件的視覺傳感器問世之后，它低延遲、高時間分辨力、高動態(tài)范圍、低功耗的優(yōu)點吸引了許多研究學(xué)者的興趣，事件相機的功能和性能也被一步步地改進和完善。2008年，事件相機實現(xiàn)商業(yè)化，而鑒于可視化的需求，研究者們又開發(fā)了既能夠輸出事件又能夠輸出灰度信息的事件相機，這使得事件相機在一些應(yīng)用場景，已經(jīng)能夠比肩傳統(tǒng)相機。

2 發(fā)展歷程和現(xiàn)狀

基于事件的傳感器的發(fā)展是受到生物學(xué)的啟發(fā)，最初是以硅視網(wǎng)膜[3]的形式被少量研究者采用。在20世紀(jì)80年代末，加州理工學(xué)院的Carver Mead引入了“神經(jīng)形態(tài)”的概念來描述包含模擬和異步數(shù)字電子電路的系統(tǒng)，這一概念徹底改變了計算和神經(jīng)生物學(xué)的前沿，引出了一門新的工程學(xué)科，其目標(biāo)是設(shè)計和構(gòu)建人工神經(jīng)系統(tǒng)，如視覺系統(tǒng)、聽覺處理器或自主漫游機器人，該領(lǐng)域被稱為神經(jīng)形態(tài)工程學(xué)[4-7]。神經(jīng)形態(tài)工程學(xué)的發(fā)展促進了一種新型的生物啟發(fā)的視覺傳感器的開發(fā)和實現(xiàn)。這種傳感器中像素自主工作，通過產(chǎn)生異步數(shù)字脈沖(“尖峰”事件)響應(yīng)光照強度的變化。這些脈沖通過異步仲裁數(shù)據(jù)總線(地址事件表示，AER[8-10])觸發(fā)包含相應(yīng)像素陣列地址的數(shù)據(jù)包傳輸。2006年，Lichtsteiner等人提出了一個128×128的異步時間對比視覺傳感器[11]。2008年，Posch等人在時間對比視覺傳感器的基礎(chǔ)上，提出了時間對比度紅外傳感器[12-13]，這意味著動態(tài)視覺傳感器(DVS)的問世，標(biāo)志著基于事件的視覺傳感器的研究進入到一個新的階段，事件相機開始投入商用。

事件相機在各領(lǐng)域應(yīng)用中的出色表現(xiàn)，吸引了一大批研究者，他們的研究又促進了事件相機的快速發(fā)展。由于DVS能夠輸出的場景數(shù)據(jù)太少，很難做到可視化，于是對能夠輸出灰度信息的事件相機的需求激勵了新一代事件相機的問世。

Posch等在2011年提出了ATIS，它在DVS的結(jié)構(gòu)上增加了一個曝光結(jié)構(gòu)，讓兩個光感受器同時工作，使得在輸出事件信息時能夠根據(jù)光強變化同步地曝光，得到一些灰度信息。然而ATIS的曝光方式存在一些缺點，當(dāng)光強變化較慢時，容易出現(xiàn)曝光異常的情況[14]。Delbruck等在2013年提出了DAVIS，這是一種將傳統(tǒng)APS相機與事件相機結(jié)合的產(chǎn)品，通過利用事件相機的光感受器來進行同步曝光，可以同時獲得事件信息和場景灰度信息。這種相機雖然容易做到可視化，但它的APS部分保留了傳統(tǒng)相機的缺陷，也沒有充分利用事件相機的優(yōu)點[15-16]。Cho等在2014年對生物視覺傳感器的發(fā)展與應(yīng)用的綜述中，認(rèn)為在需要快速視覺反饋的視覺跟蹤和控制領(lǐng)域，考慮到速度和計算負(fù)荷，DVS相機幾乎可以替代傳統(tǒng)的基于幀的相機。而在與識別相關(guān)的領(lǐng)域中，DAVIS有著很好的應(yīng)用前景[17]。

硬件的研發(fā)到DAVIS已經(jīng)發(fā)展到了比較成熟的階段，而對于事件相機的應(yīng)用算法和數(shù)據(jù)庫的創(chuàng)建和更新，成了開發(fā)事件相機的主流。目前，比較成熟的算法主要應(yīng)用在跟蹤與監(jiān)測、模式識別、SLAM和光流估計等方面。

截止目前，事件相機的巨大潛力使之成為一個熱門的技術(shù)和話題，許多機構(gòu)都在致力于事件相機的開發(fā)和研究，較為出色的有法國Prophesee、瑞士iniVation、新加坡CelePixel、韓國Samsung等。2017年6月，首屆基于事件的視覺國際研討會在新加坡舉行，這是事件相機誕生以來的第一次國際會議；2019年6月，在美國加州長灘舉行了第二屆國際研討會，這次研討會由華為公司贊助，這表明華為也在從事事件相機領(lǐng)域的研究；2021年6月，舉行了第三屆研討會。通過這些會議，募集到了許多關(guān)于事件相機的資源，包括在各個應(yīng)用領(lǐng)域的各種計算機算法以及相應(yīng)的數(shù)據(jù)集和模擬器、處理器和硬件平臺、各國研究人員的論文等，極大地促進了事件相機的發(fā)展。

3 硬件分類和原理

目前被廣泛應(yīng)用的事件相機可大致分成3類：動態(tài)視覺傳感器(Dynamic Vision Sensor, DVS)，基于異步時間的圖像傳感器(Asynchronous Time-based Image Sensor, ATIS)，動態(tài)主動像素視覺傳感器(Dynamic and Active Pixel Vision Sensor, DAVIS)[2,18-21]。

3.1 DVS

DVS是最基本的也是最先發(fā)展的一種事件相機。它的每個像素單獨檢測環(huán)境中的光照強度，并以光強對數(shù)的形式進行記錄和比較。當(dāng)檢測到的光照強度的變化達到一定閾值時，便會輸出一個包含時間、像素所在地址、亮度增加(ON)或減少(OFF)的事件。所有的像素同時異步地進行光強檢測，并異步地持續(xù)輸出這樣的事件，形成了事件流。其電路結(jié)構(gòu)圖如圖1所示。電路由對數(shù)光感受器(Photoreceptor)、差分電路(Differencing)和兩個比較器(Comparators)組成。

圖1 DVS像素電路結(jié)構(gòu)[17]Fig.1 Circuit structure of DVS pixel[17]

通常，DVS輸出的事件ek包含該事件發(fā)生的像素地址、時間和事件的類型(極性)。即ek=(xk,tk,pk)，其中xk=(xk,yk)T，表示像素地址；tk表示該事件發(fā)生的時間；pk∈{+1,-1}表示事件的極性，pk=+1為變亮事件，pk=-1為變暗事件。規(guī)定像素xk在tk時刻的光強對數(shù)表示為:

L(xk,tk)=log(I(xk,tk))，

(1)

其中I表示光照強度。事件ek被激發(fā)，意味著像素xk上的光強對數(shù)與該像素上一次激發(fā)事件時的光強對數(shù)之差，達到了預(yù)先設(shè)置的閾值±C，即：

ΔL(xk,tk)=pkC，

(2)

其中:

ΔL(xk,tk)=L(xk,tk)-L(xk,tk-Δtk)，

(3)

Δtk表示從像素xk上次激發(fā)事件開始經(jīng)過的時間。

上述的事件生成模型，是在沒有噪聲的理想情況下建立的。實際上，任何相機都會受到來自感光器的外部及內(nèi)部電路引起的噪聲的影響，DVS也不例外。通過設(shè)置閾值C的大小，可以調(diào)節(jié)DVS對噪聲的敏感度：閾值C越大，DVS對噪聲越不敏感，但是DVS捕捉到的事件也會相應(yīng)地減少。閾值C越小，DVS捕捉到的事件越多，但信噪比會嚴(yán)重降低。

像素上亮度的變化可以由場景亮度的改變、場景中的物體或相機自身發(fā)生了移動造成。并且，當(dāng)場景亮度變化越快、場景中的物體或相機自身移動越快時，單位時間內(nèi)DVS產(chǎn)生的事件就越多。根據(jù)硬件和設(shè)計的不同，DVS輸出速率可高達300 Meps(events persecond,eps)，延遲可低至3 μs，動態(tài)范圍可達130 dB。這樣的特性讓DVS在捕捉高速運動的物體、應(yīng)對高動態(tài)范圍的光照環(huán)境、低延遲控制等應(yīng)用上有著巨大的優(yōu)勢。

3.2 ATIS

單純的DVS輸出的事件，只提供了事件的像素地址、時間和極性，然而這些信息無法滿足對可視化的需求，給后期數(shù)據(jù)處理帶來了很大的困擾。能夠在提供事件信息的同時還能提供一定灰度信息的需求，促使了ATIS的誕生。ATIS像素結(jié)構(gòu)[14]分成兩個部分(A和B)，包含兩個感光器，如圖2所示。

(a) A部分(a) Part A

(b) B部分(b) Part B圖2 ATIS像素電路結(jié)構(gòu)[14]Fig.2 Circuit structure of ATIS pixel[14]

A部分包含完整的DVS像素結(jié)構(gòu)，它可以檢測光強的變化并激發(fā)相應(yīng)的事件；與此同時，B部分包含的感光器檢測光照強度的變化并進行曝光。ATIS像素中B部分的曝光方式與傳統(tǒng)APS相機的曝光方式不同。傳統(tǒng)相機的曝光方式是預(yù)置曝光時間，通過測定曝光后電容兩端電壓的大小來確定像素的灰度值。因此，光照強度越大、電壓差值越大，像素的灰度值越大。而ATIS像素中的B部分采用一種基于時間的曝光方式：在A子像素激發(fā)事件的同時，B子像素內(nèi)的一個電容被重置為高電平，隨著B子像素持續(xù)受到光照，電容兩端的電壓下降，其兩端電壓從高電平下降到低電平所需的時間決定了該像素的灰度值。電壓下降時間越短，說明該像素上光照強度越強，灰度值越高；下降時間越長，則說明灰度值越低。像素的灰度信息是以獨立的事件流的形式輸出的。

這種由事件觸發(fā)的基于時間的曝光方式，使得ATIS相機在高動態(tài)范圍的場景下也能獲得較好的灰度信息(傳統(tǒng)APS相機容易過曝或欠曝)，并且只有產(chǎn)生事件的像素會輸出灰度信息，主要的輸出是場景中物體的邊緣像素的灰度信息，減少了信息的時間冗余和空間冗余。然而ATIS相機也有一定的缺陷：在亮度過低的情況下曝光時間過長，當(dāng)曝光時間超過下一次事件觸發(fā)的時間，電容會被強行重置導(dǎo)致曝光異常終止，從而導(dǎo)致信息丟失。

3.3 DAVIS

DAVIS相機將DVS相機和傳統(tǒng)的APS(有源像素傳感器)相機結(jié)合起來，能夠同時輸出場景事件和灰度信息。圖3為其電路結(jié)構(gòu)圖。

圖3 DAVIS像素電路結(jié)構(gòu)[17]Fig.3 Circuit structure of DAVIS pixel[17]

DAVIS的像素結(jié)構(gòu)[17]也分成兩個部分：APS和DVS。其中DVS檢測光強的變化并輸出異步的事件流信息，與此同時，APS進行同步曝光獲得場景的灰度信息。與ATIS不同的是，DAVIS的兩個部分共用一個感光器，這使得在體積上比ATIS小很多。通過DAVIS獲取的灰度圖像，與通過傳統(tǒng)APS相機獲取的灰度圖像一樣，包含那些光強變化較小或沒有變化的像素，具有時間冗余性和空間冗余性，并且APS部分無法承受高動態(tài)范圍的環(huán)境。

根據(jù)原理上的差異，表1中列出了這3種事件相機的特點和它們的一般用途。

表1 3種事件相機特點和用途的比較

3.4 事件相機的優(yōu)缺點

從上述事件相機的原理能夠發(fā)現(xiàn)，相比于傳統(tǒng)攝像機，事件相機有著高動態(tài)范圍、低延遲、高時間分辨率、能耗低的優(yōu)點，非常適合應(yīng)用于高速運動的追蹤和高動態(tài)范圍的目標(biāo)識別等場景。然而，作為一種新型的相機，事件相機有著和傳統(tǒng)相機不同的輸出信息，這就帶來了算法和數(shù)據(jù)處理等方面的挑戰(zhàn)[22]。

(1)數(shù)據(jù)的處理：事件相機輸出的事件僅包含少量與場景有關(guān)的信息(亮度的變化和位置)，目前僅利用這些信息去還原場景或者提取場景中感興趣的對象仍很困難，仍然需要獲得足夠多的灰度信息來支撐，但在未來的應(yīng)用研究中，這些事件信息是否能足夠完成視覺任務(wù)仍有待研究。

(2)算法的更新：當(dāng)前計算機視覺算法大多是基于圖像幀，這些算法并不適用于事件相機，因此需要開發(fā)出新的適用于事件相機的各種應(yīng)用算法，創(chuàng)建適用于事件相機的數(shù)據(jù)集和評價體系。

(3)噪聲：由于事件相機是從像素的層面上進行事件輸出，加上電路中差分電路的影響，使得噪聲對事件相機的輸出有較大的影響，如何設(shè)計算法能夠從輸出信息中濾除噪聲而保留有用信息是一個亟需解決的問題。

4 主要應(yīng)用

圖4 事件相機的應(yīng)用Fig.4 Application of event-based camera

相比于事件相機，人們對傳統(tǒng)相機的應(yīng)用已經(jīng)相當(dāng)充分，傳統(tǒng)相機能夠提供足夠多的目標(biāo)信息特征，這使得其在視覺傳感器的地位很難被動搖。然而傳統(tǒng)相機存在的缺陷限制了一些特殊場合的應(yīng)用，事件相機的獨特性能可以為這些難題提供新的解決方案。針對事件相機的特點，在一些與之契合的視覺應(yīng)用領(lǐng)域，比如快速運動的跟蹤與監(jiān)測、小數(shù)據(jù)量的目標(biāo)識別、即時定位與地圖構(gòu)建(SLAM)，已經(jīng)有了較大的突破。下面介紹一些應(yīng)用事件相機的研究，這些研究在應(yīng)用事件相機的同時也在不斷為事件相機的發(fā)展提供助力。圖4對事件相機的應(yīng)用進行了羅列。

4.1 快速運動的跟蹤與監(jiān)測

跟蹤與監(jiān)測是指使用視覺傳感器來監(jiān)測和定位場景中我們感興趣的目標(biāo)，我們希望這種監(jiān)測能夠不間斷，定位能夠足夠精準(zhǔn)。相比于傳統(tǒng)相機，事件相機低延遲、高動態(tài)范圍的優(yōu)勢使得它在目標(biāo)跟蹤領(lǐng)域有著很好的應(yīng)用前景。

早期用事件相機進行跟蹤只是單純地跟蹤對象，而且其背景還需要相對簡單。Ramesh等提出了一種用于事件攝像機的長期目標(biāo)跟蹤算法,跟蹤框架通過在線學(xué)習(xí)來對對象使用區(qū)別性表示，并在對象返回視野時檢測和重新跟蹤對象。其中一個關(guān)鍵的創(chuàng)新是使用了基于事件的本地滑動窗口技術(shù)，該技術(shù)在背景混亂和有紋理的場景中表現(xiàn)可靠[22]。

Tedaldi等提出利用DAVIS提供的幀和事件數(shù)據(jù)來檢測和跟蹤視覺特征。首先在灰度幀中檢測特征，然后使用事件流在幀之間的盲時間中異步跟蹤特征。他們還提出了一種基于事件的算法，使用迭代的幾何配準(zhǔn)方法來跟蹤特征，并且用DAVIS獲得的真實數(shù)據(jù)評估了該方法的有效性[23]。

Mitrokhin等認(rèn)為現(xiàn)代基于事件的視覺傳感器空間分辨率極低，會產(chǎn)生大量噪聲。針對這個問題，他們提出了一種新穎的事件流表示方式，它能夠利用事件流的動態(tài)(時間)成分的信息。他們還基于此方式，提出了一種異步攝像機目標(biāo)跟蹤方法，用參數(shù)模型來近似事件流的3D幾何形狀，從而對攝像機進行運動補償，然后在迭代過程中檢測不符合模型的運動對象，來獲得目標(biāo)的運動從而實現(xiàn)跟蹤。在實驗中，根據(jù)可能出現(xiàn)的場景的性質(zhì)，將記錄分成5個序列，然后以成功率的形式定義評估指標(biāo)，對來自DAVIS傳感器的RGB幀對應(yīng)的每個時間片計算單獨的成功率，作為與RGB幀中可見的物體重疊至少50%的被檢測物體的百分比。序列得分的平均值見表2，可見該方法有一定的可行性[24]。

表2 數(shù)據(jù)集上傳遞途徑的評估[24]Tab.2 Evaluation of the pipeline on the proposed dataset

Boettiger等將事件相機與傳統(tǒng)相機就高動態(tài)范圍檢測和快速跟蹤能力進行了實驗對比，得出事件相機雖然存在很大優(yōu)勢，但仍然被長時間的數(shù)據(jù)處理所限制。他們提出了一種將基于幀和基于事件的傳感器相結(jié)合的處理方法——“偽幀(Pseudo-frames)”。他們通過實驗證明“偽幀”的處理效果是最好的，但“偽幀”沒有真正充分利用事件相機低功耗、低數(shù)據(jù)、高速和高動態(tài)范圍的特性，這表明在檢測和跟蹤領(lǐng)域，仍存在較大的研究空間[25]。

事件相機還能用于微觀粒子跟蹤與測速方面。Wang等提出了一種新的算法框架(圖5)，它是一種使用一對事件相機來檢索流體速度場的密集3D測量。首先，跟蹤兩個事件序列內(nèi)的粒子以估計它們在兩個圖像序列中的2D速度；然后，執(zhí)行立體匹配步驟來檢索它們的3D位置。這些中間輸出被合并到一個優(yōu)化框架中，該框架還包括物理上的正則化，以便檢索3D速度場[26]。

圖5 立體事件PTV框架的架構(gòu)概述。兩個事件攝像機捕捉流體內(nèi)部粒子的運動。它們產(chǎn)生兩個事件序列，這里用x-y-t空間表示。2D跟蹤步驟為每個序列提供捕獲粒子的2D速度。然后使用立體匹配步驟建立一個稀疏的三維速度場，用來估計密集的三維流體流動[26]。Fig.5 Overview of the architecture of our stereo-event PTV framework. The two event cameras capture the motion of the particles inside the fluid. They generate two sequence of events, represented here in the x-y-t space. A 2D tracking step provide the 2D velocity of the captured particles for each sequence. Then, using a stereo matching step we build a sparse 3D velocity field in order to estimate the dense 3D fluid flow.

4.2 小數(shù)據(jù)量的目標(biāo)識別

目標(biāo)識別是指根據(jù)傳感器收集到的視覺信息，從中提取感興趣的特征信息，根據(jù)這些特征信息來判斷該信息的種類或內(nèi)容。目前比較流行的機器學(xué)習(xí)和深度學(xué)習(xí)的目標(biāo)識別都是以基于幀的圖像信息為輸入內(nèi)容。然而，圖像信息中真正有用的信息占比很小，也就是說信息冗余量較大，這減慢了數(shù)據(jù)處理過程。事件相機輸出的事件流信息和一些變化的邊緣灰度信息(ATIS)已經(jīng)足夠用來進行一些簡單的目標(biāo)識別，開發(fā)出一種基于事件的目標(biāo)識別的算法，可以提高在一些簡單的場合的識別速率。

Damien等將深度學(xué)習(xí)算法與基于事件的數(shù)據(jù)集成到人工框架中的研究中，通過實驗發(fā)現(xiàn)，灰度圖像中可能只有35%的信息可能會在訓(xùn)練中被用到，而通過事件相機得到的數(shù)據(jù)信息所達到的效果和這35%的信息幾乎一致，這表明傳統(tǒng)相機存在大量的數(shù)據(jù)冗余，而事件相機擁有巨大優(yōu)勢[27]。

在目標(biāo)識別和檢測過程中，為了追求精度，很多基于事件的視覺算法在很大程度上依賴于使用深度神經(jīng)網(wǎng)絡(luò)同步批量處理事件，然而，這種方式丟棄了事件數(shù)據(jù)的稀疏性和異步性。Messikommer等提出了一個通用框架，用于將基于同步圖像類事件表示的模型轉(zhuǎn)換為具有相同輸出的異步模型，從而直接利用事件數(shù)據(jù)的內(nèi)在異步和稀疏特性，大幅降低了高容量同步神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜性和延遲，而不犧牲精度[28]。

針對當(dāng)時事件相機空間分辨率較低、缺乏大規(guī)模的訓(xùn)練數(shù)據(jù)集、缺乏完善的基于事件處理的深度學(xué)習(xí)架構(gòu)等問題，Perot等公開發(fā)布了第一個用于對象檢測的高分辨率大規(guī)模數(shù)據(jù)集。另外，他們還引入了一種新的基于事件檢測的遞歸體系結(jié)構(gòu)和一種訓(xùn)練性能更好的時間一致性損失。值得注意的是，他們提出的方法不需要從事件重建任何強度圖像，可以直接從原始事件信息來訓(xùn)練，這比通過中間強度圖像更有效、更準(zhǔn)確。從表3的數(shù)據(jù)中可以看到，他們提出的方法在1 M像素數(shù)據(jù)集上達到了與Gray-Retainet相同的平均精度均值(mAP)，這說明他們的事件相機檢測器具有與常用幀相機檢測器相當(dāng)?shù)木?。然而，這種方法仍然需要密集的事件表示，這意味著丟棄了事件信息的稀疏性[29]。

表3 兩個汽車檢測數(shù)據(jù)集的評價[29]

Wang等為了處理事件攝像機的獨特輸出，將事件流視為一組三維時空點，即時空事件云。他們使用PointNet神經(jīng)網(wǎng)絡(luò)架構(gòu)來分析事件云和進行手勢識別的訓(xùn)練，通過實驗證明該方法的識別率高達97.08%，從而證明了他們提出的事件云概念是一種對事件流的有效表示[30]。

4.3 即時定位與地圖構(gòu)建

即時定位與地圖構(gòu)建(SLAM)是指通過移動來獲取位置信息進行自身定位并據(jù)此來構(gòu)建增量式地圖，從而實現(xiàn)自主定位和導(dǎo)航，主要用于機器人、無人機等領(lǐng)域。

Monforte等在研究機器人的軌跡預(yù)測時，使用事件攝像機來檢測快速移動的目標(biāo)，他們使用基于長短期記憶(LSTM)架構(gòu)的機器學(xué)習(xí)的方法來獲取高度非線性的軌跡，研究了LSTM模型如何適應(yīng)事件相機數(shù)據(jù)，并通過實驗分析證明，異步空間采樣優(yōu)于固定速率采樣，LSTM與事件攝像機相結(jié)合，是一種有前途的學(xué)習(xí)方法[31]。

Zhu等提出了一種基于事件的視覺慣性里程計算法，根據(jù)從里程計濾波器獲得的流量和旋轉(zhuǎn)估計，產(chǎn)生魯棒的特征軌跡，再將特征軌跡與慣性測量單元的輸出融合，來獲得全6自由度姿態(tài)的精確度量跟蹤。通過數(shù)據(jù)集測試，他們得出，與基于圖像的技術(shù)相比，基于事件的特征跟蹤通常能夠在更長的時間內(nèi)跟蹤更多的特征[32]。

為了獲得更敏捷的機器人，Censi等人提出了一種使用DVS和能主動高頻(大于1 000 Hz)閃爍的發(fā)光二極管標(biāo)記器(ALMs)進行低延遲姿態(tài)跟蹤的方法。DVS可以檢測不同頻率的閃爍進行身份標(biāo)記，然后將不同的標(biāo)記放到一個“身份地圖”中獲得不同的姿態(tài)信息。他們的算法丟失追蹤時間平均為(0.35±0.10) s，而PTAM丟失追蹤的時間平均為(0.80±0.33) s，比翻轉(zhuǎn)一次的時間(0.56±0.15 s)還要長。實驗表明，一旦發(fā)光二極管再次閃爍，DVS能夠以可忽略的延遲重新獲得穩(wěn)定的跟蹤，而不會遭受運動模糊的影響，DVS在恢復(fù)軌跡丟失方面比PTAM方法更快。他們預(yù)測這項技術(shù)是實現(xiàn)飛行機器人高度自主機動的最有前途的候選技術(shù)[33]。

除此之外，還有許多研究人員在原來的基礎(chǔ)上開發(fā)新的效率更高的傳感器和算法。其中Jing等提出了一個具有像素渲染機制和評估異步絕對強度能力的光流運動傳感器和一種事件驅(qū)動跟蹤算法，以實現(xiàn)高精度和實時性的跟蹤和光流應(yīng)用。與ATIS和DAVIS相比，其設(shè)計的傳感器沒有曝光時間，有助于高速物體的快速響應(yīng)成像。除了檢測照明變化之外，他所提出的運動傳感器中的像素是互連的，并且通過像素渲染模塊相互傳遞事件狀態(tài)。每個活動像素及其4個相鄰像素報告灰度事件，以在梯度提取中提供足夠的數(shù)據(jù)，可以從根本上解決現(xiàn)有事件驅(qū)動的由事件稀疏性和事件強度缺乏引起的光流估計的準(zhǔn)確性問題。其提出的算法利用在線自適應(yīng)搜索區(qū)域來實現(xiàn)更精確的定位，運動傳感器生成的事件包的灰度級強度被用來重建附加樣本并隨時間更新跟蹤器模型。這種跟蹤系統(tǒng)在跟蹤靜態(tài)背景下的單個或多個運動目標(biāo)時具有優(yōu)越的性能。然而，當(dāng)背景和前景目標(biāo)同時移動時，這種用于自適應(yīng)搜索區(qū)域的事件引導(dǎo)方法將不適用[34]。

5 結(jié)論與展望

事件相機有著非常突出的優(yōu)點：低延遲、高時間分辨力、高動態(tài)范圍、低功耗。然而在不同的應(yīng)用領(lǐng)域，又有不同的缺陷阻礙著它的發(fā)展：在目標(biāo)跟蹤與監(jiān)測領(lǐng)域，相機本身的運動和場景迅速變化，使得事件生成速率大大提高，特別是高速運動的物體，這給數(shù)據(jù)處理帶來了巨大的壓力，容易造成數(shù)據(jù)混亂和數(shù)據(jù)缺失；在目標(biāo)識別領(lǐng)域，獲取特征往往需要目標(biāo)的灰度信息甚至彩色信息，對可視化的要求較高，而事件相機輸出的事件包能保留的信息太少，無法做到可視化，盡管DAVIS能夠獲得一定的灰度信息，但它還是會受到傳統(tǒng)相機缺點的影響，設(shè)計出一款能夠?qū)⑹录突叶刃畔⒔Y(jié)合而不受到傳統(tǒng)相機限制的傳感器仍是一個困難的工作；在機器人、無人駕駛等領(lǐng)域，需要很好的可靠性，還需要強大的控制和處理能力，事件相機的輸出數(shù)據(jù)的形式使之應(yīng)用很受限制，復(fù)雜的場景的快速變化會輸出大量事件，如何從這些事件中提取出有用的信息并加以控制和決策，是這個領(lǐng)域亟需解決的問題；噪聲的處理是事件相機非常重要的一個問題，由于事件的輸出形式的特性和差分器的作用，使事件相機的噪聲的影響很大，這是限制事件相機發(fā)展的一個重要因素。

在諸多應(yīng)用中，事件相機低帶寬通信、低重量、低功率和高速的特點，使其充分滿足航空航天領(lǐng)域?qū)鞲衅鞯目量桃蟆Ｄ壳?，事件相機在航空航天領(lǐng)域的研究仍較少，顯然，在這方面事件相機還有很大的發(fā)展?jié)摿?。如果將事件相機應(yīng)用在導(dǎo)彈、航天飛機、超快速戰(zhàn)斗機、海上軍艦等軍事目標(biāo)的追蹤上，由于這些目標(biāo)有著顯著的外觀特征，而且它們的運動速度一般很快，或許可以獲得比傳統(tǒng)遙感相機更好的效果。另外，將事件相機應(yīng)用于天基空間態(tài)勢感知，也為監(jiān)測衛(wèi)星和星體提供了新的解決方案。未來，在航空航天和軍事領(lǐng)域上，事件相機也將會有更加迅猛的發(fā)展。