李堃，黎向鋒，楊振泰，畢高杰，謝昌剛

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

據(jù)美國國家公路交能安全管理局的事故統(tǒng)計(jì)：雖然夜間駕駛在整個(gè)公路交通中只占25%左右，但是卻有42%的交通事故和58%的重大交通事故發(fā)生在夜間道路上[1]。主要原因在于夜間行車時(shí)的可視距離相較于日間行車大為縮短，且夜間行車時(shí)的光照條件更為復(fù)雜。尤其是對(duì)面來車時(shí)前照燈的燈光容易使駕駛員產(chǎn)生不適感[2-3]，對(duì)駕駛員的判斷產(chǎn)生干擾。目前，輔助駕駛技術(shù)發(fā)展迅速，攝像頭作為輔助駕駛的重要工具可通過對(duì)其采集到的視頻數(shù)據(jù)進(jìn)行處理，能夠?qū)Φ缆分杏绊戱{駛員駕駛的目標(biāo)進(jìn)行快速準(zhǔn)確地檢測，如：車輛、行人、路標(biāo)及障礙物等。但是，多數(shù)的目標(biāo)檢測技術(shù)都是基于日間行車的情況，日間行車時(shí)光照相對(duì)充足、均勻，攝像頭采集的視頻數(shù)據(jù)中噪聲較少，智能算法能夠成功應(yīng)用于場景，實(shí)現(xiàn)高效的目標(biāo)檢測，為駕駛員提供輔助的駕駛決策。相對(duì)而言，夜間行車的情況更為復(fù)雜，對(duì)面來車的照明燈和路燈等光源不僅會(huì)對(duì)駕駛員產(chǎn)生干擾，同時(shí)攝像頭在這些光源下采集到的視頻數(shù)據(jù)中也包含了大量的眩光。

根據(jù)北美照明工程學(xué)會(huì)定義：眩光是指在視野內(nèi)遠(yuǎn)大于眼睛可適應(yīng)的照明(圖1)。夜間駕駛過程中采集到的夜視圖像中存在的眩光主要包括白色、紅色和黃色3種情況。其中白色和紅色眩光分別由車輛的照明燈和剎車燈產(chǎn)生，較為常見；黃色眩光是由轉(zhuǎn)向燈或者駐車燈產(chǎn)生。相對(duì)于前兩種情況，黃色眩光出現(xiàn)頻率低，光源亮度較小，對(duì)駕駛員影響不大。眩光問題通常的解決方法是改善照明方案或者進(jìn)行遮光處理等[4]，但是夜視圖像中光源的不確定性使得傳統(tǒng)的解決方法很難達(dá)到預(yù)期效果。本文針對(duì)夜視圖像中的眩光問題，通過對(duì)比多種方法[5-9]，選擇去霧算法作為去除白色眩光的方法，并簡化計(jì)算過程，在保證去霧效果的前提下，大幅提升了處理速度。同時(shí)，針對(duì)紅色眩光提出了一種針對(duì)性的去除方法，能夠有效抑制夜視圖像中的紅色眩光，改善圖像視覺效果(本刊為黑白印刷，圖片如有疑問請(qǐng)咨詢作者)。

圖1 存在眩光的夜視圖像

1 白色眩光的去除

如圖1所示，由于路燈或者對(duì)面來車的照明燈等光源影響，夜視圖像中包含了大量的眩光。圖1(a)的夜視圖像展示了道路旁路燈產(chǎn)生的白色眩光和前方車輛尾燈產(chǎn)生的紅色眩光，圖1(b)展示了對(duì)面來車的前照燈產(chǎn)生的白色眩光。這是兩種典型夜視圖像中包含的眩光情況。眩光的存在使得夜視圖像的視覺效果很差，整體的對(duì)比度偏低，存在大量噪聲。智能算法無法在這樣的場景下產(chǎn)生理想識(shí)別效果，需要對(duì)其中存在的眩光進(jìn)行去除。

通過觀察噪聲分布的特征可以發(fā)現(xiàn)，夜視圖像中的眩光噪聲呈現(xiàn)明顯的霧狀特征，因此，可以使用去霧算法進(jìn)行去除。常用的去霧算法有暗通道先驗(yàn)去霧[10]、直方圖均衡去霧[8]、同態(tài)濾波增強(qiáng)以及基于Retinex[9]的去霧方法等。分別使用上述常用去霧方法處理夜視圖像，處理效果如圖2所示。

圖2 不同方法去霧效果

觀察圖2可以發(fā)現(xiàn)，針對(duì)夜視圖像中存在的眩光問題，暗通道先驗(yàn)去霧算法的處理效果最好，因此本文選擇暗通道先驗(yàn)去霧算法作為去除夜視圖像中眩光的基準(zhǔn)方法。

圖3所示為兩幅夜視圖像的暗通道圖像。原始圖像的暗通道圖像計(jì)算公式如下：

其中：Jdark(x)為暗通道圖像；Ω(x)為以像素x為中心的窗口。

圖3 暗通道圖像

暗通道先驗(yàn)去霧算法的核心為：

Jdark→0

由此推導(dǎo)出的恢復(fù)公式為：

其中：A為全球大氣光成分；I(x)為待去霧的圖像；J(x)為無霧圖像；t為折射率；t0為常數(shù)，取t0=0.1。

傳統(tǒng)暗通道先驗(yàn)去霧算法計(jì)算流程如圖4所示。盡管暗通道先驗(yàn)去霧在去霧效果上表現(xiàn)優(yōu)異，但是處理效率不高，無法滿足實(shí)際應(yīng)用的要求。本文對(duì)暗通道先驗(yàn)去霧方法中的計(jì)算部分做了簡化處理，使得其在保證處理效果基礎(chǔ)上滿足實(shí)時(shí)性的要求。

圖4 暗通道先驗(yàn)計(jì)算流程圖

1.1 原始數(shù)據(jù)降采樣

處理圖像數(shù)據(jù)時(shí)，在對(duì)圖像細(xì)節(jié)處理效果要求不高且圖像尺寸相對(duì)較大時(shí)，常常使用降采樣方法以減少數(shù)據(jù)的計(jì)算量。本文使用的原始數(shù)據(jù)是由上汽提供的行車記錄儀實(shí)測數(shù)據(jù)，每幀圖像的尺寸為1280×720，降采樣的比例為0.5。實(shí)驗(yàn)所使用的計(jì)算機(jī)配置為inteli5處理器，2.50GHz，4GB內(nèi)存。實(shí)驗(yàn)表明，對(duì)原始數(shù)據(jù)降采樣，得到的結(jié)果圖像與直接使用原始數(shù)據(jù)計(jì)算得到的結(jié)果圖像差異很小，滿足預(yù)期效果；同時(shí)計(jì)算速度得到大幅提升(表1)。

表1 降采樣前后算法運(yùn)行平均時(shí)間 單位：ms

1.2 省略對(duì)暗通道圖像的最小值濾波/導(dǎo)向?yàn)V波處理

對(duì)暗通道圖像進(jìn)行最小值濾波/導(dǎo)向?yàn)V波處理是對(duì)透射率的細(xì)化。為了解決在景深突變的情況下，去霧圖像中物體邊緣出現(xiàn)的halo效應(yīng)，同時(shí)也是數(shù)據(jù)計(jì)算中耗時(shí)較長的部分。依照實(shí)際情況，夜視圖像中所涉及到的場景中景深的突變比較小，如圖5所示，直接省略該步驟對(duì)處理結(jié)果的影響很小，同時(shí)提高了處理效率(表2)。

圖5 去除導(dǎo)向?yàn)V波前后處理效果

表2 (原始圖像)去除導(dǎo)向?yàn)V波前后算法運(yùn)行平均時(shí)間 單位：ms

處理方法時(shí)間包含導(dǎo)向?yàn)V波166.320去除導(dǎo)向?yàn)V波108.818

1.3 再次降采樣進(jìn)行透射率矩陣的計(jì)算

夜視圖像由于特殊場景的圖像細(xì)節(jié)不豐富，因此原始數(shù)據(jù)的降采樣不會(huì)對(duì)處理結(jié)果產(chǎn)生較大影響；同樣在計(jì)算透射率矩陣時(shí)，對(duì)數(shù)據(jù)再次進(jìn)行降采樣，然后計(jì)算透射率；最后，經(jīng)過插值得到粗略的透射率矩陣；使用粗略計(jì)算得到的透射率矩陣進(jìn)行夜視圖像的恢復(fù)，也能得到預(yù)期效果(圖6)。透射率降采樣前后算法的運(yùn)行平均時(shí)間如表3所示。

圖6 透射率降采樣前后處理效果

表3 (降采樣數(shù)據(jù))透射率降采樣前后算法運(yùn)行平均時(shí)間 單位：ms

處理方法時(shí)間直接計(jì)算38.665 7降采樣后計(jì)算26.682 7

通過簡化暗通道先驗(yàn)算法的計(jì)算過程，在保證夜視圖像處理效果的前提下，大幅提升了算法的運(yùn)行速度，測試視頻在實(shí)驗(yàn)設(shè)備上的幀率為36FPS，達(dá)到流暢顯示的要求。

2 紅色眩光的去除

對(duì)比圖2中處理后的結(jié)果圖像，兩幅圖像中的白色霧狀眩光都得到了很好去除，但是相比于第2幅圖像，第1幅結(jié)果圖像中仍然存在著紅色眩光。紅色眩光主要是由車輛尾燈的燈光在空氣中塵埃的散射作用下形成的，存在于車輛尾燈的周圍，呈現(xiàn)出紅色的光暈；同時(shí)，在夜間行駛的情況下，路面也會(huì)反射少量的紅色光，使得夜視圖像中前方車輛尾部區(qū)域不均勻的分布著紅色眩光。圖7展示了多車行駛時(shí)較嚴(yán)重的紅色眩光問題。

圖7 多車下的紅色眩光

在單車或者多車的情況下，去除白色眩光后的夜視圖像中，紅色眩光的存在都會(huì)降低圖像的視覺效果，使駕駛員在視覺上產(chǎn)生不適感。紅色眩光以及路面反射紅光的存在，會(huì)影響依靠顏色分割的相關(guān)算法的實(shí)現(xiàn)，對(duì)智能算法的實(shí)現(xiàn)精度也會(huì)造成影響。

紅色眩光和白色眩光產(chǎn)生的原因不同，但是這兩種眩光的特征相似：均呈現(xiàn)霧狀特征。傳統(tǒng)的去霧算法都是針對(duì)白霧情況，本文針對(duì)夜視圖像中車輛尾燈的光暈(眩光)以及路面的反射紅光，提出了去除特定顏色眩光的方法，能夠有效去除夜視圖像中的紅色眩光，改善圖像的視覺效果。

本節(jié)提出的方法基于暗通道先驗(yàn)去霧算法，遵循暗通道先驗(yàn)去霧的基本思想，通過獲取等價(jià)的暗通道圖像及相關(guān)參數(shù)，對(duì)特定顏色的霧狀噪聲進(jìn)行去除。

2.1 等價(jià)的暗通道圖像

圖8是經(jīng)過第1次去霧處理后3個(gè)通道的單通道圖像。

圖8 第1次去霧后圖像的3個(gè)通道圖像

觀察3個(gè)通道的圖像，夜視圖像的G、B單通道圖像符合正常夜視圖像的單通道圖像特征，R通道圖像中存在著大量霧狀的白色噪聲，對(duì)應(yīng)于夜視圖像中的紅色眩光。因此，去除夜視圖像中的紅色眩光問題可以通過去除R通道圖像中的白色噪聲而得到解決。

暗通道先驗(yàn)去霧算法適用于三通道圖像，參考上節(jié)的工作，簡化步驟的暗通道先驗(yàn)去霧算法能同時(shí)保證處理效果和處理效率。R通道圖像上的霧狀噪聲為霧狀特征，對(duì)暗通道先驗(yàn)去霧算法進(jìn)行適當(dāng)?shù)恼{(diào)整，使其能夠應(yīng)用于單通道圖像，從而完成特定顏色霧的去除。

傳統(tǒng)暗通道圖像的獲取方式無法應(yīng)用于單通道圖像。暗通道先驗(yàn)算法以圖像的暗通道圖像作為標(biāo)準(zhǔn)來達(dá)到去除原始圖像中霧的目的。對(duì)于單通道圖像中存在的白色霧狀噪聲，需要一個(gè)衡量標(biāo)準(zhǔn)使其能夠達(dá)到暗通道圖像中霧的衡量標(biāo)準(zhǔn)。經(jīng)過實(shí)驗(yàn)，提出了一個(gè)等價(jià)單通道圖像的暗通道圖像獲取公式：

其中：Kdark(x)為等價(jià)暗通道圖像，當(dāng)Kdark→0時(shí)，圖像中的紅色眩光得到去除。

圖9所示為圖1中兩幅夜視圖像的等價(jià)暗通道圖像，對(duì)比圖9中兩幅等價(jià)暗通道圖像，眩光部分在等價(jià)暗通道圖像中清晰地展現(xiàn)出來。

圖9 圖像(圖1中)的等價(jià)暗通道圖像

2.2 等價(jià)大氣光值A(chǔ)的計(jì)算

傳統(tǒng)的大氣光值A(chǔ)的獲取方式：

1) 從暗通道圖像中按照亮度的大小選取前0.1%的像素。

2) 在原始圖像中尋找對(duì)應(yīng)點(diǎn)亮度值的平均值作為A值。

在本節(jié)，實(shí)驗(yàn)處理的原始數(shù)據(jù)為R通道圖像，其亮度值的含義為對(duì)應(yīng)點(diǎn)的灰度值；本文使用的圖像均為歸一化的圖像，即R通道圖像的灰度值分布在0～1。在實(shí)驗(yàn)過程中，通過觀察多個(gè)夜視場景下的A值，發(fā)現(xiàn)A基本上都分布在0.99～1之間，因此直接將A=1作為已知參數(shù)進(jìn)行后續(xù)的實(shí)驗(yàn)計(jì)算(圖10)。

圖10 不同A值處理效果

對(duì)比圖10中使用不同A值的計(jì)算結(jié)果，將A作為常數(shù)1處理圖像和使用傳統(tǒng)方式獲取A后再處理圖像，結(jié)果差異很小，實(shí)驗(yàn)將A作為常數(shù)進(jìn)行計(jì)算。

實(shí)驗(yàn)中，后續(xù)的圖像處理中的計(jì)算同樣采用第1節(jié)所述的簡化方法進(jìn)行，兩次去霧處理平均耗時(shí)42ms，結(jié)果視頻的幀率約24FPS，基本達(dá)到流暢顯示的要求。兩次去霧的處理結(jié)果如圖11所示。

3 結(jié)語

攝像頭是汽車的“眼睛”，在日間行車的情況下，能夠以視覺的方式采集前方道路信息，從而識(shí)別出前方車輛及燈語等，但在夜間行車情況下，由于行車周圍環(huán)境光照的影響，使攝像頭采集到的圖像數(shù)據(jù)中包含了大量眩光，嚴(yán)重影響車輛檢測和燈語檢測算法的實(shí)現(xiàn)，削弱攝像頭在夜間行車時(shí)的輔助駕駛功能。本文針對(duì)這一問題，使用暗通道先驗(yàn)去霧算法去除圖像中的白色眩光，經(jīng)過對(duì)計(jì)算過程的簡化，同時(shí)保證了夜視圖像的處理質(zhì)量和效率；針對(duì)紅色眩光，提出了去除特定顏色眩光的方法，能夠有效去除夜視圖像中的紅色光暈及地面反光。經(jīng)過預(yù)處理，攝像頭采集到的夜視圖像整體視覺效果得到有效提升。實(shí)驗(yàn)證明，本文算法能夠有效應(yīng)用于上汽提供的夜間行車記錄儀采集的視頻數(shù)據(jù)，為夜間車輛檢測及燈語識(shí)別算法的實(shí)現(xiàn)創(chuàng)造了良好條件。

圖11 去霧效果展示