韓豐澤 董文帥 張維忠

摘要：??針對傳統(tǒng)的視頻去噪方法對深度視頻去噪效果不理想，導(dǎo)致丟失輪廓信息和深度值信息的問題，本文提出一種新的深度視頻分層去噪與彩色圖像超像素分割相結(jié)合的深度視頻去噪算法。首先獲取深度視頻的深度信息，根據(jù)深度值分布，將深度視頻幀分層去噪，然后將去噪后的每一深度層合并為深度幀，將與深度幀相對應(yīng)的彩色幀進(jìn)行超像素劃分，填補(bǔ)去除噪聲后產(chǎn)生的深度值空白區(qū)域的深度值，去除深度視頻噪聲，或根據(jù)物體周邊深度值，消除并填補(bǔ)由物體遮擋產(chǎn)生的干擾噪聲。實(shí)驗(yàn)結(jié)果表明，該算法能夠消除深度視頻噪聲，有效解決了深度視頻噪聲導(dǎo)致畫面凌亂，目標(biāo)物體辨識難，無關(guān)物體遮蔽深度信息，獲取深度信息困難等問題，減少噪聲對公共客流統(tǒng)計項(xiàng)目的干擾，具有較好的實(shí)時性和魯棒性。該研究在公共交通客流統(tǒng)計項(xiàng)目以及醫(yī)院急診患者數(shù)量統(tǒng)計項(xiàng)目上進(jìn)行了驗(yàn)證，具有一定的實(shí)際應(yīng)用價值。

關(guān)鍵詞：??深度視頻去噪;?分層去噪;?超像素劃分;?深度值填充;?客流統(tǒng)計

中圖分類號：?TP391.413?文獻(xiàn)標(biāo)識碼：?A

收稿日期：?2019-07-03;?修回日期：?2019-11-29

作者簡介：??韓豐澤（1994-），男，碩士研究生，主要研究方向?yàn)橛嬎銠C(jī)視覺。

通信作者：??張維忠（1963-），男，博士，教授，主要研究方向?yàn)榇髷?shù)據(jù)學(xué)習(xí)，計算機(jī)視覺及深度學(xué)習(xí)等。Email：?zhangwz_01@aliyun.com

目前，公共交通客流監(jiān)控[1-2]和客流大數(shù)據(jù)分析[3-4]已成為熱點(diǎn)研究方向，公共交通客流統(tǒng)計項(xiàng)目主要采用深度相機(jī)[5-6]，采集深度信息[7-8]獲取客流數(shù)據(jù)。深度視頻噪聲[9-10]干擾客流計數(shù)，產(chǎn)生計數(shù)誤差等問題，因此，去除深度視頻噪聲對提高公共客流統(tǒng)計準(zhǔn)確率具有重要意義。譚志國等人[11]提出了一種層析深度圖像去噪算法，該算法利用深度信息去噪，去噪效果較好，但對去噪后產(chǎn)生深度值空白區(qū)域[12-13]填充效果欠佳;潘波等人[14]提出一種基于超像素的深度圖修復(fù)算法，該算法利用雙邊濾波進(jìn)行消除噪聲，但容易丟失物體輪廓信息;胡天佑[15]提出一種深度視頻空洞區(qū)域修復(fù)技術(shù)，修復(fù)原始視頻空洞區(qū)域?；诖?，本文采用深度視頻分層去噪與彩色圖像超像素劃分填補(bǔ)空白深度值相結(jié)合的方法，進(jìn)行深度視頻去噪，并填充去噪后產(chǎn)生的空白深度值。通過公共客流統(tǒng)計項(xiàng)目的實(shí)際應(yīng)用測試，證明該算法能夠有效消除深度視頻噪聲，幫助客流統(tǒng)計系統(tǒng)獲取有效深度信息，提高公共客流統(tǒng)計精度，具有較好的魯棒性及實(shí)用性。該研究具有實(shí)際應(yīng)用價值。

1?問題描述

本文處理的噪聲主要分為兩類：一是由深度相機(jī)獲取的深度視頻[16-17]中的噪聲，這種噪聲通常由深度相機(jī)內(nèi)部傳感器的誤差及現(xiàn)實(shí)條件下光線復(fù)雜折射所引起;二是在項(xiàng)目實(shí)際運(yùn)行環(huán)境中，環(huán)境物體產(chǎn)生的干擾噪聲，例如公交車后門橫桿會對客流統(tǒng)計造成影響，需要消除此類干擾噪聲。針對這兩種深度視頻噪聲，本文設(shè)計了專門的深度視頻去噪方法，取得了良好的去噪效果

2?深度視頻去噪方法

2.1?深度視頻分層去噪與超像素分割彩色圖像相結(jié)合的去噪方法

本算法主要消除由深度相機(jī)獲取的深度視頻噪聲，即深度視頻中的噪聲。深度視頻分層去噪與超像素分割相結(jié)合的去噪算法利用深度視頻中深度信息對每一幀深度視頻幀去噪，按照深度值的分布情況，將深度幀進(jìn)行分層，每層進(jìn)行去噪，再將去噪后的每層圖像合并為完整深度幀;去噪后，噪聲區(qū)域成為無深度值的空白區(qū)域，結(jié)合超像素分割彩色幀進(jìn)行聚類，根據(jù)類內(nèi)像素點(diǎn)深度值連續(xù)且相近，利用無噪聲像素點(diǎn)求出噪聲像素點(diǎn)深度值，填補(bǔ)深度幀去噪后的空白區(qū)域。

簡單的線性迭代聚類[18]（simple?linear?iterativeclustering，SLIC）超像素劃分[19-20]。在CIELAB顏色空間，用五維特征向量替代彩色圖像，通過調(diào)整五維特征向量距離度量標(biāo)準(zhǔn)，實(shí)現(xiàn)對圖像像素局部聚類。SLIC算法有較好的邊界粘附性、分割速度、超像素形狀及聚類效果。SLIC具體實(shí)現(xiàn)步驟如下：

初始化種子點(diǎn);在種子點(diǎn)的n×n鄰域內(nèi)重新選擇種子點(diǎn);在每個種子點(diǎn)周圍的鄰域內(nèi)為每個像素點(diǎn)分配類標(biāo)簽;距離度量包括顏色距離和空間距離，分別計算每個搜索到的像素點(diǎn)和該種子點(diǎn)的距離;迭代優(yōu)化;增強(qiáng)連通性，距離計算方法為

dc=（lj-li）2+（aj-ai）2+（bj-bi）2（1）

ds=xj-xi2+yj-yi2（2）

D′=dc/Nc2+ds/Ns2（3）

式中，dc代表顏色距離;ds代表空間距離;lj和li代表亮度;aj和ai代表從綠色到紅色的分量;bj和bi代表從藍(lán)色到黃色分量;xj，xi，yj，yi代表橫縱坐標(biāo);Nc代表最大顏色距離;NS是類內(nèi)最大空間距離，定義Ns=S=sqrtN/K，適用于每個聚類。

將圖像從RGB顏色空間轉(zhuǎn)換到CIElab顏色空間，對應(yīng)每個像素的顏色值l，a，b和坐標(biāo)x，y組成一個五維向量Vl，a，b，x，y2個像素的相似性，即可由它們的向量距離來度量，距離越大相似性越小。

大的顏色距離Nc由圖片大小和聚類決定，所以用固定常數(shù)m代替，S為期望的超像素尺寸，最終的距

D′=dc/m2+ds/S2（4）

深度流結(jié)合彩色流深度視頻去噪，具體實(shí)現(xiàn)方法及步驟如下：

1）?獲取深度視頻深度幀。

2）?依照深度值分布對深度幀進(jìn)行分層。

3）?對每層圖像進(jìn)行二值化處理，將面積小于閾值的深度噪聲去除。

4）?將去噪后的每層圖像合并為完整深度幀。

5）?填補(bǔ)去噪后深度值空白區(qū)域。

6）?對與深度幀對應(yīng)的彩色幀進(jìn)行SLIC超像素劃分，進(jìn)行聚類。

7）?劃分后，根據(jù)類內(nèi)無噪聲點(diǎn)的深度值計算，得到空白點(diǎn)的深度值。

8）?填補(bǔ)完畢，得到去噪后深度幀。深度視頻去噪算法流程如圖1所示。

深度流視頻截圖如圖2所示，彩色流視頻截圖如圖3所示，超像素劃分結(jié)果圖如圖4所示，消除干擾噪聲示意圖如圖5所示。

由圖2可以看出，深度相機(jī)獲取的原始深度視頻噪聲較多;由圖3可以看出，深度相機(jī)獲得了彩色圖像;由圖4可以看出，對彩色圖像進(jìn)行超像素劃分的結(jié)果;圖5中，紅色矩形為橫桿噪聲區(qū)域，mid是紅色矩形中線，y1和y2分別是矩形上下邊的縱坐標(biāo)，直線a和直線mid關(guān)于矩形的上邊對稱，直線b和直線mid關(guān)于矩形的下邊對稱，d1是直線a和直線mid的距離，d2是直線b和直線mid的距離。由對稱關(guān)系可求得距離d1和距離d2，且d1=d2。

2.2?消除環(huán)境干擾噪聲的方法

本算法對公交車后門橫桿在深度視頻中造成的干擾噪聲進(jìn)行消除。公交車后門橫桿在深度視頻中占據(jù)的區(qū)域是位置確定的細(xì)長矩形，首先將橫桿占據(jù)區(qū)域視為噪聲區(qū)域，將整個噪聲區(qū)域劃分為上下兩排多個矩形小噪聲區(qū)域，以提高深度值填充精確度，通過每個小噪聲區(qū)域周邊鄰域的深度值平均值，計算得到小噪聲區(qū)域深度值。

根據(jù)圖5中y1和y2的坐標(biāo)，求得直線為

mid=12（y1+y2）（5）

求得距離d1和d2分別為

d1=mid-y1，?d2=mid-y2，?d1=d2=d（6）

得到橫桿噪聲區(qū)域深度值為

Dnoisei，jnoise=Dtruei，jtrue，?jnoise-jtrue=d（7）

式中，Dnoise代表噪聲區(qū)域某點(diǎn)的深度值;Dtrue代表與之相對應(yīng)無噪聲區(qū)域的點(diǎn)的深度值;jnoise代表噪聲區(qū)域某點(diǎn)縱坐標(biāo);jtrue代表與之對應(yīng)無噪聲區(qū)域的點(diǎn)的縱坐標(biāo)。

最終通過噪聲區(qū)域周邊非噪聲鄰域的深度值，求得噪聲區(qū)域深度值。

3?實(shí)驗(yàn)結(jié)果與分析

3.1?消除深度視頻噪聲及橫桿干擾噪聲的實(shí)驗(yàn)結(jié)果

通過公共客流統(tǒng)計項(xiàng)目，在公交車上安裝深度相機(jī)，獲取實(shí)際原始客流深度視頻，通過深度流結(jié)合彩色圖像深度視頻去噪方法，對原始視頻進(jìn)行去噪，得到去噪后的客流深度視頻。原始深度視頻截圖如圖6所示，圖中包含大量深度視頻噪聲;去噪后深度視頻截圖如圖7所示，圖中已消去了深度視頻噪聲。

對帶有橫桿干擾噪聲的原始客流深度視頻進(jìn)行截圖，未消除干擾噪聲截圖如圖8所示;對原始深度視頻進(jìn)行去除橫桿干擾噪聲，消除干擾噪聲截圖如圖9所示。

3.2?實(shí)驗(yàn)結(jié)果分析及創(chuàng)新性

對比圖6和圖7可以看出，去噪后的深度視頻成功消除了原始深度視頻中的大量噪聲，很好的填補(bǔ)去噪之后的深度值空白區(qū)域，實(shí)現(xiàn)了較好的去噪效果，有利于提高對深度視頻的觀察和信息提取。

對比圖8和圖9可以看出，消除橫桿干擾噪聲的深度視頻，成功消除了橫桿干擾噪聲，較為準(zhǔn)確的補(bǔ)齊噪聲區(qū)域的深度值，使深度視頻更加直觀和清晰。該去噪算法有效利用了深度視頻的深度信息，對深度視頻去噪更有針對性，與傳統(tǒng)的視頻去噪方法相比，本算法去噪之后的深度視頻能夠有效保留物體的輪廓信息，不會導(dǎo)致輪廓及邊緣模糊;同時，通過求解噪聲區(qū)域深度值，更好的保留了深度視頻的深度信息。

4?結(jié)束語

本文基于深度視頻分層去噪與彩色圖像超像素分割相結(jié)合的深度視頻去噪算法，能夠有效消除深度視頻中的噪聲。通過在公共客流統(tǒng)計項(xiàng)目以及醫(yī)院急門診患者數(shù)量統(tǒng)計項(xiàng)目上實(shí)驗(yàn)運(yùn)行，運(yùn)行結(jié)果表明，本算法為該項(xiàng)目提供了一個低噪聲干擾，人體輪廓清晰，深度信息完整且正確的深度視頻，提高了公共客流統(tǒng)計項(xiàng)目的乘客識別率以及醫(yī)院急門診患者數(shù)量統(tǒng)計準(zhǔn)確率，該算法具有創(chuàng)新性和實(shí)用價值。該深度視頻去噪算法，還適用于其它可以應(yīng)用深度視頻的項(xiàng)目，例如商業(yè)網(wǎng)點(diǎn)人流量統(tǒng)計，貨物物流倉儲統(tǒng)計等;在醫(yī)療領(lǐng)域，可適用于各大醫(yī)院及醫(yī)聯(lián)體急門診患者流水?dāng)?shù)量統(tǒng)計，隨時評估各大醫(yī)院急診室的實(shí)時容納能力，為120急救中心轉(zhuǎn)運(yùn)病人提供實(shí)時指導(dǎo)，為危重病人的急診轉(zhuǎn)運(yùn)地點(diǎn)提供最佳選擇，避免了因轉(zhuǎn)運(yùn)地點(diǎn)不合理造成的病情延誤。在本文算法中，深度視頻去噪能力還可以進(jìn)一步提高，后期將研究實(shí)驗(yàn)更多去噪理論和方法，繼續(xù)提高深度視頻去噪能力，繼續(xù)研究將深度視頻去噪算法適配到更多實(shí)際項(xiàng)目。

參考文獻(xiàn)：

[1]?Irshad?A，?Matthew?N.?Dailey.?Multiple?human?tracking?in?highdensity?crowds[J].?Image?and?Vision?Computing，?2012，?30（12）：?966-977.

[2]?Oded?Cats.?An?agentbased?approach?for?modeling?realtime?travel?information?in?transit?systems[J].?Procedia?Computer?Science，?2014，?32：?1-6.

[3]?劉永鑫.?基于多源數(shù)據(jù)融合的城市公交系統(tǒng)乘客出行模式挖掘及其應(yīng)用研究[D].?廣州：?華南理工大學(xué)，?2018.

[4]?王飛.?基于視頻圖像處理的公交客流統(tǒng)計技術(shù)研究[D].?南京：?東南大學(xué)，?2018.

[5]?宋爽，?陳馳，?楊必勝，?等.?低成本大視場深度相機(jī)陣列系統(tǒng)[J].?武漢大學(xué)學(xué)報：?信息科學(xué)版，?2018，?43（9）：?1391-1398.

[6]?Lu?X?Q，?Deng?Z?G，?Luo?J，?et?al.?3D?articulated?skeleton?extraction?using?a?single?consumergrade?depth?camera[J].?Computer?Vision?and?Image?Understanding，?2019，?188：?1-13.

[7]?頡朝敏.?基于陣列相機(jī)的深度信息獲取[D].?西安：?西安電子科技大學(xué)，?2018.

[8]?Kangham?O，?Myungeum?L，?Yura?L，?et?al.?Salient?object?detection?using?recursive?regional?feature?clustering[J].?Information?Sciences，?2017，?387：?1-18.

[9]?杜棋東.?基于Kinect深度信息的人體三維點(diǎn)云去噪方法[J].?計算機(jī)與數(shù)字工程，?2018，?46（11）：?2170-2174.

[10]?張康.?基于圖像深度感知中的立體匹配和深度增強(qiáng)算法研究[D].?北京：?清華大學(xué)，?2015.

[11]?譚志國，?歐建平，?張軍，?等.?一種層析深度圖像去噪算法[J].?光學(xué)學(xué)報，?2017，?37（5）：?94-100.

[12]?曹東華.?基于深度圖像繪制中的空洞填充[D].?重慶：?重慶大學(xué)，?2016.

[13]?胡金暉.?基于深度信息的多視點(diǎn)視頻編碼及圖像增強(qiáng)技術(shù)研究[D].?武漢：?武漢大學(xué)，?2014.

[14]?潘波，?范祺紅，?曹雪瑋，?等.?基于超像素的深度圖修復(fù)算法[J/OL].?計算機(jī)應(yīng)用研究，?2020，?37（6）：?[2019-06-19].?https：∥www.arocmag.com/article/02-2020-06-058html

[15]?胡天佑.?深度視頻空洞區(qū)域修復(fù)技術(shù)研究[D].?寧波：?寧波大學(xué)，?2017.

[16]?陳寶亮.?基于卷積神經(jīng)網(wǎng)絡(luò)和融合ToF與立體數(shù)據(jù)的高質(zhì)量深度圖獲取算法研究[D].?西安：?西安電子科技大學(xué)，?2018.

[17]?王媛媛，?劉學(xué)成，?伍鳳娟.?基于雙目視覺的三維重構(gòu)算法實(shí)現(xiàn)[J].?傳感器與微系統(tǒng)，?2018，?37（4）：?136-138，?141.

[18]?劉仲民，?王陽，?李戰(zhàn)明，?等.?基于簡單線性迭代聚類和快速最近鄰區(qū)域合并的圖像分割算法[J].?吉林大學(xué)學(xué)報：?工學(xué)版，?2018，?48（6）：?1931-1937.

[19]?Zu?B?K，?Xia?K?W，?Li?T?J，?et?al.?SLIC?SuperpixelBased?l?_2，?1Norm?Robust?Principal?Component?Analysis?for?Hyperspectral?Image?Classification[J].?Sensors，?2019，?19（3）：?479.

[20]?Angulakshmi?M，?Lakshmi?Priya?G?G.?Walsh?Hadamard?Transform?for?Simple?Linear?Iterative?Clustering?（SLIC）?Superpixel?Based?Spectral?Clustering?of?Multimodal?MRI?Brain?Tumor?Segmentation[J].?Innoration?and?Research?in?BioMedical?Engineering，?2019，?40（5）：253-262.

Deep?Video?Denoising?Method?Based?on?Deep?Stream?Hierarchical?Fusion?of?Color?Images

HAN?Fengzea，?DONG?Wenshuaib，?ZHANG?Weizhonga

（a.?College?of?Computer?Science?&?Technology;?b.?Emergency?Department?Affiliated?Hospital，?Qingdao?University，?Qingdao?266071，?China）

Abstract：??Aiming?at?the?problem?that?the?traditional?video?denoising?method?is?not?ideal?for?depth?video，?which?leads?to?the?loss?of?contour?information?and?depth?value?information，?this?paper?proposes?a?new?depth?video?denoising?algorithm?combining?depth?video?layered?denoising?and?color?image?superpixel?segmentation.?First，?the?depth?information?of?the?depth?video?is?obtained，?and?then?the?depth?video?frame?is?denoised?according?to?the?depth?value?distribution，?and?then?each?depth?layer?after?denoised?is?merged?into?the?depth?frame.?The?color?frame?corresponding?to?the?depth?frame?is?divided?into?super?pixels?to?fill?the?depth?value?of?the?blank?area?of?the?depth?value?generated?after?noise?removal，?to?remove?the?depth?video?noise，?or?to?eliminate?and?fill?the?interference?noise?generated?by?the?object?occlusion?according?to?the?depth?value?around?the?object.?The?experimental?results?show?that?the?algorithm?can?eliminate?the?deep?video?noise.?It?can?effectively?solve?the?problems?such?as?disordered?images?caused?by?deep?video?noise，?difficult?identification?of?target?objects，?depth?information?covered?by?unrelated?objects，?and?difficulty?in?obtaining?depth?information，?etc.，?and?reduce?the?interference?of?noise?on?public?passenger?flow?statistical?items，?with?better?realtime?and?robustness.?This?research?has?been?verified?in?the?public?transport?passenger?flow?statistics?project?and?patient?flow?statistics?project?of?emergency?room，which?has?practical?application?value.

Key?words：??deep?video?denoising;?layered?denoising;?superpixel?partition;?depth?value?filling;?public?flow?statistics