王雪峰 陳興穌
摘要:非視域成像技術(shù)是對直接視線范圍內(nèi)看不到的物體(如拐角處的隱藏目標)進行探測并成像的技術(shù),基于飛行時間的成像技術(shù)主要是探測深度圖,首先需要完成對隱藏目標的深度定位,再對其進行圖像重建。提出使用時間延遲估計算法對隱藏目標進行深度定位,分別進行兩組實驗,針對不同隱藏目標個數(shù)和隱藏目標之間的距離,在不同噪聲比下(0、5、10和20dB),對隱藏目標的深度定位進行研究。實驗結(jié)果表明當隱藏目標之間的距離不斷變小時,深度定位誤差也在不斷增大,隱藏目標之間的最小距離約100cm(激光脈沖為1ns);噪聲對深度定位的影響較小,去噪后的誤差減少為1~2cm,表明提出的時延估計算法具有一定的抗噪能力。
關(guān)鍵詞:非視域成像 時延估計 深度定位 噪聲
中圖分類號:TP391
Research on Depth Localization of Non-Line-of-Sight Hidden Objects Based on Time Delay Estimation
WANG Xuefeng1,2? ?CHEN Xingsu1,2*
(1. School of Network Security and Information Technology, Yili Normal University, Kazak Autonomous Prefecture of Ili, Xinjiang Uygur Autonomous Region, 83500 China;2.Key Laboratory of Intelligent Computing Research and Application in the Ili River Valley,Yili Normal University,Kazak Autonomous Prefecture of Ili, Xinjiang Uygur Autonomous Region, 835000 China)
Abstract: Non-line-of-sight imaging technology is a technology to detect and image objects that cannot be seen in the direct line of sight (such as hidden targets around corners). Imaging technology based on the time of flight is mainly to detect depth images, which first needs to complete the depth localization of hidden targets, and then carries out their image reconstruction. This paper proposes to use the delay estimation algorithm to carry out the depth localization of hidden targets, and conducts two groups of experiments respectively to study the depth localization of hidden targets under different noise ratios (0, 5, 10 and 20dB) according to the number of different hidden targets and the distance among hidden targets. The experimental results show that the depth localization error is also increasing when the distance among hidden targets is constantly becoming small, and the minimum distance among hidden targets is about 100cm (the laser pulse is 1ns), and that the effect of noise on depth localization is small, and the error after denoising is reduced to 1~2cm, which indicates that the delay estimation algorithm proposed in this paper has a certain ability to resist noise.
Key Words: Non-line-of-sight imaging; Time delay estimation; Depth location; Noise
近年來,超快激光技術(shù)得到快速發(fā)展,激光脈沖可以達到飛秒級別,推動了激光成像的多方面發(fā)展。研究者們利用超快激光技術(shù)和高靈敏度、高時間分辨率的探測器,完成了瞬態(tài)成像[1-2](拐角成像或透射成像),即非視域成像技術(shù),主要是利用激光在物體之間多次散射和超快的激光技術(shù),來間接探測隱藏目標的信息,并利用重建技術(shù)來恢復(fù)隱藏目標,能夠?qū)崿F(xiàn)對隱藏目標的三維圖像重建[3-4]。
非視域成像中進行三維圖像重建時,場景較大,如對全部場景進行三維圖像重建,需要耗費大量的時間和空間,而需要重建的隱藏目標只處于場景中的小部分,因此可以通過對隱藏目標先進行深度定位,找出隱藏目標的深度范圍,再在此深度范圍內(nèi)進行三維圖像重建,將大大縮減三維圖像重建的時間。本文利用時間延遲估計算法,對非視域成像中隱藏目標進行深度定位,并分析噪聲和隱藏目標之間的距離對定位精度的影響。
1 基于時延估計的隱藏目標深度定位算法
時間延遲估計(Time-delay estimation, TDE)算法簡稱時延估計算法[5],是表征信號的一個基本參數(shù),是根據(jù)信息經(jīng)過不同距離的傳播,在一定的速度下,計算不同傳感器接收的信息的時間差異,來確定其他相關(guān)參數(shù),如信號源的方位、距離等信息。一般對于一個源信號來說,經(jīng)過不同的傳播距離,被2個或多個不同位置的傳感器接收,由于相同源傳播的速度相同,那么傳播的時間必然存在差異,通過計算傳感器之間的時間差異,根據(jù)速度,就可以定位信號源的位置。
時延估計算法應(yīng)用非常廣泛,在聲納系統(tǒng)[6-7]、電力系統(tǒng)[8]、生物醫(yī)學(xué)[9]、地震和物理等[10-11]領(lǐng)域都有應(yīng)用。時間延遲估計算法在聲吶和雷達等系統(tǒng)中已經(jīng)得到了較完善的發(fā)展,理論基礎(chǔ)較完善,經(jīng)過了各個領(lǐng)域的應(yīng)用發(fā)展,提出了多種實現(xiàn)方法。本文使用互相關(guān)法來定位非視域成像中的隱藏目標。
1.1互相關(guān)法
一般信號源的傳播環(huán)境是多徑傳播,經(jīng)過多條路徑到達接收端,那么接收信號就是多徑信號的線性疊加[5]。對于有源探測系統(tǒng)中,設(shè)源信號為s(n) ,一個信號源發(fā)射信號被探測器接收,接收信號可以用如下數(shù)學(xué)表達式描述:
其中,N表示連續(xù)觀測樣本數(shù),D表示多個信號,表示第路信號的幅度衰減,表示高斯噪聲,為第路信號到達時延,表示源信號。假定噪聲均為零均值,方差為1的正態(tài)平穩(wěn)隨機過程,且噪聲之間以及信號與噪聲之間相互獨立。
互相關(guān)函數(shù)是估計兩個信號之間時間延遲的基本方法[5],源信號與接收信號的相關(guān)函數(shù)表示為:
式中:表示源信號是的自相關(guān)函數(shù),表示數(shù)學(xué)期望。在上面的計算過程中,源信號與噪聲之間完全正交,則公式變?yōu)椋?/p>
由自相關(guān)函數(shù)的性質(zhì)可知,當時,達到最大值,即兩個接收信號的相關(guān)性最大。因此選擇取得最大值的值作為時延值:
1.2 隱藏目標深度定位算法
本文使用時延估計算法估計源信號與探測器接收信號之間的時間延遲,得到各個探測器相對于源信號的時間差,利用這些時間差來確定隱藏目標的位置信息。采用直接互相關(guān)進行時延估計算法實現(xiàn),該方法實現(xiàn)簡單、且可以快速計算出時間延遲。
本文采用矩陣陣列的形式,源信號為,則一個探測器接收的回波信號如下:
其中為第個探測器接收的回波信號,為隱藏目標表面的光反射個數(shù)點,為第條路徑的幅值衰減,表示第條路徑的時間延遲,表示接收的噪聲。
則有矩形陣列排布的探測器陣列接收信號為:
根據(jù)時延估計算法,計算源信號與探測器陣列信號的相關(guān)性,根據(jù)公式(2)可得:
假設(shè)噪聲與信號之間相互獨立,則表示它們之前完全正交,沒有相關(guān)性,則相關(guān)性為0,即公式(6)中為0,則上式可以寫成如下:
從公式(7)發(fā)現(xiàn)探測器接收的回波信號與源信號之間的相關(guān)性,其實是源信號的自相關(guān),就是源信號與經(jīng)過時間延遲的回波信號的相關(guān),在本文中即是各個探測器接收回波信號與激光光源發(fā)射信號之間的相關(guān)性。
由公式(7)和相關(guān)函數(shù)的性質(zhì)可知,如果想要相關(guān)函數(shù)達到最大值,即兩個信號之間的相關(guān)性達到最大,我們只需要要讓。因此選擇取得最大值的值作為時延值:
(8)
則探測器陣列中每個探測器與源信號進行相關(guān)后,得到的所有時延值為:
2 非視域成像隱藏目標深度定位
隱藏目標深度定位是非視域成像中三維圖像重建的重要步驟,通過定位隱藏目標的深度范圍,來縮小三維重建的掃描深度,加快重建的速度。本文通過兩組實驗,主要分析隨機噪聲對定位結(jié)果的影響和多個物體之間距離對定位結(jié)果的影響,驗證本文提出的深度定位方法的有效性。
2.1 噪聲對深度定位結(jié)果的影響
非視域成像中信號接收的噪聲主要有探測器噪聲、大氣衰減、環(huán)境光噪聲等,本文主要考慮在探測器接收信號時的高斯噪聲,分析不同噪聲對定位結(jié)果的影響。共進行兩組實驗,第一組是定位單個隱藏目標,大小為50cm×50cm,距離擴散膜122cm;第二組是定位兩個隱藏目標,大小分別為50cm×50cm和50cm×70cm,距離擴散膜分別為122cm和222cm。
實驗一:對于單個隱藏目標的定位,考察不同噪聲對定位精度的影響,分別添加噪聲比為0、5、10和20dB的噪聲,每種噪聲情況下進行多次重復(fù)實驗,避免一次隨機的實驗會發(fā)生偶然性。實驗結(jié)果如表1所示,表中分別顯示了4次實驗結(jié)果。
表1顯示了3種不同的噪聲對定位精度的影響,對于單個隱藏目標來說,加入噪聲比為0dB的噪聲,從實驗結(jié)果來看,深度定位誤差大概在1~5cm,從去噪后結(jié)果來看,定位誤差不同程度上減少了1~1.6cm;加入噪聲比為5dB噪聲時,從實驗結(jié)果來看,深度定位誤差大概在2~3cm,去噪后,定位誤差減少了1.5~1.7cm;加入噪聲比為10dB噪聲時,從實驗結(jié)果來看,深度定位誤差大概在1~2cm,去噪后,定位誤差減少了0.7~2cm;加入噪聲比為20dB噪聲時,從實驗 來看,深度定位誤差大概在0.6~1.5cm,去噪后,定位誤差減少了0.8cm左右。
但是從表1中也出現(xiàn)了去噪后誤差反而增加的現(xiàn)象,當噪聲比為0dB的第2次實驗中,深度定位誤差在未去噪前為0.4cm,去噪后定位誤差為0.7cm,誤差增加了0.3cm;當噪聲比為5dB的第3次實驗中,誤差增加了0.28cm;當噪聲比為10dB的第1次實驗中,誤差增加了0.6cm;當噪聲比為20dB的第3次實驗中,誤差增加了0.3cm;
從以上結(jié)果來看,說明了噪聲雖然對定位精度有影響,一般噪聲越大,定位精度越低;去噪后,定位誤差減少,但減少的值對深度定位的精度并不大(相對于隱藏目標的深度來說,隱藏目標的深度為122cm,而誤差減少的最大值為2cm);去噪后還會出現(xiàn)誤差增加的情況;從分析結(jié)果可以看出,噪聲對定位深度的影響并不大,也驗證了時延估計算法對非視域成像中單個隱藏目標的深度定位的有效性。
實驗二:對于兩個隱藏目標的定位,考察不同噪聲對定位精度的影響,分別添加噪聲比為0、5、10和20dB的噪聲,每種噪聲情況下進行3次實驗,實驗結(jié)果如表2所示。
從表2的實驗結(jié)果來看,對于兩個物體的定位結(jié)果與單個物體有很大差別,去噪后的數(shù)據(jù),有時候迭代不能收斂,未能定位深度;定位誤差也比單個隱藏目標更大。
當加入噪聲比為0dB噪聲時,未去噪的數(shù)據(jù)迭代都可以收斂,第一個隱藏目標的定位誤差大概在1~15cm;第二隱藏目標的定位誤差大概在7~15cm;去噪后的數(shù)據(jù)迭代有時不收斂,只能定位一個隱藏目標,定位誤差也沒有顯示出明顯減少的趨勢。
當加入噪聲比為5dB噪聲時,未去噪的數(shù)據(jù)迭代都可以收斂,第一個隱藏目標的定位誤差大概在6~11cm;第二隱藏目標的定位誤差大概在7~11cm;去噪后的數(shù)據(jù)迭代也出現(xiàn)無法定位的情況,定位誤差也沒有顯示出明顯減少的趨勢。
當加入噪聲比為10 dB噪聲時,未去噪的數(shù)據(jù)迭代都可以收斂,第一個隱藏目標的定位誤差大概在6~11cm;第二隱藏目標的定位誤差大概在8~15cm;去噪后的數(shù)據(jù)迭代大多數(shù)的實驗可以收斂,第3次實驗中有一個隱藏目標無法收斂,第一個隱藏目標的定位誤差大概在10~14cm;第二個隱藏目標的定位誤差大概在12~13cm,定位誤差也沒有顯示出明顯減少的趨勢。
當加入噪聲比為20dB噪聲時,多次實驗結(jié)果顯示,未去噪和去噪的數(shù)據(jù)的定位都能夠收斂,可以完成定位。并且從定位精度來看,未去噪和去噪的數(shù)據(jù)的定位精度也相差不多。第一個隱藏目標的定位誤差大概在6~9cm;第二個隱藏目標的定位誤差大概在9~12cm。
從表2的分析結(jié)果可以看出,噪聲對深度定位的誤差影響不大,且去噪后反而出現(xiàn)了不收斂,無法定位隱藏目標的情況,這是由于去噪時將信號中的有些主要信息濾掉了,使得隱藏目標的信息丟失,從而無法收斂,未能定位。
綜上兩組實驗結(jié)果來看,噪聲對隱藏目標的定位有一定的影響,但從深度定位誤差來看,影響并不大,說明本文提出時延估計方法具有抗噪聲的能力;對于兩個隱藏目標或多個隱藏目標,噪聲越大,誤差越大,當噪聲比達到20dB時,誤差就很小了,且距離擴散膜較遠的隱藏目標,定位誤差越小。
需要注意的是,雖然采用濾波操作可以對數(shù)據(jù)實現(xiàn)去噪,讓信號看上去感覺更加平滑,而且能夠明顯分辨的波峰,但實驗結(jié)果顯示,當噪聲較大時(如0dB和5dB),去噪會將隱藏目標的主要信息濾除掉,造成不收斂,無法定位的情況。
2.2 隱藏目標之間的距離對深度定位結(jié)果的影響
當對多個隱藏目標進行定位時,隱藏目標之間的距離也影響著定位結(jié)果,本節(jié)主要考察不同的距離對誤差的影響和能夠完成深度定位的隱藏目標之間的最小距離。
分別進行了3組實驗,實驗中激光光源脈沖為1ns,兩個隱藏目標之間的距離分別為164cm、130cm、100cm和90cm,第一個隱藏目標的位置固定,距離擴散膜122cm處;第二個隱藏目標的與擴散膜的距離分別為286cm、252cm、222cm和212cm,實驗結(jié)果如圖表3所示。
從表3的實驗結(jié)果來看,當兩個隱藏目標的距離為164cm時,第一個隱藏目標的定位誤差大概在0~5cm;第二個隱藏目標的定位誤差大概在1~4cm。兩個隱藏目標定位精度都比較高,誤差較小。當兩個隱藏目標的距離為130cm時,第一個隱藏目標的定位誤差大概在4~9cm;第二個隱藏目標的定位誤差大概在1~2cm。第二個隱藏目標的定位誤差較小,第一個隱藏目標的定位誤差增大。當兩個隱藏目標的距離為100cm時,第一個隱藏目標的定位誤差大概在5~11cm;第二個隱藏目標的定位誤差大概在8~14cm。兩個隱藏目標的定位誤差都在增加。當兩個隱藏目標的距離為90cm時,第一個隱藏目標的定位誤差大概在3~10cm,已經(jīng)無法定位第二個隱藏目標。說明能夠定位兩個隱藏目標的最小距離在100cm,當距離縮小到90cm時,不能同時定位兩個隱藏目標。
從表3實驗結(jié)果可以看出,當兩個物體距離不斷變小時,深度定位誤差也在不斷增大,當兩個隱藏目標的距離160cm左右時,誤差最?。ú怀^5cm),當兩個隱藏目標的距離為90cm時,則無法定位第二個隱藏目標,只能定位第一個隱藏目標,且誤差也較大(誤差為2.9~9.8cm)。
3 結(jié)語
非視域成像中隱藏目標的深度定位,是圖像重建的重要步驟,能夠提高圖像重建的精度和速度,本文通過兩組不同實驗,首先考察了不同噪聲情況下單個隱藏目標和兩個隱藏目標的深度定位情況,實驗結(jié)果表明噪聲對深度定位的影響并不大,因此在深度定位時,可以不進行濾波;然后考察了兩個隱藏目標之間不同距離的深度定位情況,實驗結(jié)果表明距離對隱藏目標的深度定位影響較大,距離越小,定位誤差越大,兩個隱藏目標的最小距離約為100cm,如果兩個隱藏目標的距離較小,則需要選擇更快的激光光源脈沖(如皮秒級或飛秒級)。實驗結(jié)果驗證了本文提出的時延估計算法對非視域成像中隱藏目標的深度定位的有效性。
參考文獻
[1] Velten A, Willwacher T, Gupta O, et al. Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging[J]. Nat Commun, 2012, 3(1): 4705-4710.
[2] Faccio, D, Velten, A & Wetzstein, G. Non-line-of-sight imaging[J]. Nature. Review.Physics.2020, 2:318–327.
[3] Rapp J , Saunders C , Tachella J , et al. Seeing around corners with edge-resolved transient imaging[J]. Nature. Communication. 2020,11:5929–5938.
[4] Xuefeng WANG, Zihao ZhANG,Xingsu ChEN,et al. Research on 3D objects reconstruction method of none-line-of sight with sparse angle data [J]. Laser & Infrared, 2022,52(03):451-457.
[5] 楊坤德.水下聲源定位理論與技術(shù)[M]. 北京:電子工業(yè)出版社,2019.
[6] 王銘喆,鄒捷源,張國才等.基于GCC算法的聲源識別與三維空間實時定位[J].物聯(lián)網(wǎng)技術(shù),2023,13(10):42-44,48.
[7] 趙林軍,張海林,王方.超寬帶信號數(shù)字預(yù)失真時延補償算法[J].無線電工程,2023,53(10):2277-2285.
[8] 徐柯妮. 基于時延估計的海底電力電纜局部放電點定位研究[D].上海:上海電機學(xué)院,2023.
[9] 李大華,孔凌風(fēng),高強,等.基于三次相關(guān)改進的廣義互相關(guān)時延估計法在局部放電超聲波定位中的研究[J].聲學(xué)技術(shù),2022,41(5):774-781.
[10] 王陽,竇甲臣,費春國,等.基于短時能量時延估計的地震動目標定位方法[J].振動與沖擊,2020,39(24):164-170.
[11] 梁穎蕙. 基于自適應(yīng)內(nèi)??刂破鲿r延估計算法的研究與實現(xiàn)[D].合肥:合肥工業(yè)大學(xué),2022.