汪心悅， 喬鐵柱， 龐宇松， 閻高偉

(1.太原理工大學(xué) 新型傳感器與智能控制教育部重點實驗室， 山西 太原 030024； 2.太原理工大學(xué) 物理與光電工程學(xué)院， 山西 太原 030024； 3.代爾夫特理工大學(xué) 機械、海事和材料工程學(xué)院， 荷蘭 代爾夫特 2628 CD； 4.太原理工大學(xué) 電氣與動力工程學(xué)院， 山西 太原 030024)

0 引言

智慧礦山建設(shè)是實現(xiàn)煤炭工業(yè)高質(zhì)量發(fā)展的重要保障。在智慧礦山各環(huán)節(jié)中，智能生產(chǎn)、智能運輸及智能調(diào)度管理等環(huán)節(jié)都需要煤流數(shù)據(jù)的支持[1]。因此，輸送帶煤流檢測問題十分重要。

帶式輸送機是主要的煤炭運輸設(shè)備[2]。根據(jù)計量原理不同，傳統(tǒng)煤流檢測裝置主要分為核子膠帶秤[3]和電子膠帶秤[4]。核子膠帶秤的放射源在使用和存儲時存在一定的安全和環(huán)保隱患；電子膠帶秤屬于接觸式檢測裝置，檢測精度易受輸送帶張力、剛度等因素的影響。近年來，非接觸式檢測方法在煤流檢測領(lǐng)域得到廣泛研究和應(yīng)用。N. M. Mihut[5]設(shè)計了一種基于超聲波傳感器的輸送帶物料運輸流量測量系統(tǒng)，但超聲波測距響應(yīng)速度慢，且?guī)捷斔蜋C高速運行時測量誤差較大。李萍等[6]基于線激光條紋實現(xiàn)帶送煤炭體積測量，該方法采集區(qū)域不均勻，測量誤差較大。代偉等[7]采用雙目視覺方法獲取煤料圖像各點深度信息，基于煤量計算公式實現(xiàn)煤流檢測，但雙目視覺系統(tǒng)立體匹配計算成本高、實時性差，另外井下環(huán)境光照條件復(fù)雜、粉塵較大，且煤料與輸送帶顏色相近，均會影響檢測效果。

基于飛行時間(Time-of-Flight，TOF)測距原理的相機[8-9]可直接獲得均勻的場景深度信息和強度信息，測量效果幾乎不受環(huán)境光影響[10]，且受物體表面灰度特性影響較小[11-12]。然而，TOF相機因采用主動紅外成像機制，獲得的深度圖像在深度不連續(xù)處(即物體邊緣)存在一些飛行像素噪聲與多徑誤差噪聲[13]，造成邊緣信息錯誤，無法準(zhǔn)確表示物體邊緣的深度值。此外，受物體材質(zhì)、拍攝角度和粉塵等影響，深度圖像會包含一些無深度數(shù)據(jù)的空洞和脈沖噪聲[14]。劉嬌麗等[15]、J. Jung等[16]提出了不同的深度圖像修復(fù)算法，但難以兼顧去噪和邊緣特征保持。

本文采用TOF相機采集輸送帶運煤圖像，根據(jù)TOF深度圖像和強度圖像數(shù)據(jù)特點，提出了一種基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法，并通過煤料運輸實驗驗證了該方法對煤流檢測的精度。

1 輸送帶煤流檢測方法原理

基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法主要包括TOF圖像采集、煤料區(qū)域識別、強度圖像引導(dǎo)的深度圖像修復(fù)、煤流計算等，如圖1所示。煤料區(qū)域識別是將采集的TOF圖像均衡化后，采用幀差法和邊界跟隨算法去除背景噪聲。深度圖像修復(fù)基于Canny邊緣檢測法檢測深度圖像和強度圖像邊緣并尋找相似邊緣，采用強度圖像引導(dǎo)的深度圖像修復(fù)算法對深度圖像邊緣進行校正，從而獲得高精度的深度圖像。煤流計算通過建立煤料體積計算模型實現(xiàn)。

圖1 輸送帶煤流檢測方法原理Fig.1 Principle of coal flow detection method of conveyor belt

2 煤料區(qū)域識別

為了簡化后續(xù)圖像邊緣修復(fù)和煤流計算，對圖像中感興趣區(qū)域(Region of Interest，ROI)即煤料區(qū)域進行識別。對獲取的TOF深度圖像進行直方圖均衡化處理，以增強圖像對比度。將當(dāng)前深度圖像fd與輸送帶空載時采集的深度圖像f0逐像素相減，得到深度差值圖像：

D=|fd-f0|

(1)

采用邊界跟隨算法檢測深度差值圖像最外層邊界，壓縮水平、垂直和對角線方向的像素點，只保存相應(yīng)方向的終點坐標(biāo)，即保留所有輪廓拐點處的像素點，拐點之間直線段上的像素點舍棄，從而加快運算速度。將邊界內(nèi)面積小于100像素的區(qū)域視為噪聲并去除，得到ROI。

3 強度圖像引導(dǎo)的深度圖像修復(fù)

TOF深度圖像中深度值不連續(xù)區(qū)域往往對應(yīng)強度圖像中灰度值不連續(xù)區(qū)域，因此提出一種強度圖像引導(dǎo)的深度圖像修復(fù)算法(圖2)，利用強度圖像中有效的邊緣信息對深度圖像中邊緣處的不可靠數(shù)據(jù)進行修復(fù)。

圖2 強度圖像引導(dǎo)的深度圖像修復(fù)算法原理Fig.2 Principle of intensity image-guided depth image restoration algorithm

基于Canny邊緣檢測算法分別獲取當(dāng)前深度圖像和強度圖像的邊緣信息，采用雙閾值識別圖像中的強邊緣和弱邊緣，并結(jié)合強弱邊緣的位置關(guān)系，得出圖像整體邊緣信息。之后將深度圖像的邊緣信息投影至強度圖像，對投影后的深度圖像邊緣依次進行掃描，若某邊緣點的8鄰域范圍內(nèi)存在強度圖像邊緣點，則將該深度圖像邊緣點判定為相似度大的邊緣點。將深度圖像上所有相似度大且與強度圖像邊緣點不重合的邊緣點放入候選集合R中，將深度圖像上相似度大的邊緣點8鄰域范圍內(nèi)的強度圖像邊緣點放入候選集合I中，得到深度圖像和強度圖像的相似邊緣。

利用強度圖像邊緣校正深度圖像邊緣的原理如圖3所示。將強度圖像邊緣點投影至深度圖像中，對集合I中的邊緣點在8鄰域范圍內(nèi)進行掃描，若集合I中某邊緣點A在對應(yīng)深度圖像中相同位置的點A′的8鄰域范圍內(nèi)存在集合R中的點，則將這些點去除，并將點A′處的深度值fA′由該點8鄰域范圍內(nèi)所有邊緣點深度值的中值所替代；若點A′的8鄰域范圍內(nèi)不存在集合R中的點，則點A′處的深度值fA′不變。

圖3 深度圖像邊緣校正原理Fig.3 Principle of depth image edge correction

深度圖像邊緣校正過程可表示為

(2)

式中：N8A′為點A′的8鄰域范圍；MA′為點A′的8鄰域范圍內(nèi)所有邊緣點深度值的中值。

針對深度圖像上的空洞及相似邊緣校正后在8鄰域范圍內(nèi)留下的空缺，采用基于Navier-Stokes方程的圖像修復(fù)算法，根據(jù)待修復(fù)區(qū)域周圍的像素值及像素間的結(jié)構(gòu)關(guān)系，估算空缺區(qū)域可能的像素排列，從而修復(fù)圖像非邊緣部分。針對脈沖噪聲，選用尺寸為3×3的中值濾波器濾波，以深度圖像深度值的中值作為濾波器中心像素值。完成上述操作后，得到高精度深度圖像。

4 煤流計算

基于高精度深度圖像，對煤料進行像素級分割，建立煤料體積計算模型，得出當(dāng)前區(qū)域的煤料體積，再根據(jù)當(dāng)前輸送帶速度計算煤流，如圖4所示。OW為TOF相機的焦點，也是世界坐標(biāo)系OWXWYWZW的原點；H為TOF相機距輸送帶的垂直距離；α，β分別為TOF相機在XW，YW方向的視野范圍；v為輸送帶沿XW方向的實時速度；L，K分別為TOF相機所采集圖像在XW，YW方向的實際長度。

圖4 煤流計算原理Fig.4 Principle of coal flow calculation

將輸送帶空載時的高精度深度圖像F0與當(dāng)前高精度深度圖像Fd逐像素相減并乘以轉(zhuǎn)換系數(shù)δ(深度圖像像素值與實際深度的轉(zhuǎn)換比例)，得到當(dāng)前ROI內(nèi)煤料的實際高度圖像：

h=δ|Fd-F0|

(3)

h上任意位置(x,y)處像素點的值h(x,y)代表該點對應(yīng)的煤料實際高度。計算Fd中ROI表示的實際面積：

(4)

式中：SD為Fd所表示區(qū)域的實際面積；m為每幀深度圖像的像素數(shù)；n為當(dāng)前ROI內(nèi)的像素數(shù)。

(5)

當(dāng)前ROI的煤料總體積可近似轉(zhuǎn)換為單位像素表示的體積積分，通過對煤料進行像素級分割并積分得到。積分原理如圖5所示。將煤料體積近似劃分為多個底面積相同的立方體，每個立方體與深度圖像的像素點一一對應(yīng)。

(a) 俯視

(b) 俯視分割

(c) 側(cè)視

(d) 側(cè)視分割

當(dāng)前ROI內(nèi)的煤料體積為

(6)

當(dāng)前煤流為

(7)

5 實驗與結(jié)果分析

實驗環(huán)境如圖6所示。采用Swift-G TOF相機(參數(shù)見表1)采集煤料深度圖像和強度圖像。將TOF相機安裝在輸送帶上方，使其軸線垂直向下。考慮到測量范圍，相機安裝高度距輸送帶上表面1.08 m。將實驗采集的圖像以數(shù)字方式傳輸至計算機?；赩isual Studio 2019、開源計算機視覺庫OpenCV 和Windows10操作系統(tǒng)對輸送帶煤流檢測方法進行開發(fā)和實驗。

圖6 實驗環(huán)境Fig.6 Laboratory environment

參數(shù)值分辨率/像素640×480工作范圍/m0.5～6視野范圍/(°×°)43×33照明內(nèi)置7個LED@850 nm運行溫度/℃-20～50最大幀率/(幀·s-1)44

實驗采用大小不等的煤塊。TOF相機以10幀/s的速度采集輸送帶運煤圖像。輸送帶當(dāng)前速度由測速裝置獲得。深度圖像煤料區(qū)域識別如圖7所示，其中a-c分別為均衡化、去除背景噪聲、采用邊界跟隨算法處理后的深度圖像，d為煤料ROI區(qū)域。

圖7 深度圖像煤料區(qū)域識別Fig.7 Recognition of coal area in depth image

強度圖像引導(dǎo)的深度圖像修復(fù)如圖8所示。a，b分別為均衡化、邊緣檢測后的深度圖像；c為深度圖像與強度圖像邊緣相似度大的區(qū)域；d,e分別為均衡化、邊緣檢測后的強度圖像；f為將深度圖像ROI修復(fù)并均衡化后的結(jié)果。

圖8 強度圖像引導(dǎo)的深度圖像修復(fù)Fig.8 Intensity image-guided depth image restoration

為便于驗證煤流檢測效果，將煤流轉(zhuǎn)換為一段時間內(nèi)的煤料總體積：

(8)

式中：s為TOF相機幀率；k為TOF相機在煤料經(jīng)過時段所采集深度圖像的總幀數(shù)；Gi為根據(jù)TOF相機采集的第i幀深度圖像計算得到的瞬時煤流。

為了驗證本文方法的準(zhǔn)確性和精度，將煤料分為體積不同的3組，分別在0.5，1.0，1.5，2.0 m/s輸送帶速度下檢測煤料體積，每次實驗重復(fù)10次，取平均值，結(jié)果見表2。采用平均誤差表示檢測準(zhǔn)確度，采用標(biāo)準(zhǔn)差表示檢測精度。

表2 煤料體積檢測結(jié)果Table 2 Detection results of coal volume

從表2可看出：未采用深度圖像修復(fù)時，煤料體積最大檢測誤差為5.73%，最大標(biāo)準(zhǔn)差為3.783，表明基于TOF相機的輸送帶煤流檢測方法可行；采用強度圖像引導(dǎo)的深度圖像修復(fù)算法后，煤料體積最大檢測誤差為3.78%，最大標(biāo)準(zhǔn)差為0.491，提高了檢測準(zhǔn)確性與精度；隨著輸送帶上煤料體積增大，檢測誤差略有減小。實驗中所有數(shù)據(jù)的平均處理時間為83 ms?？梢?，本文方法滿足實際生產(chǎn)中對煤流檢測準(zhǔn)確性、精度及實時性要求。

6 結(jié)論

(1) 提出了一種基于TOF深度圖像修復(fù)的輸送帶煤流檢測方法:采用幀差法和邊界跟隨算法識別煤料區(qū)域；針對深度圖像邊緣信息不準(zhǔn)確問題，提出了強度圖像引導(dǎo)的深度圖像修復(fù)算法，利用強度圖像中的有效邊緣信息對深度圖像中邊緣處的不可靠數(shù)據(jù)進行修復(fù)；結(jié)合TOF深度圖像特點，通過建立煤料體積計算模型計算煤流。

(2) 實驗結(jié)果表明，該方法對煤料體積的檢測誤差不超過3.78%，標(biāo)準(zhǔn)差不超過0.491，數(shù)據(jù)平均處理時間為83 ms，滿足實際生產(chǎn)要求。

(3) 下一步將重點研究如何減少因帶式輸送機運行抖動導(dǎo)致的檢測誤差。