王康富 張 鵬 韓國(guó)棟 陸 瑤

武漢理工大學(xué)交通與物流工程學(xué)院 武漢 430063

0 引言

在港口散貨碼頭的物料運(yùn)輸過(guò)程中，帶式輸送機(jī)具備適應(yīng)諸如煤炭、糧食和礦石等各種類型和體積的物料運(yùn)輸需求的能力。帶式輸送機(jī)在港口物流系統(tǒng)中起著極為重要的作用，對(duì)于提升港口的經(jīng)濟(jì)效益具有重要的意義[1，2]。港口通常會(huì)根據(jù)物料的體積和質(zhì)量來(lái)制定恰當(dāng)?shù)倪\(yùn)輸設(shè)備和方案以確保物料的安全、高效運(yùn)輸。物料的運(yùn)輸體積則作為評(píng)估港口經(jīng)濟(jì)效益的重要指標(biāo)[3]，直接影響著港口的運(yùn)輸能力和效率。

帶式輸送機(jī)物料體積的傳統(tǒng)測(cè)量方法主要有接觸式測(cè)量法和非接觸測(cè)量法2 種。接觸式測(cè)量法需要使用專業(yè)儀器直接接觸被測(cè)物體，通過(guò)直接測(cè)量物體的尺寸、形狀、表面紋理等信息。該方法可以得到較準(zhǔn)確的深度信息，但可能會(huì)損壞被測(cè)物體，并且在一些環(huán)境復(fù)雜的情況下比較困難[4]；非接觸測(cè)量法通過(guò)獲得輸送帶物料表面坐標(biāo)信息計(jì)算物料體積，根據(jù)數(shù)據(jù)集獲取原理分為激光測(cè)量法[5]和攝影測(cè)量法[6]。傳統(tǒng)的物料體積測(cè)量方法具有局限性，難以到達(dá)高精度、低成本的要求[7]。機(jī)器視覺(jué)技術(shù)[8]具有成本低、操作簡(jiǎn)單、易普及等的優(yōu)點(diǎn)，雙目視覺(jué)技術(shù)[9]和三維重建技術(shù)是機(jī)器視覺(jué)領(lǐng)域中的研究熱點(diǎn)，通過(guò)視覺(jué)算法構(gòu)建物體的三維模型，實(shí)現(xiàn)對(duì)物體形狀的直觀展示、尺寸以及表面紋理等信息量化計(jì)算。本文擬采用雙目視覺(jué)技術(shù)結(jié)合三維點(diǎn)云重建技術(shù)實(shí)現(xiàn)對(duì)帶式輸送機(jī)物料的體積高精度測(cè)量[10-12]。

針對(duì)現(xiàn)有的接觸式人工測(cè)量方法精度低而非接觸式激光測(cè)量方法維護(hù)成本高、推廣難的問(wèn)題，本文基于Census 變換進(jìn)行圖像的立體匹配，利用三角測(cè)距原理計(jì)算得到三維坐標(biāo)信息，可視化后得三維重建的點(diǎn)云模型。最后對(duì)點(diǎn)云模型信進(jìn)行分割，提取目標(biāo)測(cè)量區(qū)域，并依據(jù)測(cè)量區(qū)域像素坐標(biāo)對(duì)應(yīng)的實(shí)際三維坐標(biāo)值進(jìn)行后續(xù)的物料體積計(jì)算，以達(dá)到提高體積計(jì)算精度的目的。

1 雙目視覺(jué)及Census 變換

1.1 雙目視覺(jué)技術(shù)

如圖1 所示，設(shè)左攝像機(jī)坐標(biāo)系O-xyz與世界坐標(biāo)系重合，原點(diǎn)O即為光心，X1Y1Z1為圖像坐標(biāo)系，有效焦距為f1，(u01，v01)為像平面中心；O2-x2y2z2為攝像機(jī)坐標(biāo)系，O2X2Y2為右攝像機(jī)視平面上的圖像坐標(biāo)，有效焦距為f2， (u02，v02)為右攝像機(jī)像平面中心，攝像機(jī)模型均為針孔模型，其變換公式為

圖1 雙立體視覺(jué)模型

根據(jù)透視投影變換得二者的坐標(biāo)轉(zhuǎn)換公式為

設(shè)坐標(biāo)系O-xyz與坐標(biāo)系O2-x2y2z2的空間位置為

式中：R為2 坐標(biāo)系的旋轉(zhuǎn)矩陣，T為2 個(gè)坐標(biāo)系的平移向量。

將式（4）齊次化可得

式（2）和式（3）是2個(gè)相互獨(dú)立的方程式，通過(guò)式（6）可將其聯(lián)系起來(lái)。可得已知空間任意點(diǎn)P在2 幅圖像中的投影坐標(biāo)P1P2，即可確定P的位置坐標(biāo)，故可通過(guò)以上方程式聯(lián)立求解點(diǎn)P，空間點(diǎn)與攝像機(jī)像素點(diǎn)的對(duì)應(yīng)關(guān)系為

則有其三維縱坐標(biāo)的表達(dá)式為

即對(duì)一般三維模型有

1.2 Census 變換

Census 變換[13]首先需要定義一個(gè)鄰域窗口，可以為任意大小，通常選擇一個(gè)較小的窗口（長(zhǎng)為n，寬為m的矩形）。然后對(duì)于窗口內(nèi)的每個(gè)像素，將其與窗口中心的像素進(jìn)行比較。如果該像素的灰度值大于中心像素的灰度值，則將該像素的比特位設(shè)為1，否則設(shè)置為0。最后將每個(gè)像素的比特位串連接起來(lái)，生成一個(gè)二進(jìn)制比特串作為該像素的Census 特征。將位字符串的值作為中心像素的Census 變換值（Cs），其表達(dá)式為

式中：n′、m′分別為不大于n、m的一半的最大整數(shù)，? 為比特位的逐位連接運(yùn)算。

Census 算法的流程如圖2 所示。鑒于Census 算法采用了非參數(shù)變換的匹配代價(jià)計(jì)算方式，具備減少相機(jī)增益帶來(lái)的影響、易于硬件實(shí)現(xiàn)等諸多優(yōu)勢(shì)。圖3a、圖3b 為左右原圖，基于Census 變換的匹配結(jié)果如圖3c 所示，將其與Middlebury 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集中真實(shí)視差圖3d 比對(duì)得到圖像誤匹配率。

圖2 Census 算法的流程

圖3 Census 算法測(cè)試視差圖與標(biāo)準(zhǔn)視差圖

根據(jù)Middlebury 標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集視差圖的比對(duì)結(jié)果，取最為常用的誤差閾值δd=1，評(píng)價(jià)立體匹配算法性能的視差不連續(xù)區(qū)域（Disc）誤匹配率和全部區(qū)域（All）誤匹配率2 種重要指標(biāo)的計(jì)算結(jié)果為5.33%、6.61%?？傻闷淇傮w匹配精度為93.39%，具有較高匹配精度。

2 體積測(cè)量方法

2.1 傳統(tǒng)體積計(jì)算方法

傳統(tǒng)體積計(jì)算原理如圖4 所示，在圖4a 物料表面的點(diǎn)云圖上取3 個(gè)點(diǎn)組成一個(gè)三角形P1P2P3，將該三角形投影至Z=0 平面上，形成圖4b 所示的三棱柱。具體計(jì)算過(guò)程為：首先將三維重建得到的點(diǎn)云模型與Z=0 平面進(jìn)行投影，形成一個(gè)閉合的體。然后將投影后的平面進(jìn)行三角剖分，得到n個(gè)三角形，每個(gè)三角形與其在Z=0 平面上的投影點(diǎn)組成一個(gè)小三棱柱?？梢酝ㄟ^(guò)式（12）計(jì)算每個(gè)小三棱柱的體積，然后采用式（13）將所有小三棱柱的體積相加，可得物料的整體體積。體積計(jì)算步驟為：

圖4 物料體積計(jì)算原理圖

1）根據(jù)△P1P2P3頂點(diǎn)二維坐標(biāo)計(jì)算其面積sΔi；

2）取△P1P2P3縱坐標(biāo)的均值作為三棱柱的高，可得三棱柱體積計(jì)算公式為

3）將步驟2）中所有小三棱柱的體積求和，可得物料的整體體積。

2.2 本文改進(jìn)的體積計(jì)算方法

由步驟1）可知，傳統(tǒng)的體積計(jì)算方法采用三角剖分后每一個(gè)小三棱柱底面三角形的縱坐標(biāo)的平均值作為計(jì)算每個(gè)小三棱柱體積的高，最后將所有小三棱柱的體積求和得到物料的整體體積?？梢?jiàn)其實(shí)際上是一種估算方法，具有一定誤差。

針對(duì)上述問(wèn)題，本文基于傳統(tǒng)的投影法[14]，將每個(gè)像素點(diǎn)的縱坐標(biāo)值代替?zhèn)鹘y(tǒng)三角剖分時(shí)三角形縱坐標(biāo)的平均值作為體積計(jì)算的高，是一種精確計(jì)算方法，避免了物料體積計(jì)算中因坐標(biāo)計(jì)算產(chǎn)生的系統(tǒng)誤差。

首先計(jì)算物料點(diǎn)云模型表面每一個(gè)像素點(diǎn)的縱坐標(biāo)值作為體積計(jì)算實(shí)際的高，進(jìn)而計(jì)算得到每個(gè)像素點(diǎn)的像素體積。然后根據(jù)像素當(dāng)量值計(jì)算對(duì)應(yīng)的物料實(shí)際體積。最后將所有像素值對(duì)應(yīng)的實(shí)際體積求和，即可得物料整體的體積。改進(jìn)后體積計(jì)算方法的實(shí)施步驟為：

1）基于視差值對(duì)測(cè)量區(qū)域內(nèi)的每個(gè)像素點(diǎn)進(jìn)行分類。對(duì)于每個(gè)視差值，統(tǒng)計(jì)出測(cè)量區(qū)域中具有該視差值的像素點(diǎn)個(gè)數(shù)Ni，然后計(jì)算出該視差值下像素點(diǎn)數(shù)占整幅圖像素點(diǎn)Q的比值si。該過(guò)程表示為

2）物料表面像素點(diǎn)高的計(jì)算。雙目相機(jī)的安裝位置到輸送帶表面的距離記為e，物料表面像素點(diǎn)高di為

式中：zi為像素點(diǎn)對(duì)應(yīng)的深度值。

將統(tǒng)計(jì)的像素點(diǎn)按照視差值分為n類，可得具有相同視差值的像素點(diǎn)的高相等。靜態(tài)的物料和空載輸送帶的體積可表示為

式中：w為帶式輸送機(jī)的輸送帶寬度，l為雙目相機(jī)拍攝輸送帶的長(zhǎng)度。

3 圖像的三維重建

根據(jù)前文所述基于Census 變換進(jìn)行視差計(jì)算所得的視差信息、特征點(diǎn)的像素坐標(biāo)和視差信息，計(jì)算歸一化平面上的坐標(biāo)對(duì)應(yīng)的空間點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。將相機(jī)坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)，得到場(chǎng)景的三維點(diǎn)云信息，對(duì)這些數(shù)據(jù)進(jìn)行可視化，生成點(diǎn)云模型。測(cè)量區(qū)域圖像中各點(diǎn)三維坐標(biāo)信息的計(jì)算過(guò)程為：

1）深度信息計(jì)算

根據(jù)三角測(cè)量原理，可得視差信息和深度信息之間的關(guān)系

2）三維信息計(jì)算

設(shè)雙目相機(jī)采集的左右圖像中P1(u1，v1)和P2(u2，v2)2 點(diǎn)，利用重投影法的方法將相機(jī)坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)。則任意點(diǎn)P（X，Y，Z）的三維坐標(biāo)通過(guò)式計(jì)算可得

式中：fx、fy為雙目相機(jī)參數(shù)，B為相機(jī)的基線距離，f為相機(jī)焦距，d為視差，Z為深度。

若在雙目相機(jī)拍攝的左右圖片中已知2 個(gè)對(duì)應(yīng)的點(diǎn)、標(biāo)定好的雙目相機(jī)參數(shù)、基線距離和視差，即可計(jì)算出所有點(diǎn)的三維信息。

針對(duì)計(jì)算得到三維信息存在點(diǎn)云不連續(xù)和存在噪聲會(huì)導(dǎo)致可視化生成的三維點(diǎn)云模型存在較大的誤差問(wèn)題，本文對(duì)物料點(diǎn)云三維模型的獲取流程進(jìn)行了優(yōu)化。其具體過(guò)程為：1）三維坐標(biāo)信息的計(jì)算；2）測(cè)量區(qū)域點(diǎn)云分割[15]；3）三維坐標(biāo)信息的批量降噪；4）點(diǎn)云網(wǎng)格化；5）點(diǎn)云三維重建。流程如圖5 所示。

圖5 三維重建流程

在物料體積計(jì)算中，利用點(diǎn)云分割的思想提取目標(biāo)區(qū)域。設(shè)置參考體積數(shù)值，即空載場(chǎng)景體積，利用滿載體積減去空載體積，進(jìn)而求取堆料的體積。物料體積計(jì)算流程如圖6 所示。

圖6 物料體積測(cè)量法

4 試驗(yàn)及結(jié)果分析

試驗(yàn)系統(tǒng)包括雙目攝像機(jī)、PC 電腦、3DMVS 軟件，電子秤，實(shí)驗(yàn)用帶式輸送機(jī)。選取煤料一般粒度≤50 mm 的精煤作為試驗(yàn)物料，其密度ρ=1.3 g/cm3。搭建如圖7 所示的帶式輸送機(jī)物料體積計(jì)算試驗(yàn)實(shí)驗(yàn)平臺(tái)。

圖7 物料體積計(jì)算試驗(yàn)平臺(tái)

為了驗(yàn)證改進(jìn)以后的體積計(jì)算方法的可行性設(shè)計(jì)了試驗(yàn)。將2 個(gè)雙目攝像機(jī)分別安裝在帶式輸送機(jī)轉(zhuǎn)載點(diǎn)的上層輸送帶與下層輸送帶的上方，采集試驗(yàn)用的2 組上層空載輸送帶，記為空載場(chǎng)景1、2，左右圖像如圖8a、圖8b 所示，2 組下層空載輸送帶記為空載場(chǎng)景3、4，左右圖像如圖8c、圖8d 所示。

圖8 體積計(jì)算試驗(yàn)空載場(chǎng)景初始圖

在上述試驗(yàn)用的空載輸送帶相對(duì)應(yīng)的上層輸送帶表面設(shè)置2 個(gè)煤堆測(cè)量場(chǎng)景并記為滿載場(chǎng)景A、B；下層輸送帶設(shè)置2 個(gè)煤堆測(cè)量場(chǎng)景記為滿載場(chǎng)景C、D，共4 個(gè)測(cè)量場(chǎng)景，如見(jiàn)圖9 所示。

圖9 體積計(jì)算試驗(yàn)滿載場(chǎng)景初始圖

在試驗(yàn)前，通過(guò)人工稱重得4 個(gè)煤堆的質(zhì)量作為前置條件，分別為6 700 g、7 000 g、7 300 g、7 600 g。將圖7 采集的圖像數(shù)據(jù)集進(jìn)行預(yù)處理，立體匹配，點(diǎn)云可視化可得上層輸送帶與下層輸送帶的4 個(gè)空載場(chǎng)景三維點(diǎn)云模型如圖10 所示，4 個(gè)滿載場(chǎng)景的三維點(diǎn)云模型如圖11 所示。

圖10 可視化后空載點(diǎn)云模型

圖11 可視化后滿載點(diǎn)云模型

點(diǎn)云分割處理，三維重建，得到上層輸送帶與下層輸送帶的4 個(gè)空載場(chǎng)景三維重建模型如圖12 所示，4個(gè)滿載場(chǎng)景的三維重建結(jié)果如圖13 所示。由圖12、圖13 可得，在進(jìn)行點(diǎn)云批量降噪處理和點(diǎn)云分割后，目標(biāo)測(cè)量區(qū)域更加清晰明確，大大減少了冗余的點(diǎn)云信息，提高了后續(xù)三維重建的模型的準(zhǔn)確性。

圖12 空載三維重建點(diǎn)云模型

圖13 滿載三維重建點(diǎn)云模型

根據(jù)三維重建點(diǎn)云模型并結(jié)合式（18）可得煤堆的三維坐標(biāo)，部分坐標(biāo)如表1 所示。采用前述傳統(tǒng)的體積測(cè)量方法和改進(jìn)后的體積測(cè)量方法分別三維坐標(biāo)進(jìn)行體積計(jì)算。

表1 三維坐標(biāo)計(jì)算結(jié)果

表2 空載體積測(cè)量結(jié)果 cm3

再根據(jù)V物料=V滿載-V空載，計(jì)算得到帶式輸送機(jī)滿載時(shí)物料的實(shí)際體積，如表3 所示，為不同場(chǎng)景下，體積計(jì)算方法改進(jìn)前后煤料體積計(jì)算結(jié)果。根據(jù)質(zhì)量=密度×體積，可計(jì)算得到4個(gè)場(chǎng)景下改進(jìn)前后煤料的質(zhì)量。

表3 滿載體積測(cè)量結(jié)果 cm3

如表4 所示質(zhì)量為4 個(gè)場(chǎng)景A、B、C、D 使用不同體積計(jì)算方法得到的結(jié)果，其中改進(jìn)前的絕對(duì)誤差分別為596.31 g、616.06 g、766.57 g、699.23 g；改進(jìn)后本文的絕對(duì)誤差為301.52 g、273.48 g、313.95 g、-319.19 g。

表4 4 個(gè)場(chǎng)景質(zhì)量測(cè)量結(jié)果和相對(duì)誤差

由此可得，改進(jìn)后的體積計(jì)算方法減小了因傳統(tǒng)的估算方法帶來(lái)的計(jì)算誤差，使計(jì)算結(jié)果更加準(zhǔn)確。將絕對(duì)誤差與人工稱重得實(shí)際煤料質(zhì)量對(duì)比，可計(jì)算得其相對(duì)誤差如表4 所示。

表4 所示4 個(gè)不同場(chǎng)景下人工稱重、改進(jìn)前和本文測(cè)量結(jié)果的相對(duì)誤差，數(shù)據(jù)分別為帶式輸送機(jī)轉(zhuǎn)載點(diǎn)上層輸送帶與下層輸送帶的各2 組雙目滿載圖像。其中，改進(jìn)前場(chǎng)景A、場(chǎng)景B、場(chǎng)景C 和場(chǎng)景D 的相對(duì)誤差分別為8.9%、8.8%、10.5%和9.2%。改進(jìn)后場(chǎng)景A、場(chǎng)景B、場(chǎng)景C 和場(chǎng)景D 的絕對(duì)誤差分別為4.5%、3.9%、4.3%、4.2%。結(jié)果顯示，改進(jìn)前的相對(duì)誤差均在8%以上，改進(jìn)后的相對(duì)誤差均低于5%，具有更高的精度。

5 結(jié)語(yǔ)

1）為了解決傳統(tǒng)表面剖分體積測(cè)量法精度不足，激光測(cè)量法維護(hù)成本高且推廣難的問(wèn)題，本文基于雙目立體視覺(jué)技術(shù)和三維重建技術(shù)，將每一個(gè)像素點(diǎn)的縱坐標(biāo)值代替?zhèn)鹘y(tǒng)三角剖分時(shí)三角形縱坐標(biāo)的平均值作為體積計(jì)算的高，實(shí)現(xiàn)了帶式輸送機(jī)物料的非接觸體積高精度測(cè)量。體積測(cè)量相對(duì)誤差在5%以下，可見(jiàn)該改進(jìn)計(jì)算方法具有一定的可行性和實(shí)用價(jià)值。

2）為了解決帶式輸送機(jī)物料體積計(jì)算時(shí)點(diǎn)云模型存在噪聲、三維信息存在因點(diǎn)云不連續(xù)而導(dǎo)致可視化生成的三維點(diǎn)云模型存在較大誤差的問(wèn)題，本文分割了測(cè)量區(qū)域的三維點(diǎn)云模型，對(duì)三維坐標(biāo)信息進(jìn)行了批量降噪，并將點(diǎn)云網(wǎng)格化，提升了后續(xù)三維重建模型的準(zhǔn)確性。