国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于鄰域特征編碼優(yōu)化的液壓支架激光點(diǎn)云分割算法

2024-10-01 00:00:00王俊甫薛曉杰楊藝
工礦自動(dòng)化 2024年7期

摘要:受井下煤塵和易被遮擋的影響,液壓支架激光點(diǎn)云數(shù)據(jù)容易出現(xiàn)殘缺?,F(xiàn)有點(diǎn)云分割算法難以獲取細(xì)粒度的點(diǎn)云特征,無法得到完整的點(diǎn)云結(jié)構(gòu)信息,且易在鄰域內(nèi)引入語義信息不相似的點(diǎn),導(dǎo)致液壓支架激光點(diǎn)云分割精度低。針對(duì)上述問題,提出了一種基于鄰域特征編碼優(yōu)化的液壓支架激光點(diǎn)云分割算法。引入了由鄰域特征編碼模塊、鄰域特征優(yōu)化模塊和混合池化模塊組成的局部鄰域特征聚合模塊:鄰域特征編碼模塊在傳統(tǒng)三維坐標(biāo)編碼的基礎(chǔ)上加入極坐標(biāo)編碼和質(zhì)心偏移來表征局部點(diǎn)云空間結(jié)構(gòu),提升對(duì)殘缺點(diǎn)云的特征提取能力;鄰域特征優(yōu)化模塊通過特征距離判斷并丟棄冗余特征,來優(yōu)化鄰域空間內(nèi)的特征表達(dá),從而更有效地學(xué)習(xí)點(diǎn)云局部細(xì)粒度特征,增強(qiáng)點(diǎn)云局部上下文信息;混合池化模塊結(jié)合注意力池化和最大池化,通過聚合鄰域內(nèi)的顯著特征和重要特征來獲取具有豐富信息的單點(diǎn)特征,減少信息丟失。構(gòu)建了由2 組局部鄰域特征聚合模塊和殘差連接組成的鄰域擴(kuò)張模塊,以捕獲特征間的長(zhǎng)距離依賴關(guān)系,擴(kuò)大單個(gè)點(diǎn)的局部感受野,并聚合更多有效特征。實(shí)驗(yàn)結(jié)果表明,該算法在液壓支架激光點(diǎn)云分割數(shù)據(jù)集上的平均交并比為93.26%,平均準(zhǔn)確率為96.42%,可有效區(qū)分液壓支架不同的幾何結(jié)構(gòu),實(shí)現(xiàn)液壓支架各部件的準(zhǔn)確分割。

關(guān)鍵詞:液壓支架;激光點(diǎn)云;點(diǎn)云分割;鄰域特征編碼;鄰域特征優(yōu)化

中圖分類號(hào):TD355 文獻(xiàn)標(biāo)志碼:A

0 引言

液壓支架是綜采工作面的核心設(shè)備之一[1-2]。在回采過程中,液壓支架主要起頂板支護(hù)、保護(hù)作業(yè)人員安全等作用[3-4]。準(zhǔn)確獲取液壓支架姿態(tài)是工作面環(huán)境感知的關(guān)鍵內(nèi)容,也是工作面設(shè)備智能控制的基礎(chǔ)[5]。激光不受光照條件的影響,且信息具備三維特征,因此,激光點(diǎn)云是獲取液壓支架姿態(tài)的有效途徑之一[6]。而將液壓支架各個(gè)關(guān)鍵部件從繁雜的激光點(diǎn)云數(shù)據(jù)中分割出來,是獲取液壓支架姿態(tài)的前提和關(guān)鍵[7]。

傳統(tǒng)的點(diǎn)云分割算法包括基于邊緣檢測(cè)的算法、基于曲面擬合的算法及基于特征聚類的算法[8-10]。傳統(tǒng)的點(diǎn)云分割算法對(duì)于點(diǎn)云的質(zhì)量要求較高,且依賴于手動(dòng)設(shè)定特征。然而,煤塵對(duì)激光束的吸附作用使得工作面點(diǎn)云的質(zhì)量相對(duì)較差;此外,大量液壓支架線性排列且處于動(dòng)態(tài)變化中,液壓支架易受遮擋,點(diǎn)云數(shù)據(jù)容易出現(xiàn)殘缺,特征提取難度大。因此,傳統(tǒng)的點(diǎn)云分割算法難以滿足液壓支架點(diǎn)云精確分割的要求。

近年來,隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)不斷取得突破,利用深度神經(jīng)網(wǎng)絡(luò)處理復(fù)雜點(diǎn)云場(chǎng)景成為點(diǎn)云分割研究領(lǐng)域的熱點(diǎn)[11]。目前,基于深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)云分割算法大體上可分為3 類:基于體素的算法、基于多視圖的算法和基于點(diǎn)的算法?;隗w素的算法是將無序的點(diǎn)云采樣為有序的體素,并通過三維卷積對(duì)體素進(jìn)行處理[12-13]。這類算法解決了點(diǎn)云分布無序的難題,并保留了點(diǎn)云內(nèi)在的幾何結(jié)構(gòu)。然而,待分割對(duì)象相對(duì)于整個(gè)工作面場(chǎng)景來說,具有很強(qiáng)的稀疏性。因此,這類算法難以獲取細(xì)粒度的點(diǎn)云特征,且運(yùn)算開銷隨著體素分辨率的提高而增大。基于多視圖的算法將三維點(diǎn)云投影到多個(gè)視圖中,不規(guī)則的點(diǎn)云數(shù)據(jù)被轉(zhuǎn)換為有序的像素?cái)?shù)據(jù),并使用二維卷積提取像素級(jí)別的特征,然后融合這些特征對(duì)圖像進(jìn)行語義分割,再將結(jié)果映射回三維空間[14-15]。由于二維卷積在圖像分割領(lǐng)域的應(yīng)用較為成熟,這類算法取得了一定成效。然而,點(diǎn)云的部分結(jié)構(gòu)信息無法通過投影獲得,且無法較好處理點(diǎn)云間的遮擋問題?;邳c(diǎn)的算法使用多層感知器(Multilayer Perceptron,MLP)對(duì)原始點(diǎn)云數(shù)據(jù)直接進(jìn)行分割。如:PointNet[16]利用權(quán)值共享的MLP提取每個(gè)輸入點(diǎn)的特征,并通過最大池化將所有點(diǎn)的信息聚合得到全局特征,降低了點(diǎn)云的無序性;PointNet++[17]在PointNet 的基礎(chǔ)上引入層級(jí)聚合結(jié)構(gòu)和球形鄰域查詢來學(xué)習(xí)不同分辨率的局部特征;RandLA?Net[18]采用隨機(jī)采樣法進(jìn)行下采樣,并通過局部空間編碼學(xué)習(xí)保留幾何結(jié)構(gòu)信息;SCF?Net[19]通過雙距離注意力池化聚合特征提升特征聚合的有效性;LEARD?Net[20]通過對(duì)顏色特征進(jìn)行單獨(dú)處理并使用交叉編碼對(duì)特征進(jìn)行增強(qiáng)。然而,基于點(diǎn)的算法采用基于歐氏距離的近鄰算法采集鄰域點(diǎn),導(dǎo)致在鄰域內(nèi)引入一些語義信息不相似的點(diǎn),特別是在不同點(diǎn)云類別的分界處。

為提高液壓支架激光點(diǎn)云分割的精度,本文提出了一種基于鄰域特征編碼優(yōu)化的液壓支架激光點(diǎn)云分割算法。該算法在傳統(tǒng)三維坐標(biāo)編碼的基礎(chǔ)上引入極坐標(biāo)編碼和質(zhì)心偏移,來模擬點(diǎn)云的復(fù)雜空間結(jié)構(gòu);以特征距離為度量,優(yōu)化局部鄰域的特征組成;通過最大池化和注意力池化來聚合鄰域內(nèi)的顯著特征和重要特征,以獲取精確的單點(diǎn)特征表示;通過對(duì)特征進(jìn)行2 次聚合來擴(kuò)大局部感受野,提升特征的豐富性。

1 算法原理

1.1 整體框架

基于鄰域特征編碼優(yōu)化的液壓支架激光點(diǎn)云分割算法框架如圖1 所示。N 為點(diǎn)云的點(diǎn)數(shù);din 為輸入特征維度;c 為類別數(shù)量。

在編碼器中,通過1 個(gè)全連接層提取點(diǎn)云初級(jí)特征,并將維度提升至8。然后通過鄰域擴(kuò)張模塊擴(kuò)展單個(gè)點(diǎn)的感受野,捕獲更多上下文信息。最后通過隨機(jī)下采樣減少點(diǎn)數(shù),以獲取全局特征。經(jīng)過4 個(gè)鄰域擴(kuò)張模塊和隨機(jī)下采樣后,點(diǎn)數(shù)從N 逐步減少至N/128,輸出的特征維度依次為32, 64, 128 和256。在該過程中,特征被逐步抽象和聚合,最終得到含有局部和全局信息的高維特征。這些高維特征經(jīng)過一個(gè)MLP 進(jìn)一步轉(zhuǎn)換和整合,產(chǎn)生一個(gè)統(tǒng)一的特征表示,以便為后續(xù)的解碼階段提供更有效的信息。

在解碼器中,使用最鄰近插值對(duì)點(diǎn)云進(jìn)行特征的上采樣,將點(diǎn)云數(shù)量調(diào)整到與原始點(diǎn)云數(shù)量相等,逐步恢復(fù)特征的空間分辨率,并通過跳躍連接與編碼層特征進(jìn)行拼接,保留更多原始信息,避免在多層特征提取過程中丟失重要的細(xì)節(jié)信息, 再通過MLP 對(duì)特征進(jìn)行進(jìn)一步的細(xì)化和重建。經(jīng)過解碼器后輸出的特征保留了編碼器階段提取的豐富語義信息和全局上下文信息。

在分類器中,使用3 個(gè)全連接層對(duì)解碼器輸出的特征進(jìn)行語義標(biāo)簽預(yù)測(cè)。

1.2 鄰域擴(kuò)張模塊

感受野的大小與點(diǎn)云語義分割的性能直接相關(guān),較大的感受野可以使算法在處理單個(gè)點(diǎn)時(shí)關(guān)注到更大范圍的區(qū)域,從而更好地捕捉待分割點(diǎn)云的整體幾何結(jié)構(gòu)。為擴(kuò)展單個(gè)點(diǎn)的感受野,設(shè)計(jì)了鄰域擴(kuò)張模塊, 結(jié)構(gòu)如圖2 所示(dout 為輸出特征維度)。輸入特征首先經(jīng)過一個(gè)共享MLP(Shared MLP)提取特征并轉(zhuǎn)換特征維度為dout/4,隨后經(jīng)過2 組串聯(lián)的局部鄰域特征聚合模塊進(jìn)行鄰域特征提取、優(yōu)化和聚合,得到的單點(diǎn)特征再通過共享MLP 將維度升至dout,以提供更豐富和抽象的表達(dá)。同時(shí),輸入特征通過一個(gè)共享MLP 映射添加到聚合后特征上,并經(jīng)過Leaky ReLU 函數(shù)激活得到輸出特征。

鄰域擴(kuò)張模塊通過對(duì)特征進(jìn)行2 次聚合,有效擴(kuò)展了單個(gè)點(diǎn)的感受野,能夠捕獲的上下文信息顯著增加。將特征映射添加到聚合后的特征上,是一種高效的殘差連接方式,可實(shí)現(xiàn)特征復(fù)用,彌補(bǔ)在特征提取過程中丟失的原始信息,也有助于算法捕捉輸入特征與聚合后特征的長(zhǎng)距離依賴關(guān)系。

1.3 局部鄰域特征聚合模塊

在綜采工作面場(chǎng)景中,采集到的激光點(diǎn)云質(zhì)量較差,且激光點(diǎn)云具有無序性和稀疏性等特點(diǎn),直接對(duì)點(diǎn)云進(jìn)行處理,難以提取到點(diǎn)云局部鄰域的幾何特征。為增強(qiáng)局部特征的表達(dá)能力,通過局部鄰域特征聚合模塊對(duì)單個(gè)點(diǎn)的局部鄰域進(jìn)行特征聚合,充分利用鄰域點(diǎn)之間的空間關(guān)系和特征相似性,從而將局部區(qū)域內(nèi)的點(diǎn)用一個(gè)更具代表性的特征向量來表示。局部鄰域特征聚合模塊由鄰域特征編碼模塊、鄰域特征優(yōu)化模塊、混合池化模塊組成,其中混合池化模塊包括注意力池化和最大池化。

1.3.1 鄰域特征編碼模塊

為更好地感知點(diǎn)云的空間結(jié)構(gòu)并提升局部特征的豐富性,最大程度地減少局部細(xì)節(jié)特征的丟失,鄰域特征編碼模塊在傳統(tǒng)三維坐標(biāo)編碼的基礎(chǔ)上加入極坐標(biāo)編碼,并通過質(zhì)心偏移來更新極坐標(biāo)編碼后的局部方向角來獲得點(diǎn)云的空間位置關(guān)系信息。鄰域特征編碼模塊由局部鄰域構(gòu)建、空間位置編碼和特征融合增強(qiáng)3 個(gè)部分組成,如圖3 所示。

1) 局部鄰域構(gòu)建。針對(duì)輸入點(diǎn)云中的一個(gè)中心點(diǎn)i,通過近鄰算法收集K 個(gè)鄰居點(diǎn)作為中心點(diǎn)i 的鄰域,從而得到相對(duì)于中心點(diǎn)坐標(biāo)和特征的第k 個(gè)鄰域點(diǎn)坐標(biāo)和特征,k∈[1,K]。

2) 空間位置編碼。為保證點(diǎn)云關(guān)于Z 軸的旋轉(zhuǎn)不變性,降低特征對(duì)于水平朝向的敏感度,將點(diǎn)云在笛卡爾坐標(biāo)系下的表示轉(zhuǎn)換到極坐標(biāo)系下。

式中:φki,?ki分別為極坐標(biāo)系下中心點(diǎn)i 與第k 個(gè)鄰域點(diǎn)的水平方向角和垂直方向角;(xki ,yki,zki)中心點(diǎn)i 和第k 個(gè)鄰域點(diǎn)在笛卡爾坐標(biāo)系下的相對(duì)坐標(biāo)。

鄰域點(diǎn)云極坐標(biāo)轉(zhuǎn)換如圖4 所示。

為高效模擬點(diǎn)云復(fù)雜的幾何結(jié)構(gòu)并提升算法面對(duì)隨機(jī)采樣操作的魯棒性[21],引入質(zhì)心偏移操作,即計(jì)算局部鄰域的質(zhì)2SoTWom20odLK0C/qGa16fiLU/NsLFZnciR1spLdN2A=心,求得質(zhì)心與中心點(diǎn)i 的水平方向角φi和垂直方向角?i,并對(duì)中心點(diǎn)與鄰域點(diǎn)的角度進(jìn)行偏移更新。

φk′i = φki-φi (3)

?k′i = ?ki-?i (4)

式中φk′i,?k′i分別為更新后中心點(diǎn) i 與第 k 個(gè)鄰域點(diǎn)的水平方向角和垂直方向角。

質(zhì)心偏移如圖5 所示。

為完整利用鄰域空間內(nèi)的可利用特征和充分學(xué)習(xí)點(diǎn)之間的關(guān)系信息,將中心點(diǎn)i 與第k 個(gè)鄰域點(diǎn)的相對(duì)坐標(biāo)(pi - pki)、歐氏距離||pi - pki||及通過鄰域點(diǎn)云極坐標(biāo)轉(zhuǎn)換和質(zhì)心偏移更新后的水平方向角φk′i和垂直方向角?k′i拼接,再經(jīng)過MLP 后得到空間位置編碼后的特征Pki。

Pki= MLP(φk′i⊕?k′i⊕(pi - pki)⊕pi - pki)(5)

式中⊕為拼接操作。

3) 特征融合增強(qiáng)。計(jì)算中心點(diǎn)i 與第k 個(gè)鄰域點(diǎn)的特征距離||fi - f ki||,并將鄰域點(diǎn)特征f ki與空間位置編碼后的特征Pki進(jìn)行拼接,得到增強(qiáng)后的點(diǎn)云鄰域特征rki。

rki = Pki⊕ f ki (6)

1.3.2 鄰域特征優(yōu)化模塊

鄰域特征編碼模塊獲得點(diǎn)云的空間位置關(guān)系信息,但沒有考慮增強(qiáng)后的點(diǎn)云鄰域特征中是否包含冗雜的信息。同時(shí), 近鄰算法通常以歐氏距離作為尺度來尋找鄰域點(diǎn),沒有考慮到語義距離在其中起到的作用,導(dǎo)致部分鄰域點(diǎn)在語義特征上可能與中心點(diǎn)不相似。為解決這些問題,設(shè)計(jì)了鄰域特征優(yōu)化模塊,丟棄與中心點(diǎn)語義特征相似度較低的點(diǎn),優(yōu)化整個(gè)鄰域空間的特征信息,使算法能夠更加準(zhǔn)確地學(xué)習(xí)點(diǎn)云局部細(xì)粒度特征。

鄰域特征優(yōu)化模塊結(jié)構(gòu)如圖6 所示。首先,計(jì)算鄰域內(nèi)K 個(gè)點(diǎn)的平均特征距離D,將平均特征距離D和中心點(diǎn)i與第k個(gè)鄰域點(diǎn)的特征距離||fi - f ki||進(jìn)行比較。若||fi - f ki|| >D,則將該鄰域點(diǎn)的權(quán)重置為0,表明該鄰域點(diǎn)在語義特征中距離中心點(diǎn)較遠(yuǎn),忽視該點(diǎn)特征。最終將得到的權(quán)重w與增強(qiáng)后的點(diǎn)云鄰域特征rki進(jìn)行點(diǎn)乘,得到優(yōu)化后的點(diǎn)云鄰域特征~rki。

1.3.3 混合池化模塊

逐點(diǎn)特征表示的準(zhǔn)確性是影響點(diǎn)云分割性能的關(guān)鍵性因素之一,現(xiàn)有算法多采用單一的池化單元聚合編碼后的局部特征,導(dǎo)致信息提取不夠充分,出現(xiàn)信息丟失。為解決上述問題,并充分利用編碼和優(yōu)化后的特征,設(shè)計(jì)了混合池化模塊來聚合鄰域特征?;旌铣鼗K由提取顯著性特征的最大池化和輻射全局獲取特征間相似性的注意力池化組成,如圖7 所示。

首先,為強(qiáng)化算法對(duì)于特征的表達(dá)能力,使用注意力池化來捕捉鄰域點(diǎn)之間的特征相似性。這里利用增強(qiáng)后的點(diǎn)云鄰域特征rki來計(jì)算注意力分?jǐn)?shù),特征越重要?jiǎng)t注意力分?jǐn)?shù)越高。注意力分?jǐn)?shù)ski通過一個(gè)共享參數(shù)的MLP 和一個(gè)softmax 函數(shù)來學(xué)習(xí)。

2 液壓支架激光點(diǎn)云分割實(shí)驗(yàn)

2.1 數(shù)據(jù)集

2.1.1 數(shù)據(jù)采集

使用Ouster 32 線激光雷達(dá)作為液壓支架激光點(diǎn)云分割數(shù)據(jù)集的采集設(shè)備,將其安裝于小車和滑軌上,并沿采煤機(jī)前進(jìn)方向移動(dòng),采集多幀液壓支架激光點(diǎn)云數(shù)據(jù)。

2.1.2 數(shù)據(jù)增強(qiáng)

為了使算法可以更好地學(xué)習(xí)不同空間位置、姿態(tài)和尺度的液壓支架點(diǎn)云,從而表現(xiàn)出更好的分割性能,采用Cloud Compare 軟件對(duì)點(diǎn)云場(chǎng)景進(jìn)行旋轉(zhuǎn)、縮放、剪切等操作(圖8),以實(shí)現(xiàn)對(duì)原始點(diǎn)云數(shù)據(jù)的增強(qiáng)。

2.1.3 數(shù)據(jù)集標(biāo)注與劃分

在液壓支架激光點(diǎn)云分割數(shù)據(jù)集中共有300 個(gè)點(diǎn)云場(chǎng)景,其中200 個(gè)點(diǎn)云場(chǎng)景用于訓(xùn)練(其中50 個(gè)點(diǎn)云場(chǎng)景經(jīng)過數(shù)據(jù)增強(qiáng)) , 100 個(gè)點(diǎn)云場(chǎng)景用于測(cè)試。激光點(diǎn)云的主要分割對(duì)象為液壓支架,主要包括立柱、頂梁、掩護(hù)梁、底座、連桿等,如圖9 所示。使用Cloud Compare 軟件在每個(gè)場(chǎng)景中標(biāo)注4 個(gè)類別,分別為立柱、頂梁、掩護(hù)梁和其他,其對(duì)應(yīng)標(biāo)簽分別為0,1,2,3。

2.2 點(diǎn)云分割精度評(píng)價(jià)指標(biāo)

采用平均交并比(mean Intersection over Union,mIoU) 、總體準(zhǔn)確率(Over all Accuracy,OA)和平均準(zhǔn)確率(mean class Accuracy,mAcc)作為點(diǎn)云分割精度的評(píng)價(jià)指標(biāo)。

式中:TPj, TNj, FPj,F(xiàn)Nj分別為第j 個(gè)類別中真陽性、真陰性、假陽性和假陰性的點(diǎn)數(shù);TP為所有為真陽性的點(diǎn)數(shù)。

2.3 實(shí)驗(yàn)條件

實(shí)驗(yàn)運(yùn)行環(huán)境:CPU 為Intel Xeon(R) Gold 6146CPU@3.20 GHz,GPU 為NVIDIA Tesla T4,操作系統(tǒng)為Ubuntu 18.04.6 LTS。算法基于Tensorflow 框架實(shí)現(xiàn)。實(shí)驗(yàn)選用Adam 優(yōu)化算法,初始學(xué)習(xí)率設(shè)置為0.01,每訓(xùn)練1 輪衰減5%。每次抽取固定數(shù)量的點(diǎn)(10 240 個(gè))進(jìn)行訓(xùn)練,設(shè)置鄰域點(diǎn)的數(shù)量K 為16,批尺寸大小為4,最大訓(xùn)練輪數(shù)為60。

2.4 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文算法在分割液壓支架激光點(diǎn)云上的有效性, 與常用于分割大規(guī)模點(diǎn)云場(chǎng)景數(shù)據(jù)的RandLA?Net 算法進(jìn)行對(duì)比。

本文算法與RandLA?Net 算法在液壓支架激光點(diǎn)云分割數(shù)據(jù)集上測(cè)試的各項(xiàng)評(píng)價(jià)指標(biāo)結(jié)果見表1,其中在立柱、頂梁、掩護(hù)梁和其他這4 個(gè)類別上的交并比(Intersection over Union, IoU)對(duì)比結(jié)果見表2??煽闯霰疚乃惴ㄔ趍Acc, OA和mIoU 上較RandLA?Net 算法分別高出0.49%, 0.52%和0.75%,在4 個(gè)類別上的IoU 均高于RandLA?Net算法。

本文算法與RandLA?Net 算法分割結(jié)果可視化對(duì)比如圖10 所示。

在場(chǎng)景1 中的A 處,液壓支架高度較低,且遠(yuǎn)離激光雷達(dá)的部分液壓支架掩護(hù)梁的尾部B 處出現(xiàn)殘缺,導(dǎo)致RandLA?Net 算法對(duì)點(diǎn)云做出錯(cuò)誤分割,如在頂梁、擋煤板和護(hù)欄距離較近的A2 位置,將頂梁錯(cuò)分為擋煤板和護(hù)欄的一部分,在B2 處將掩護(hù)梁識(shí)別為立柱;而本文算法使用更加有效的空間位置編碼,全面學(xué)習(xí)了點(diǎn)與點(diǎn)的空間位置關(guān)系,強(qiáng)化了局部鄰域內(nèi)的特征表示,從而可有效區(qū)分不同的幾何結(jié)構(gòu),得到了正確的分割結(jié)果。

在場(chǎng)景2 中,立柱、頂梁、擋煤板和護(hù)欄接觸的C 處部分點(diǎn)云較為稀疏,且點(diǎn)云邊界模糊,分割難度大。本文算法雖然沒有對(duì)C3 處的所有點(diǎn)做出完全正確的分割,但仍對(duì)邊界做出了大致的劃分,尤其是對(duì)頂梁做出了正確的分割,效果優(yōu)于RandLA?Net 算法在C2 處的分割。

在場(chǎng)景3 中,立柱、掩護(hù)梁和頂梁在D 和E 處接觸較為緊密,RandLA?Net 算法在立柱的底部D2 位置及立柱、掩護(hù)梁和頂梁三者的交界E2 位置均做出錯(cuò)誤分割;而本文算法由于加入了鄰域特征優(yōu)化模塊,在不同語義類別物體接觸緊密的區(qū)域內(nèi),去除了冗余的特征,在D3 處和E3 處對(duì)不同類別的點(diǎn)云做出了準(zhǔn)確分割。

在場(chǎng)景4 中,受激光雷達(dá)采集角度影響,點(diǎn)云數(shù)量較少。在擋煤板和護(hù)欄的尾部F 處, RandLA?Net 算法將其錯(cuò)分為掩護(hù)梁,而本文算法則做出了正確分割。

為進(jìn)一步測(cè)試算法的先進(jìn)性,對(duì)整體分割效果較差場(chǎng)景(OA 低于85%)中的部件進(jìn)行對(duì)比分析,可視化結(jié)果如圖11 所示。

在立柱與掩護(hù)梁較為接近的位置, RandLA?Net 算法將立柱與掩護(hù)梁混為一體,本文算法雖對(duì)部分支柱做出了錯(cuò)誤分割,但仍大致判斷出了立柱的輪廓,做出了正確的分割。

在頂梁的尾部,可利用點(diǎn)數(shù)較少, RandLA?Net算法做出了錯(cuò)誤分割,本文算法則識(shí)別出頂梁結(jié)構(gòu)。

在掩護(hù)梁被遮擋導(dǎo)致結(jié)構(gòu)不完整的部分,RandLA?Net 算法由于無法完整學(xué)習(xí)到整體的幾何結(jié)構(gòu),將掩護(hù)梁錯(cuò)分為頂梁,而本文算法充分利用空間內(nèi)的特征,最終進(jìn)行了正確的分割。

2.5 消融實(shí)驗(yàn)

為驗(yàn)證鄰域特征編碼模塊、鄰域特征優(yōu)化模塊、混合池化模塊和鄰域擴(kuò)張模塊對(duì)于算法性能的影響,進(jìn)行消融實(shí)驗(yàn),結(jié)果見表3(以僅使用1 次注意力池化的RandLA?Net 算法為基準(zhǔn)算法1)。

從表3 可看出:算法1 的mIoU 最低;算法2 使用以極坐標(biāo)轉(zhuǎn)換和質(zhì)心偏移為核心的鄰域特征編碼模塊替代原有僅在笛卡爾坐標(biāo)系下進(jìn)行編碼的模塊,解決了特征編碼不具體和編碼后信息不充分的問題,mIoU 得到了提升;算法3 在算法2 的基礎(chǔ)上引入了鄰域特征優(yōu)化模塊,實(shí)現(xiàn)了對(duì)冗余特征的剝離,鄰域的特征表示更加準(zhǔn)確,mIoU 較算法2 提升了0.26%;算法4 用混合池化替代注意力池化后,算法性能得到改善,這是由于混合池化使得算法可以關(guān)注局部最顯著的特征,同時(shí)也能面向所有鄰域點(diǎn)自適應(yīng)地聚合重要特征;算法5(本文算法)在算法4 的基礎(chǔ)上引入了鄰域擴(kuò)張模塊,通過組合殘差連接和2 組局部鄰域特征聚合模塊替代使用1 個(gè)局部鄰域特征聚合模塊的方式,擴(kuò)大了局部感受野,豐富了局部鄰域的上下文信息,mIoU 達(dá)到最優(yōu)。

3 結(jié)論

1) 為提高液壓支架激光點(diǎn)云的分割精度,提出了一種基于鄰域特征編碼優(yōu)化的液壓支架激光點(diǎn)云分割算法。該算法引入了由鄰域特征編碼模塊、鄰域特征優(yōu)化模塊和混合池化模塊組成的局部鄰域特征聚合模塊,以實(shí)現(xiàn)特征提取、優(yōu)化和聚合;通過由2 組局部鄰域特征聚合模塊和殘差連接組成的鄰域擴(kuò)張模塊來擴(kuò)大感受野范圍,保留更大范圍的上下文信息。

2) 鄰域特征編碼模塊在傳統(tǒng)三維坐標(biāo)編碼的基礎(chǔ)上引入鄰域空間方向角信息,使提取到的特征更加全面和具有可區(qū)分性,降低了點(diǎn)云數(shù)據(jù)殘缺對(duì)于特征提取的影響;鄰域特征優(yōu)化模塊通過判斷特征距離保留與中心點(diǎn)更為相近的特征,優(yōu)化局部空間內(nèi)的特征表達(dá);混合池化模塊結(jié)合注意力池化和最大池化,有針對(duì)性地聚合鄰域內(nèi)的顯著特征和重要特征,從而得到具有豐富信息的特征向量,減少信息丟失。

3) 在液壓支架激光點(diǎn)云分割數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明, 所提算法的mIoU 為93.26%, mAcc 為96.42%,相較于RandLA?Net 算法分別提升了0.75%和0.49%;可有效區(qū)分液壓支架不同的幾何結(jié)構(gòu),精準(zhǔn)確定部件邊界,實(shí)現(xiàn)液壓支架各部件的準(zhǔn)確分割。

參考文獻(xiàn)(References):

[ 1 ]王國(guó)法,劉峰,孟祥軍,等. 煤礦智能化(初級(jí)階段)研究與實(shí)踐[J]. 煤炭科學(xué)技術(shù),2019,47(8):1-36.

WANG Guofa, LIU Feng, MENG Xiangjun, et al.Research and practice of coal mine intellectualization(primary stage) [J]. Coal Science and Technology,2019,47(8):1-36.

[ 2 ]GUO Jun, HUANG Wenbo, FENG Guorui, et al.Stability analysis of longwall top-coal caving face inextra-thick coal seams based on an innovative numericalhydraulic support model[J]. International Journal ofMining Science and Technology,2024,34(4):491-505.

[ 3 ]高有進(jìn),楊藝,常亞軍,等. 綜采工作面智能化關(guān)鍵技術(shù)現(xiàn)狀與展望[J]. 煤炭科學(xué)技術(shù),2021,49(8):1-22.

GAO Youjin, YANG Yi, CHANG Yajun, et al. Statusand prospect of key technologies of intelligentization offully-mechanized coal mining face[J]. Coal Science andTechnology,2021,49(8):1-22.

[ 4 ]王國(guó)法,龐義輝,許永祥,等. 厚煤層智能綠色高效開采技術(shù)與裝備研發(fā)進(jìn)展[J]. 采礦與安全工程學(xué)報(bào),2023,40(5):882-893.

WANG Guofa, PANG Yihui, XU Yongxiang, et al.Development of intelligent green and efficient miningtechnology and equipment for thick coal seam[J].Journal of Mining & Safety Engineering, 2023, 40(5) :882-893.

[ 5 ]王國(guó)法,龐義輝,任懷偉,等. 智慧礦山系統(tǒng)工程及關(guān)鍵技術(shù)研究與實(shí)踐[J]. 煤炭學(xué)報(bào), 2024, 49(1) :181-202.

WANG Guofa, PANG Yihui, REN Huaiwei, et al.System engineering and key technologies research andpractice of smart mine[J]. Journal of China CoalSociety,2024,49(1):181-202.

[ 6 ]李建,任懷偉,鞏師鑫. 綜采工作面液壓支架狀態(tài)感知與分析技術(shù)研究[J]. 工礦自動(dòng)化, 2023, 49(10) :1-7,103.

LI Jian,REN Huaiwei,GONG Shixin. Research on stateperception and analysis technology of hydraulic supportin fully mechanized working face[J]. Journal of MineAutomation,2023,49(10):1-7,103.

[ 7 ]王國(guó)法,杜毅博. 智慧煤礦與智能化開采技術(shù)的發(fā)展方向[J]. 煤炭科學(xué)技術(shù),2019,47(1):1-10.

WANG Guofa, DU Yibo. Development direction ofintelligent coal mine and intelligent miningtechnology[J]. Coal Science and Technology, 2019,47(1):1-10.

[ 8 ]XI Xiaohuan, WAN Yiping, WANG Cheng. Buildingboundaries extraction from points cloud using an imageedge detection method[C]. IEEE InternationalGeoscience and Remote Sensing Symposium, Beijing,2016:1270-1273.

[ 9 ]SCHNABEL R, WAHL R, KLEIN R. EfficientRANSAC for point-cloud shape detection[J]. ComputerGraphics Forum,2007,26(2):214-226.

[10]ZHOU Dingfu,F(xiàn)ANG Jin,SONG Xibin,et al. Joint 3Dinstance segmentation and object detection forautonomous driving[C]. IEEE/CVF Conference onComputer Vision and Pattern Recognition, Seattle,2020:1836-1846.

[11]XU Yongyang,TANG Wei,ZENG Ziyin,et al. NeiEANET:semantic segmentation of large-scale point cloudscene via neighbor enhancement and aggregation[J].International Journal of Applied Earth Observation andGeoinformation, 2023, 119. DOI: 10.1016/j.jag.2023.103285.

[12]MATURANA D, SCHERER S. VoxNet: a 3Dconvolutional neural network for real-time objectrecognition[C]. IEEE/RSJ International Conference onIntelligent Robots and Systems, Hamburg, 2015:922-928.

[13]LE T, DUAN Ye. PointGrid: a deep network for 3Dshape understanding[C]. IEEE/CVF Conference onComputer Vision and Pattern Recognition, Salt LakeCity,2018:9204-9214.

[14]SU Hang, MAJI S, KALOGERAKIS E, et al. Multiviewconvolutional neural networks for 3D shaperecognition[C]. IEEE International Conference onComputer Vision,Santiago,2015:945-953.

[15]MILIOTO A, VIZZO I, BEHLEY J, et al. RangeNet:fast and accurate LiDAR semantic segmentation[C].IEEE/RSJ International Conference on Intelligent Robotsand Systems,Macau,2019:4213-4220.

[16]CHARLES R Q, HAO Su, MO Kaichun, et al.PointNet: deep learning on point sets for 3Dclassification and segmentation[C]. IEEE Conferenceon Computer Vision and Pattern Recognition,Honolulu,2017:77-85.

[17]QI C R, YI Li, SU Hao, et al. PointNet++: deephierarchical feature learning on point sets in a metricspace[C]. The 31st International Conference on NeuralInformation Processing Systems, Long Beach, 2017:5105-5114.

[18]HU Qingyong,YANG Bo, XIE Linhai, et al. RandLANet:efficient semantic segmentation of large-scale point clouds[C]. IEEE/CVF Conference on Computer Visionand Pattern Recognition,Seattle,2020:11105-11114.

[19]FAN Siqi, DONG Qiulei, ZHU Fenghua, et al. SCFNet:learning spatial contextual features for large-scalepoint cloud segmentation[C]. IEEE/CVF Conference onComputer Vision and Pattern Recognition, Nashville,2021:14499-14508.

[20]ZENG Ziyin, XU Yongyang, XIE Zhong, et al.LEARD-Net: semantic segmentation for large-scalepoint cloud scene[J]. International Journal of AppliedEarth Observation and Geoinformation, 2022, 112.DOI:10.1016/j.jag.2022.102953.

[21]QIAN Wei, XING Weiwei, FEI Shumin. H∞ stateestimation for neural networks with general activationfunction and mixed time-varying delays[J]. IEEETransactions on Neural Networks and LearningSystems,2021,32(9):3909-3918.

基金項(xiàng)目:河南省科技攻關(guān)項(xiàng)目(232102210040)。

高尔夫| 柳林县| 镇雄县| 江北区| 霍州市| 榆中县| 延吉市| 遵义县| 巴彦淖尔市| 木里| 昌图县| 普陀区| 宁海县| 保靖县| 北碚区| 通山县| 扶沟县| 姜堰市| 合肥市| 汽车| 神木县| 乃东县| 吴川市| 涟水县| 呼图壁县| 平泉县| 神木县| 郯城县| 工布江达县| 富民县| 望都县| 监利县| 吉林省| 泸州市| 宽甸| 盖州市| 温州市| 和平县| 明光市| 浮山县| 景洪市|