羅卿莉 劉宇婷 蔣鑫濤

(天津大學(xué)精密測試技術(shù)及儀器全國重點(diǎn)實(shí)驗(yàn)室,天津 300072)

引言

車輛超載、超限不僅會降低車輛制動性能,進(jìn)而嚴(yán)重危害交通運(yùn)輸安全[1-2];另外,車輛超載引起的公路結(jié)構(gòu)性損害也會增加公路的維護(hù)費(fèi)用,造成巨大經(jīng)濟(jì)損失[3-4]。

貨運(yùn)源頭核查工作是進(jìn)行源頭治超的關(guān)鍵環(huán)節(jié),相關(guān)管理部門進(jìn)行了多方面嘗試,并取得一定的成果。唐山市交管部門提出使用遠(yuǎn)程視頻監(jiān)控系統(tǒng)監(jiān)控出入廠車輛[5];重慶市交管部門搭建治超信息平臺,對重點(diǎn)源頭裝載企業(yè)安裝稱重檢測和監(jiān)控設(shè)備,聯(lián)網(wǎng)接入治超信息平臺[6];廣西壯族自治區(qū)采取對重點(diǎn)源頭駐點(diǎn)、巡查以及技術(shù)監(jiān)控的措施[7]。然而,貨運(yùn)源頭具有分布不均、類別繁多等特點(diǎn),且目前貨運(yùn)源頭核查手段大多只針對重點(diǎn)源頭,很多一般非法源頭難以發(fā)現(xiàn)。此外,人工方式核查還存在成本高、效率不高等問題[8]。

遙感影像解譯是指依據(jù)各類解譯方法,從遙感影像中根據(jù)不同應(yīng)用需求提取不同目標(biāo)信息,針對影像特征進(jìn)行目標(biāo)性質(zhì)判斷,獲取特定數(shù)據(jù)信息的過程[9]?；谶b感影像所建立的解譯標(biāo)志庫是一種能夠辨別地物信息特征的數(shù)據(jù)集合[10]。現(xiàn)有較多關(guān)于海岸線、礦山地質(zhì)、建筑物等的解譯標(biāo)志研究[11-13],但尚無公開的貨運(yùn)源頭解譯標(biāo)志庫。YOLOX為輕量型目標(biāo)檢測網(wǎng)絡(luò)YOLO系列中滿足實(shí)際應(yīng)用場景中效率與精度平衡要求的網(wǎng)絡(luò)結(jié)構(gòu)[14-15]。衛(wèi)星遙感具有覆蓋范圍廣、時效性強(qiáng)的優(yōu)點(diǎn)[16],利用遙感影像,基于深度學(xué)習(xí)的方法,建立貨運(yùn)源頭解譯標(biāo)志庫,可指導(dǎo)貨運(yùn)源頭核查工作,有效彌補(bǔ)現(xiàn)有方法存在的源頭監(jiān)察不全面等問題[17]。針對天津市存在大量貨運(yùn)源頭以及未有公開的貨運(yùn)源頭解譯標(biāo)志庫的現(xiàn)狀,選擇天津市作為研究的主要對象,建立解譯標(biāo)志庫應(yīng)用于天津市遙感影像貨運(yùn)源頭解譯,以期對相關(guān)部門貨運(yùn)源頭核查工作提供指導(dǎo)。

1 工程概況

天津市各個區(qū)內(nèi)分布有各種類型的貨源源頭工廠,如圖1所示?；谔旖蚴胁煌悇e的源頭分布情況,對貨運(yùn)源頭分布地進(jìn)行標(biāo)注(見表1)。天津市北部山區(qū)主要存在各類礦山和砂石開采及加工工廠,以薊州區(qū)為例,貨運(yùn)源頭主要可以分為疑似開采點(diǎn)、沙石囤積點(diǎn)、大型建筑工地、疑似貨運(yùn)源頭四大類。該區(qū)東部沿海是物流集散的主要地點(diǎn),存在各類貨物的交接運(yùn)輸與囤積,貨運(yùn)源頭主要可以分為港口、鐵路貨車、大型物流園以及大宗貨物集散地,其中貨物類型主要以鐵礦石、煤炭以及原油為主。西南向靜海區(qū)主要以鋼材堆場為主,存在許多大型鋼鐵生產(chǎn)加工工廠,貨運(yùn)源頭主要是鋼鐵工廠。中部東麗區(qū)存在較多新建樓房泥沙需求大,貨運(yùn)源頭主要為水泥工廠和囤積點(diǎn)。

表1 貨運(yùn)源頭類型解譯標(biāo)志

圖1 天津市貨運(yùn)源頭分布情況Fig.1 Distribution of Freight Sources in Tianjin

2 貨運(yùn)源頭解譯標(biāo)志庫建立

2.1 貨運(yùn)源頭解譯標(biāo)志

貨運(yùn)源頭解譯過程就是依據(jù)各種解譯技術(shù)和方法,在遙感影像上進(jìn)行目視解譯,得到各類貨運(yùn)源頭的解譯結(jié)果,再根據(jù)結(jié)果建立對應(yīng)的貨運(yùn)源頭解譯標(biāo)志,用于指導(dǎo)相關(guān)部門進(jìn)行貨源源頭核查相關(guān)工作。對全市貨運(yùn)源頭進(jìn)行分析,建立對應(yīng)解譯標(biāo)志庫。天津市貨運(yùn)源頭解譯標(biāo)志庫主要包含的貨運(yùn)源頭分為四類企業(yè)和四類場站八大類。

四類企業(yè)包括礦石(疑似開采點(diǎn))、鋼鐵企業(yè)、水泥企業(yè)以及沙石囤積點(diǎn);四類場站包括港口、鐵路貨場、大型物流園以及大宗貨物集散地。通過貨運(yùn)源頭標(biāo)志解譯,可以實(shí)現(xiàn)對遙感影像上貨運(yùn)源頭的快速識別與分類,標(biāo)志解譯的質(zhì)量直接影響后續(xù)解譯的精度。

2.2 解譯依據(jù)及流程

影像解譯主要依據(jù)為貨源源頭的波譜特征、幾何特征、時間特征、植被特征、水系特征等[18]。對影像中貨運(yùn)源頭進(jìn)行描述,并給出典型解譯例圖,同時結(jié)合研究區(qū)域的特點(diǎn),對解譯源頭進(jìn)行實(shí)際的綜合評估和修正。

基于試驗(yàn)區(qū)域的遙感影像進(jìn)行解譯標(biāo)志庫建立工作,主要流程包括：①根據(jù)貨運(yùn)源頭在遙感影像特征進(jìn)行貨運(yùn)源頭信息分析;②根據(jù)分析結(jié)果進(jìn)行貨源源頭分類,制作用于深度學(xué)習(xí)的各類源頭標(biāo)志圖樣本;③構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型使用解譯標(biāo)志樣本進(jìn)行模型訓(xùn)練;④使用訓(xùn)練完成的模型進(jìn)行遙感影像上的標(biāo)志獲取及分類;⑤基于深度學(xué)習(xí)生成結(jié)果構(gòu)建貨源源頭解譯標(biāo)志庫;⑥對分類結(jié)果中的部分重點(diǎn)結(jié)果進(jìn)行現(xiàn)場確認(rèn)或具體信息查詢,根據(jù)實(shí)際情況糾正解譯標(biāo)志庫;⑦使用糾正后的解譯標(biāo)志圖對模型進(jìn)一步訓(xùn)練提高模型魯棒性。

基于深度學(xué)習(xí)的貨運(yùn)源頭解譯結(jié)果,結(jié)合現(xiàn)場勘察糾正能夠建立較高精度的解譯標(biāo)志庫。后續(xù)根據(jù)實(shí)際應(yīng)用情況,對解譯標(biāo)志庫進(jìn)行進(jìn)一步調(diào)整改進(jìn),通過多次實(shí)際應(yīng)用完善網(wǎng)絡(luò)參數(shù),提高解譯結(jié)果的可靠性和科學(xué)性,最終得到具有魯棒性的深度學(xué)習(xí)模型,實(shí)現(xiàn)遙感影像準(zhǔn)確度較高的自動解譯。

2.3 建立貨運(yùn)源頭解譯標(biāo)準(zhǔn)

利用不同的貨運(yùn)源頭目標(biāo)在遙感影像上不同的紋理特征、光譜特征以及幾何特征等,結(jié)合周邊環(huán)境特點(diǎn)分析確定是否為貨運(yùn)源頭并確定其類型,制作用于深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練所需的各類源頭標(biāo)志圖樣本庫,包含四類企業(yè)和四類場站八大類。

利用初步建立的解譯標(biāo)志庫進(jìn)一步對薊縣區(qū)的貨運(yùn)源頭進(jìn)行現(xiàn)場驗(yàn)證,充分利用遙感監(jiān)測技術(shù)優(yōu)勢解決薊州區(qū)貨運(yùn)源頭核查工作存在的一系列難題。對重點(diǎn)研究的薊縣區(qū)的貨源源頭進(jìn)行細(xì)分,確定疑似開采點(diǎn)、沙石囤積點(diǎn)、大型建筑工地、疑似貨運(yùn)源頭四類。其中大型建筑工地及疑似貨運(yùn)源頭解譯標(biāo)志見表1。針對薊州區(qū)進(jìn)行重點(diǎn)研究,通過人工方式分析貨運(yùn)源頭項(xiàng)目共建立疑似開采點(diǎn)樣本206個,砂石囤積點(diǎn)樣本109個,疑似貨運(yùn)源頭樣本26個,大型建筑工地樣本25個。

薊縣區(qū)各類貨運(yùn)源頭解譯結(jié)果見圖2,組織有關(guān)執(zhí)法人員對疑似源頭點(diǎn)位60處進(jìn)行現(xiàn)場核實(shí),共清理砂違法石囤積點(diǎn)7處、違法開采點(diǎn)1處、約談源頭點(diǎn)位相關(guān)負(fù)責(zé)人9人次,納入重點(diǎn)監(jiān)管點(diǎn)位42處。

圖2 薊縣區(qū)解譯結(jié)果Fig.2 Interpretation Results in Jixian District

2.4 建立基于YOLOX的貨運(yùn)源頭遙感解譯標(biāo)志庫

(1)制作貨運(yùn)源頭數(shù)據(jù)集

數(shù)據(jù)源選自Google Earth上截取的衛(wèi)星遙感影像。為了制作訓(xùn)練網(wǎng)絡(luò)所需的數(shù)據(jù)集,使用天津市貨運(yùn)源頭遙感核查工作研究中的貨運(yùn)源頭遙感變化檢測的地理位置數(shù)據(jù),利用Google Earth截取遙感影像,針對文件中貨運(yùn)源頭隨時間的變化情況采集不同時間的遙感影像,實(shí)現(xiàn)數(shù)據(jù)集的擴(kuò)充。所制作的存儲貨運(yùn)源頭類別及位置信息的數(shù)據(jù)集共有743張遙感圖像,其中包含的樣本有疑似開采點(diǎn)88個、港口75個、沙石囤積點(diǎn)120個、鋼鐵企業(yè)33個、水泥企業(yè)35個、鐵路貨場35個、大型物流園82個、大宗貨物集散地18個,將數(shù)據(jù)集以9∶1的比例劃分為訓(xùn)練集和測試集用于后續(xù)的訓(xùn)練。

(2)建立YOLOX神經(jīng)網(wǎng)絡(luò)模型

制作貨運(yùn)源頭遙感影像的數(shù)據(jù)集后,建立用于檢測遙感影像并進(jìn)行分類的深度學(xué)習(xí)模型。所建立的深度學(xué)習(xí)模型基于卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò),以多層自編碼神經(jīng)網(wǎng)絡(luò)的方式進(jìn)行預(yù)訓(xùn)練,通過對目標(biāo)對象進(jìn)行特征提取來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值,最終實(shí)現(xiàn)預(yù)測結(jié)果誤差下降為最小值,以達(dá)到預(yù)期的目標(biāo)檢測效果。

根據(jù)貨運(yùn)源頭樣本大小變化較大及實(shí)時性要求較高的特點(diǎn),選用YOLOX作為目標(biāo)檢測算法。YOLOX以YOLOv3的Darknet53網(wǎng)絡(luò)為基礎(chǔ),并將YOLOv5的CSPnet結(jié)構(gòu)進(jìn)行改進(jìn),能夠自適應(yīng)錨框大小并根據(jù)目標(biāo)對象的大小動態(tài)匹配樣本。YOLOX的網(wǎng)絡(luò)結(jié)構(gòu)見圖3[19-21]。

圖3 YOLOX網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 YOLOX network structure

YOLOX所使用的主干網(wǎng)絡(luò)為CSPDarknet,激活函數(shù)選用在Sigmoid和ReLU基礎(chǔ)上改進(jìn)后的SiLU激活函數(shù),適用于深層網(wǎng)絡(luò)。CSPDarknet通過殘差卷積來緩解梯度消失的問題,并且使用CSPnet結(jié)構(gòu)對殘差進(jìn)行拆分,將得到的3個特征層送入特征金字塔(feature pyramid networks,FPN)并進(jìn)行上采樣和下采樣,融合不同尺度的特征信息。相較于其他的YOLO版本,YOLOX對YOLO Head進(jìn)行改進(jìn),將YOLO Head的解耦頭分為2部分,預(yù)測時再進(jìn)行整合,能夠有效提高收斂的速度。

3 實(shí)驗(yàn)與精度評估

3.1 網(wǎng)絡(luò)訓(xùn)練過程

建立虛擬環(huán)境,基于Tensorflow2.4.0搭建YOLOX網(wǎng)絡(luò),CUDA版本為11.6,數(shù)據(jù)集格式為VOC。將制作好的遙感圖像與標(biāo)簽文件送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練前加載預(yù)訓(xùn)練參數(shù),使加載的模型參數(shù)更適用于待訓(xùn)練的數(shù)據(jù)集,提高訓(xùn)練結(jié)果。訓(xùn)練過程使用GPU進(jìn)行加速,根據(jù)損失值大小變化趨勢判斷訓(xùn)練過程是否結(jié)束,當(dāng)測試集損失維持穩(wěn)定時,模型基本收斂,結(jié)束訓(xùn)練過程。

3.2 目標(biāo)檢測精度評價指標(biāo)

在目標(biāo)檢測中,使用precision來評價模型某一類物體時預(yù)測正確的情況占所有檢測目標(biāo)的比例[22],recall用于評價在某一類物體中有多少比例被模型正確檢測。以recall為橫軸,precision為縱軸可畫出P-R曲線,P-R曲線與橫軸的面積即為AP(Average Precision)。

平均漏檢率(miss rate)為評價漏檢個數(shù)的指標(biāo),計算式為

(1)

F1score同樣為評價分類精度的指標(biāo),計算式為

(2)

為評價所使用網(wǎng)絡(luò)模型的性能,使用AP、平均漏檢率和F1score3個評價指標(biāo)分別評價模型單個類別預(yù)測精度、漏檢情況和對平均precision與recall情況下單各個類別的檢測精度。

3.3 貨運(yùn)源頭目標(biāo)檢測精度

利用本文提出的方法,針對濱海新區(qū)獲取的高分2號和7號影像進(jìn)行實(shí)驗(yàn),所得到的八類貨運(yùn)源頭精度見表2。其中,鋼鐵企業(yè)、水泥企業(yè)與大宗貨物集散地由于數(shù)據(jù)樣本過少,精度較低,識別效果不佳,漏檢率較高。鐵路貨場樣本數(shù)據(jù)不多,但由于鐵路與集裝箱的特征明顯,檢測精度略高于鋼鐵企業(yè)、水泥企業(yè)與大宗貨物集散地。疑似開采點(diǎn)、港口、沙石囤積點(diǎn)與大型物流園樣本量相對較多,精度較高,且港口樣本中水體與船只特征明顯,利于特征提取,AP可達(dá)0.84。

表2 貨運(yùn)源頭預(yù)測精度

利用訓(xùn)練后所得權(quán)值進(jìn)行預(yù)測,結(jié)果見圖4,能夠識別一些主要特征較為明顯的貨運(yùn)源頭。疑似開采點(diǎn)多為綠色植被包裹的白色區(qū)域;鋼鐵企業(yè)多含黑紅色鋼鐵圖斑;水泥企業(yè)區(qū)域內(nèi)含灰黑色水泥;沙石囤積點(diǎn)有藍(lán)綠色塑料布覆蓋黃色沙石;港口為陸地與水域有船只的交界處;鐵路貨場周圍多含鐵路或公路;大型物流園與大宗貨物集散地多位于港口附近,區(qū)域內(nèi)有大量煤炭等與集裝箱堆積。

圖4 貨運(yùn)源頭檢測結(jié)果Fig.4 Freight source detection results

3.4 貨運(yùn)源頭遙感圖像檢測平臺

實(shí)現(xiàn)目標(biāo)檢測可通過命令行的終端窗口,為簡化用戶交互的過程,需要設(shè)計一個圖形界面,能夠讀取所選擇要預(yù)測的遙感圖像,展示預(yù)測結(jié)果?；赩ue3.0和node實(shí)現(xiàn)的貨運(yùn)源頭在線識別窗口見圖5。檢測平臺具有單張上傳與批量上傳的功能,在單張圖片預(yù)測界面,可通過輸入圖片url或上傳本地圖片到后端調(diào)用服務(wù)器命令行啟動算法進(jìn)行預(yù)測,并回傳入前端以供瀏覽;批量上傳界面可選擇多張圖片傳入服務(wù)器,并接收到服務(wù)器預(yù)測結(jié)束后傳回的壓縮包文件,實(shí)現(xiàn)對一批數(shù)據(jù)的在線預(yù)測功能。

圖5 貨運(yùn)源頭遙感圖像檢測平臺Fig.5 The detection platform of freight sources

4 結(jié)論

遙感影像能夠有效指導(dǎo)貨運(yùn)源頭核查工作,貨運(yùn)遙感解譯標(biāo)志庫作為影像解譯過程中的必要參照依據(jù),可為解譯結(jié)果提供技術(shù)支撐。通過對天津市貨運(yùn)源頭進(jìn)行綜合分析,確定了四類企業(yè)和四類場站八大類解譯標(biāo)志庫。

貨運(yùn)源頭解譯標(biāo)志實(shí)現(xiàn)對天津市貨運(yùn)源頭的精細(xì)分類,為實(shí)現(xiàn)智能解譯提供貨運(yùn)源頭分類標(biāo)準(zhǔn),建立能夠自動識別貨運(yùn)源頭的目標(biāo)檢測算法,搭建貨運(yùn)源頭遙感圖像檢測平臺,能夠有效減少人工解譯時間。解譯標(biāo)志庫在天津市薊縣區(qū)影像解譯中的成功應(yīng)用,證明解譯結(jié)果具有可靠性和科學(xué)性,能夠用于指導(dǎo)相關(guān)部門貨運(yùn)源頭核查工作。