程 雨，杜馨瑜，顧子晨，戴 鵬，李海浪，王 昊

（1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 基礎(chǔ)設(shè)施檢測(cè)研究所，北京 100081；2.北京鐵科英邁技術(shù)有限公司，北京 100081）

隨著我國(guó)鐵路高速發(fā)展，高鐵總里程已躍居世界第1位，維修養(yǎng)護(hù)壓力也日益凸顯。在高速鐵路的日常維護(hù)中，線路上的鋼軌、扣件、應(yīng)答器、軌腰塞釘?shù)溶壍涝O(shè)施需要大量的人工進(jìn)行檢測(cè)。然而，由于人工巡道作業(yè)存在檢測(cè)條件差、耗時(shí)、低效、主觀性強(qiáng)等缺點(diǎn)，在一些檢測(cè)環(huán)境危險(xiǎn)和短時(shí)間內(nèi)需要完成大批量檢測(cè)作業(yè)的情況下，人工巡檢的方式已無(wú)法滿足相關(guān)需求。隨著機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，基于機(jī)器視覺的巡檢系統(tǒng)是未來(lái)的主要發(fā)展方向。

當(dāng)前的巡檢系統(tǒng)主要是基于“光學(xué)系統(tǒng)—工控圖像采集機(jī)—處理系統(tǒng)”的系統(tǒng)結(jié)構(gòu)，通過(guò)處理系統(tǒng)中的智能識(shí)別算法完成異常識(shí)別工作［1-3］。采集系統(tǒng)主要采用工控機(jī)加通用圖像采集卡搭配軟件開發(fā)套件（Software Development Kit，SDK），這種方式可以縮短開發(fā)采集系統(tǒng)周期，但無(wú)法實(shí)時(shí)靈活處理采集的數(shù)據(jù)，需將數(shù)據(jù)存儲(chǔ)在采集機(jī)上，在檢測(cè)結(jié)束后人工拷貝至地面服務(wù)器進(jìn)行處理；處理系統(tǒng)主要采用高性能顯卡所帶的圖形處理單元（Graphics Processing Unit，GPU），利用GPU 強(qiáng)大的圖像處理能力完成圖像分析工作。

巡檢系統(tǒng)智能識(shí)別算法方面，早期，系統(tǒng)主要采用傳統(tǒng)機(jī)器學(xué)習(xí)算法，如變尺度Retinex（VSR）算法［4］，實(shí)現(xiàn)對(duì)軌道設(shè)施圖像的增強(qiáng)處理；采用基于Adaboost 的算法［5］、基于線路局部二值特征Line-LBP（Local Binary Pattern，LBP）的算法［6］以及基于模板匹配的算法［7］等實(shí)現(xiàn)特征提取及識(shí)別；目前，系統(tǒng)主要采用深度學(xué)習(xí)算法［8-9］完成圖像分析，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)算法在扣件異常識(shí)別方面準(zhǔn)確率更高。

現(xiàn)有巡檢系統(tǒng)在鐵路檢測(cè)工作中發(fā)揮了重要的作用，減少了人工巡道定員數(shù)量和工作量，提升了鐵路檢測(cè)效率。

然而，以上所述系統(tǒng)也存在一些優(yōu)化的空間，主要為以下幾個(gè)方面。

（1）系統(tǒng)占據(jù)空間較大，對(duì)于一些空間約束較大的情況，加裝系統(tǒng)不靈活。

（2）圖像分析過(guò)程是離線的。這種方式會(huì)導(dǎo)致檢測(cè)結(jié)果報(bào)告滯后，可能存在安全隱患。

（3）采集圖像的清晰度較低。在選用較高清晰度的相機(jī)時(shí)，現(xiàn)有系統(tǒng)無(wú)法保證采集頻率達(dá)到要求，影響檢測(cè)車行駛速度，進(jìn)而影響檢測(cè)效率。

（4）目前搭載在專業(yè)檢測(cè)車上，需要人工參與，無(wú)法滿足一些人工參與度低的平臺(tái)加裝。

（5）系統(tǒng)升級(jí)困難。由于現(xiàn)有的采集處理機(jī)制在特定的平臺(tái)下進(jìn)行操作，升級(jí)系統(tǒng)就意味著升級(jí)軟件，系統(tǒng)對(duì)個(gè)別動(dòng)態(tài)鏈接庫(kù)的依賴性較強(qiáng)，導(dǎo)致軟件升級(jí)需要的工作量較大。

隨著嵌入式技術(shù)的不斷發(fā)展，基于嵌入式的圖像采集處理系統(tǒng)將成為未來(lái)巡檢系統(tǒng)研發(fā)的方向，基于嵌入式機(jī)制的巡檢系統(tǒng)能夠大大提升系統(tǒng)集成度、適合于高清高速場(chǎng)景下的圖像采集，提升系統(tǒng)整體性能。

基于嵌入式的圖像采集處理系統(tǒng)主要分為：基于ARM 方式、基于DSP方式、基于FPGA 方式以及上述方式的組合。采取ARM 和DSP 方式的優(yōu)勢(shì)是各接口驅(qū)動(dòng)及應(yīng)用比較完善且適用于網(wǎng)絡(luò)接口的相機(jī)，但ARM 在實(shí)時(shí)處理高速數(shù)據(jù)量巨大的連續(xù)幀圖像時(shí)性能并不突出，不適合單獨(dú)應(yīng)用；DSP雖然具備很強(qiáng)的計(jì)算能力，且通用接口驅(qū)動(dòng)、協(xié)議完善，但是高速大數(shù)據(jù)量采集控制方面尤其是并行處理數(shù)據(jù)不是其擅長(zhǎng)所在，一般用在數(shù)據(jù)處理端較多；FPGA的優(yōu)勢(shì)是擅長(zhǎng)處理并行流水?dāng)?shù)據(jù)，其數(shù)據(jù)處理復(fù)雜性方面受到一些制約，且在開發(fā)方面難度較大，周期較長(zhǎng)，因此適宜在采集控制方面應(yīng)用。雖然目前最新的FPGA 在內(nèi)部嵌入ARM 或DSP 核，但是這些芯片往往會(huì)影響芯片整體的針腳排布，占據(jù)一定的資源，增加開發(fā)難度。

本文進(jìn)行基于FPGA 和DSP 的高速實(shí)時(shí)軌道巡檢圖像采集處理系統(tǒng)研究。針對(duì)系統(tǒng)圖像采集設(shè)備的高幀率、高帶寬和對(duì)圖像質(zhì)量清晰度要求高等特點(diǎn)，結(jié)合系統(tǒng)實(shí)際應(yīng)用場(chǎng)景，提出并設(shè)計(jì)CMOS 線陣相機(jī)加激光光源的組合光學(xué)系統(tǒng)及其相應(yīng)的配置方法；在巡檢系統(tǒng)的圖像采集及預(yù)處理方面，采用FPGA+DSP 的嵌入式架構(gòu)，該架構(gòu)在圖像采集處理領(lǐng)域應(yīng)用較多［10-11］，利用DSP 快速準(zhǔn)確的數(shù)據(jù)處理能力和FPGA 強(qiáng)大的可編程邏輯資源，與上位機(jī)搭配實(shí)現(xiàn)圖像實(shí)時(shí)數(shù)據(jù)采集、邏輯控制和圖像傳輸和圖像處理功能。

1 總體方案設(shè)計(jì)

本文設(shè)計(jì)的軌道巡檢圖像采集處理系統(tǒng)從結(jié)構(gòu)上主要分為成像模塊、采集控制模塊和圖像處理模塊，系統(tǒng)有2 個(gè)成像模塊和2 個(gè)采集控制模塊，每個(gè)采集控制模塊控制1個(gè)成像模塊。成像模塊采用高清線陣相機(jī)與紅外激光器的光學(xué)組合，根據(jù)實(shí)際需求設(shè)計(jì)并配置相關(guān)成像參數(shù)；采集控制模塊采用FPGA+DSP 的嵌入式板卡，實(shí)現(xiàn)圖像采集控制、預(yù)處理和壓縮等功能，結(jié)構(gòu)上，F(xiàn)PGA 板卡與DSP 板卡分離，通過(guò)高速連接器連接，F(xiàn)PGA 板卡主要實(shí)現(xiàn)圖像采集控制功能，DSP 板卡主要實(shí)現(xiàn)數(shù)據(jù)預(yù)處理與壓縮功能。圖像處理模塊采用帶有GPU 的工控機(jī)，實(shí)現(xiàn)圖像數(shù)據(jù)接收、存儲(chǔ)和進(jìn)一步分析?？傮w技術(shù)方案如圖1所示。

系統(tǒng)工作流程為：系統(tǒng)經(jīng)過(guò)脈沖信號(hào)觸發(fā)后，成像模塊進(jìn)行成像，并將采集的圖像數(shù)據(jù)發(fā)送至圖像采集控制模塊，采集控制模塊利用FPGA 的可編程邏輯資源，設(shè)計(jì)相應(yīng)采集機(jī)制，獲取高清線陣相機(jī)的圖像數(shù)據(jù)。通過(guò)圖像接收單元將圖像歸集，并通過(guò)高速接口Serial RapidIO（SRIO）發(fā)送到DSP 板卡。DSP 板卡接收到數(shù)據(jù)后，立刻將接收到的數(shù)據(jù)分配到處理核進(jìn)行處理，處理完成后將數(shù)據(jù)通過(guò)網(wǎng)絡(luò)上傳到工控機(jī)進(jìn)行再次處理、存儲(chǔ)和顯示。在板卡運(yùn)行過(guò)程中，高清相機(jī)可通過(guò)RS422/RS232協(xié)議與上位機(jī)進(jìn)行通信參數(shù)調(diào)整，脈沖信號(hào)可通過(guò)FPGA進(jìn)行信號(hào)控制。

2 關(guān)鍵技術(shù)

2.1 光學(xué)成像

本系統(tǒng)的成像要求如下：

（1）采集速度不低于160 km·h-1；

（2）橫、縱向分辨率不大于1 mm·pixel-1；

（3）工作距離為750 mm；

（4）成像范圍為1 650 mm；

（5）留有不少于80 mm的景深。

基于以上成像要求，進(jìn)行光學(xué)器件選型，并計(jì)算相應(yīng)參數(shù)，主要分為相機(jī)、鏡頭選型及景深等參數(shù)計(jì)算。

2.1.1 成像原理

通過(guò)大量的實(shí)驗(yàn)室試驗(yàn)和動(dòng)態(tài)試驗(yàn)，本系統(tǒng)采用CMOS 線陣相機(jī)+激光光源的成像方案，成像原理如圖2所示。

圖1 基于FPGA和DSP的高速實(shí)時(shí)軌道巡檢圖像采集處理系統(tǒng)總體技術(shù)方案

圖2 線陣相機(jī)+激光光源成像原理框圖

在脈沖信號(hào)的觸發(fā)作用下，相機(jī)與激光器同步工作，激光器射出波長(zhǎng)808 nm 激光線，通過(guò)透鏡將激光束散射為1條形區(qū)域，拍攝區(qū)域被照亮，同時(shí)，相機(jī)捕捉激光線照射的區(qū)域，采用濾光片獲取固定波長(zhǎng)的光線，濾除太陽(yáng)光或其他波段的光干擾，拍攝圖像。采用此方案獲取的圖像，照度均勻，抗干擾性強(qiáng)，圖像質(zhì)量高。

基于上述成像原理，設(shè)計(jì)了一體化成像組件，將線陣相機(jī)與激光光源集成在一起，內(nèi)部使用電路板控制激光光源，實(shí)現(xiàn)高速運(yùn)行狀態(tài)下高清成像，一體化成像組件實(shí)物如圖3所示。

圖3 一體化成像組件實(shí)物圖

2.1.2 相機(jī)選型

考慮到系統(tǒng)需動(dòng)態(tài)連續(xù)掃描，圖像不可重復(fù)且視場(chǎng)范圍較大，因此選擇線陣相機(jī)，相機(jī)橫向像素需滿足2 048 pixel（含）以上，且滿足1 mm·pixel-1分辨率。從幀頻，感光性和易于后期拓展的角度考慮，選用Dalsa P4 CameraLink 接口相機(jī)，傳感器橫向像素為4 096 pixel。該相機(jī)感光性較好，支持雙線曝光，像元分辨率為10.56 μm，最高掃描頻率可達(dá)到100 kHz。

2.1.3 鏡頭選型

鏡頭選型主要選鏡頭焦距，可按照下式計(jì)算。

式中：f為鏡頭焦距；D為傳感器分辨率；L為工作距離；WFOV為視場(chǎng)范圍。

按照式（1）計(jì)算系統(tǒng)所需焦距，線陣相機(jī)的傳感器分辨率為像元分辨率與橫向像素?cái)?shù)的乘積，以上述選型相機(jī)為例，像元分辨率為10.56 μm，橫向像素為4 096 pixel，工作距離為750 mm；視場(chǎng)范圍為1 650 mm。將參數(shù)帶入式（1），計(jì)算出鏡頭焦距約為20 mm。綜合考慮，系統(tǒng)采用Nikon品牌AF NIKKOR 20 mm f/2.8D 型鏡頭，光圈范圍2.8～22。

2.1.4 景深計(jì)算

根據(jù)拍攝距離、光圈值、鏡頭焦距、像元分辨率及相機(jī)與拍攝物體角度等參數(shù)可以計(jì)算景深極限值Δ［12］，即

其中，

式中：ωcd為像元分辨率；F為光圈F 數(shù)；β為放大倍率；θ為相機(jī)與拍攝物體的夾角。

采用上述參數(shù)進(jìn)行計(jì)算，ωcd為10.56 μm；F數(shù)設(shè)為5.6；f為20 mm；θ為0°。將以上參數(shù)帶入式（2），計(jì)算得景深極限值約為81 mm，在工作距離的高度上下81 mm處可以清晰成像。

2.1.5 最佳焦距確定

采用一體化成像組件，可以提升系統(tǒng)的可靠性，但是在系統(tǒng)安裝完成后，不便于焦距調(diào)節(jié)，同時(shí)，通過(guò)理論計(jì)算的焦距值有一定偏差，因此設(shè)計(jì)一種線陣相機(jī)對(duì)焦方法，在固定拍攝距離和光圈下，根據(jù)壓縮后的圖像數(shù)據(jù)量判斷是否達(dá)到最佳焦距。

壓縮后的圖像數(shù)據(jù)量與圖像的焦距、光圈及壓縮質(zhì)量是密切相關(guān)的，光圈值設(shè)的越小時(shí)，進(jìn)光量越高，通過(guò)焦距調(diào)節(jié)，觀察壓縮后的數(shù)據(jù)量，選擇數(shù)據(jù)量峰值點(diǎn)，即為最佳的焦距位置。

2.1.6 壓縮Q值確定

固定成像模塊參數(shù)，設(shè)置壓縮Q值分別為40，50 和60 進(jìn)行測(cè)定，調(diào)節(jié)焦距，采集圖像，采用峰值信噪比（PSNR）進(jìn)行評(píng)價(jià)［13］。表1 為不同壓縮Q值與峰值信噪比對(duì)應(yīng)關(guān)系。

表1 不同壓縮Q值與峰值信噪比對(duì)應(yīng)關(guān)系

通過(guò)缺陷識(shí)別算法測(cè)試，表明峰值信噪比在40 dB 以上智能識(shí)別效果較好，因此可將壓縮Q值設(shè)置為50以上。

2.2 圖像采集

本系統(tǒng)采用基于FPGA+DSP 的嵌入式模塊實(shí)現(xiàn)采集控制功能，模塊結(jié)構(gòu)上由FPGA 板卡和DSP板卡組成。

FPGA 板卡主要實(shí)現(xiàn)CameraLink 接口相機(jī)圖像采集、脈沖信號(hào)控制及高速數(shù)據(jù)通信等功能，如圖4所示。成像模塊接入FPGA 板卡，在脈沖信號(hào)的觸發(fā)下，成像模塊產(chǎn)生線數(shù)據(jù)并通過(guò)CameraLink接口發(fā)送至FPGA 板卡的傳感器接入單元，接入單元累積線圖像數(shù)據(jù)，待形成1幀圖像后，發(fā)送至圖像轉(zhuǎn)換單元，將圖像轉(zhuǎn)為SRIO 模塊傳輸需要的模式，并以幀為單位通過(guò)SRIO 模塊將圖像數(shù)據(jù)發(fā)送至DSP板卡，F(xiàn)PGA 板卡傳輸完1幀圖像會(huì)產(chǎn)生1個(gè)中斷，提醒DSP進(jìn)行處理。

圖4 FPGA模塊

FPGA 板卡還具備消抖、分頻、倍頻及信號(hào)使能功能，消抖功能是避免外部信號(hào)誤觸發(fā)；分頻和倍頻功能是將外部輸入脈沖信號(hào)頻率改變，觸發(fā)相機(jī)工作，以滿足系統(tǒng)采集分辨率的不同需求；信號(hào)使能功能控制外部脈沖信號(hào)的通斷，外部脈沖信號(hào)發(fā)生裝置可通過(guò)總開關(guān)控制信號(hào)同步采集。分頻、倍頻以及信號(hào)使能等可通過(guò)參數(shù)選擇使其生效。

DSP 板卡主要實(shí)現(xiàn)圖像數(shù)據(jù)接收、并行處理圖像、圖像上傳的功能，如圖5所示。

圖5 DSP模塊

本系統(tǒng)根據(jù)應(yīng)用需求基于TI的SYSBIOS實(shí)時(shí)系統(tǒng)實(shí)現(xiàn)，采用主核、從核并行處理模式，完成3個(gè)任務(wù)，即網(wǎng)絡(luò)協(xié)議棧任務(wù)、圖像并行處理任務(wù)和網(wǎng)絡(luò)應(yīng)用任務(wù)。其中，網(wǎng)絡(luò)協(xié)議棧任務(wù)主要實(shí)現(xiàn)網(wǎng)絡(luò)傳輸協(xié)議；圖像并行處理任務(wù)主要是將處理執(zhí)行FPGA板卡的圖像轉(zhuǎn)換單元的參數(shù)初始化、并行處理初始化、接收?qǐng)D像，并實(shí)現(xiàn)鋼軌區(qū)域識(shí)別、扣件定位與JPEG 壓縮處理；網(wǎng)絡(luò)應(yīng)用任務(wù)實(shí)現(xiàn)Socket管理、參數(shù)接收與響應(yīng)、處理后圖像上傳等功能。

處理流程：FPGA 板卡發(fā)送完1 幀圖像后，產(chǎn)生中斷，DSP 板卡接收到中斷后，進(jìn)行響應(yīng)，以核0作為主核調(diào)度，多個(gè)從核作為處理核，按順序執(zhí)行圖像并行處理任務(wù)，主核通過(guò)消息通知從核進(jìn)行處理，從核對(duì)圖像數(shù)據(jù)進(jìn)行處理，待處理完成通過(guò)消息通知主核圖像處理已完成，主核接到從核已完成圖像處理消息后，執(zhí)行網(wǎng)絡(luò)應(yīng)用任務(wù)，將處理后的圖像數(shù)據(jù)發(fā)送至上位機(jī)進(jìn)行處理。DSP 板卡與上位機(jī)通過(guò)網(wǎng)絡(luò)協(xié)議雙向通信，實(shí)現(xiàn)DSP 板卡處理后的圖像數(shù)據(jù)上傳以及FPGA 和DSP 板卡參數(shù)調(diào)整功能。

2.3 鋼軌區(qū)域分割

為了滿足鋼軌區(qū)域分割的實(shí)時(shí)性要求，必須綜合考慮算法的時(shí)間和存儲(chǔ)復(fù)雜度，以盡可能小的計(jì)算資源損耗完成軌道圖像處理任務(wù)。

考慮到軌道區(qū)域內(nèi)存在大面積而且連通的高亮度區(qū)域，而非鋼軌區(qū)域黑白像素分布雜亂，鋼軌區(qū)域和非鋼軌區(qū)域的分界處存在明顯的像素灰度值突變等紋理區(qū)別特征，因此，針對(duì)實(shí)際應(yīng)用場(chǎng)景，考慮到基于DSP 的工程實(shí)際，采用圖像投影積分算法快速實(shí)現(xiàn)鋼軌區(qū)域分割。單幅圖像的鋼軌區(qū)域分割算法的基本步驟如下。

步驟1：運(yùn)用灰度投影理論計(jì)算行投影和列投影，即

式中：G(i，j)為圖像在(i，j)處的像素灰度值；W和H分別為圖像寬度和高度；Gcol(j)為圖像第j列的灰度值總和；Grow(i)為圖像第i行的灰度值總和。

步驟2：根據(jù)式（5）計(jì)算反向灰度投影G′col(j)，采用垂向差分算子處理圖像計(jì)算梯度列投影，將圖像的反向灰度投影和梯度投影進(jìn)行加權(quán)求和，得到加權(quán)投影P(j)，具體按式（6）計(jì)算。

式中：Gd(j)為圖像第j列的梯度列投影；α1和α2分別為梯度投影和反向灰度投影的權(quán)值。

步驟3：為消除圖像中高頻噪聲的干擾，通過(guò)引入窗函數(shù)遍歷投影曲線獲得平滑的面積積分投影。

本文采用矩形窗函數(shù)，即

式中：Wc為窗口寬度；Hc為窗口高度。

步驟4：計(jì)算加權(quán)投影的面積積分投影。

式中：C(m)為第m個(gè)矩形區(qū)域的面積積分投影；Wr為鋼軌區(qū)域?qū)挾取?/p>

用投影值除以窗口面積獲得投影的歸一化值，確定C(m)的最小值，即為軌道左邊緣，再結(jié)合鋼軌區(qū)域?qū)挾萕r，可得到鋼軌區(qū)域右邊緣。采用上述方法的單幅圖像鋼軌區(qū)域分割結(jié)果如圖6所示。

圖6 鋼軌區(qū)域分割結(jié)果

在上述的鋼軌分割時(shí)，若考慮到鋼軌在空間結(jié)構(gòu)上表現(xiàn)為剛性延續(xù)長(zhǎng)梁的結(jié)構(gòu)特征，在通過(guò)光學(xué)系統(tǒng)沿鋼軌線路動(dòng)態(tài)掃描獲取的圖像序列中，鋼軌區(qū)域在圖像序列中的位置坐標(biāo)會(huì)表現(xiàn)出近似一致性。這一特征為圖像序列處理建立自適應(yīng)的修正模型提供了先驗(yàn)信息。針對(duì)以上特征，基于區(qū)間置信度統(tǒng)計(jì)的方法，設(shè)計(jì)一種軌道區(qū)域定位的自學(xué)習(xí)統(tǒng)計(jì)模型。

假設(shè)采集的總圖像序列為Q（I），考慮到計(jì)算的實(shí)時(shí)性，通過(guò)對(duì)Q（I）抽樣獲得數(shù)量為Nq的新圖像序列Q（I′）。運(yùn)用上述分割方法對(duì)序列Q（I′）中的所有圖像進(jìn)行處理，得到軌道位置記為I′（R）。統(tǒng)計(jì)學(xué)習(xí)模型以圖像空間坐標(biāo)作為特征參數(shù)，通過(guò)設(shè)定步長(zhǎng)等分空間建立備選特征集。運(yùn)用直方圖統(tǒng)計(jì)分析方法，確定最大置信區(qū)間，從而自適應(yīng)獲取到圖像序列中軌道位置的特征參數(shù)。

統(tǒng)計(jì)學(xué)習(xí)步驟如下。

步驟1：設(shè)定步長(zhǎng)h，以h均分圖像橫軸Nd等份，獲得對(duì)應(yīng)Q（I′）的區(qū)間序列集Si，i=1，2，…，Nd。

步驟2：定義并計(jì)算區(qū)間置信值A(chǔ)(Si)為

其中，

步驟3：取區(qū)間置信值最大的區(qū)間序列集ST，i。

步驟4：取置信值最大的區(qū)間序列橫軸位置平均值作為軌道位置的特征參數(shù)PT，i，即

運(yùn)用統(tǒng)計(jì)學(xué)習(xí)模型可以快速獲得整條軌道的位置特征參數(shù)。

在算法總體性能分析上，設(shè)定評(píng)判原則：將預(yù)報(bào)位置與真實(shí)位置的差定義為定位偏差，當(dāng)定位偏差大于統(tǒng)計(jì)學(xué)習(xí)模型設(shè)定的步長(zhǎng)h，確認(rèn)為定位失效。

基于以上原則定義錯(cuò)誤率E為

式中：Ne為定位失準(zhǔn)數(shù)量；Na為全部樣本數(shù)量。

2.4 扣件定位與缺陷判斷

經(jīng)過(guò)上述步驟，得到了序列圖像中鋼軌的準(zhǔn)確位置后，根據(jù)扣件區(qū)域位置與鋼軌區(qū)域位置距離固定的先驗(yàn)信息，在鋼軌左右兩側(cè)可以得到包含有扣件位置的感興趣區(qū)域。在該區(qū)域內(nèi)，通過(guò)模板匹配的方法，利用經(jīng)典的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，定位到1 個(gè)扣件。由于序列圖像的相似性，在該扣件位置橫向和縱向的特定距離都應(yīng)該搜索到扣件，若在某一位置附近搜索不到扣件，則可以快速判斷該位置扣件丟失，從而簡(jiǎn)捷有效解決了單純用目標(biāo)檢測(cè)網(wǎng)絡(luò)不易進(jìn)行部分丟失目標(biāo)定位的問(wèn)題，扣件定位圖如圖7所示。

圖7 扣件定位

扣件定位完成后，將數(shù)據(jù)發(fā)送至工控機(jī)進(jìn)行識(shí)別。針對(duì)扣件區(qū)域圖像的特點(diǎn)，設(shè)計(jì)了扣件異常識(shí)別算法網(wǎng)絡(luò)。由于扣件區(qū)域圖像的尺寸較小，圖像內(nèi)容相對(duì)單一，根據(jù)扣件區(qū)域尺寸，將網(wǎng)絡(luò)輸入尺度設(shè)為120 pixel×80 pixel。之后，以卷積（Con?volution）， SEnet （Squeeze-and-Excitation Net?works）［14］和批量歸一化（Batch Normalization）組成CSB 模塊作為基本處理單元，進(jìn)行多層網(wǎng)絡(luò)處理。通過(guò)卷積得到多個(gè)特征圖像（Feature map），采用全局平均池化操作對(duì)每層特征進(jìn)行降維，然后，采用全連接網(wǎng)絡(luò)，對(duì)降維后的輸出對(duì)象做非線性變換，為每個(gè)特征通道生成權(quán)重，通過(guò)施加該權(quán)重到輸入特征通道，把重要的特征增強(qiáng)，不重要的特征減弱，從而讓提取的特征指向性更強(qiáng)。經(jīng)過(guò)CSB 模塊處理后，再通過(guò)池化層進(jìn)行降維處理，最后通過(guò)全連接層輸出正常及異常扣件的類別。圖8 為CSB 模塊圖。圖9 為針對(duì)扣件傷損識(shí)別設(shè)計(jì)的基于CSB模塊的網(wǎng)絡(luò)結(jié)構(gòu)。

圖8 CSB模塊

圖9 扣件傷損識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練扣件缺陷識(shí)別網(wǎng)絡(luò)需要大量的標(biāo)注數(shù)據(jù)，對(duì)綜合巡檢車以及鋼軌探傷車實(shí)際使用時(shí)采集的圖像數(shù)據(jù)進(jìn)行整理及標(biāo)注，將所有異常（有缺陷）扣件作為一類，每種正常類型扣件作為一類。由于無(wú)砟軌道和有砟軌道扣件存在較大的差異，需要分別進(jìn)行標(biāo)注，具體如下。

針對(duì)無(wú)砟軌道扣件收集了多個(gè)路局的無(wú)砟扣件數(shù)據(jù)，將無(wú)砟軌道扣件分為4個(gè)類型，分別為異?？奂╝bnormal），5 型7 型W 扣件（W7_5），300型扣件（W300），以及其他扣件（others），每個(gè)類型中收集了10萬(wàn)張以上扣件圖片，其中后3個(gè)扣件類型為正?？奂?，如圖10所示。

圖10 無(wú)砟軌道扣件各分類標(biāo)注

針對(duì)有砟軌道扣件收集了多個(gè)路局的有砟扣件數(shù)據(jù)，將有砟軌道扣件分為5個(gè)類型，分別為異常扣件（abnormal），5 型7 型W 扣件（W7_5），2 型扣件（normal2），F(xiàn)C 及3 型扣件（sp），以及其他扣件（others），每個(gè)類型中收集了20 萬(wàn)張以上扣件圖片，其中后4種類型為正?？奂Ｈ鐖D11所示。

圖11 有砟軌道扣件各分類標(biāo)注

不論無(wú)砟軌道扣件還是有砟軌道扣件，異?？奂愋桶奂G失、扣件移位、扣件斷裂以及扣件變形，如圖12 所示。在標(biāo)注時(shí)都?xì)w為一類，即異常類。

將圖片放入不同文件夾的形式標(biāo)注之后，由于扣件整體拍攝亮度較暗，不利于模型的訓(xùn)練以及人工確認(rèn)，所以將所有的扣件圖片進(jìn)行1/1.6 的伽馬（gamma）亮度變換，變換后的圖片亮度明顯提高，如圖13 所示。由圖13 可見：圖片內(nèi)容更加清晰，有利于定位和識(shí)別。

對(duì)定位到的扣件，采用圖9 所示深度神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，可以識(shí)別出異常扣件，圖14 給出了識(shí)別出的扣件異常圖。

圖12 扣件異常類型

圖14 扣件異常

由圖14可見：（a）圖中鋼軌左側(cè)從上至下第3個(gè)扣件為扣件丟失異常，（b）圖中鋼軌左側(cè)從上至下第1個(gè)扣件為彈條移位異常，以上異常均可被智能識(shí)別模型有效識(shí)別。

2.5 上位機(jī)軟件設(shè)計(jì)

上位機(jī)軟件是巡檢系統(tǒng)的關(guān)鍵部分，需要完成與用戶數(shù)據(jù)交互、異常數(shù)據(jù)識(shí)別與管理以及數(shù)據(jù)存儲(chǔ)等工作。本檢測(cè)系統(tǒng)上位機(jī)軟件設(shè)計(jì)成設(shè)備層、數(shù)據(jù)層和用戶層3部分，設(shè)備層主要是完成成像模塊，采集處理模塊的控制工作，完成圖像采集控制，脈沖信號(hào)控制、圖像處理和圖像編碼，控制成像模塊圖像獲取，光源啟停等；數(shù)據(jù)層主要是對(duì)采集處理的圖像進(jìn)行進(jìn)一步分類，識(shí)別異常，同時(shí)分別保存源數(shù)據(jù)和異常數(shù)據(jù)。用戶控制層主要完成對(duì)圖像顯示以及設(shè)備層、數(shù)據(jù)層的參數(shù)控制。

3 系統(tǒng)測(cè)試驗(yàn)證

3.1 試驗(yàn)裝置

系統(tǒng)的采集控制部分已在檢測(cè)速度160 km·h-1的綜合巡檢車上部署安裝，采集頻率不低于50 kHz。

為了驗(yàn)證系統(tǒng)總體性能，在北京環(huán)形鐵道試驗(yàn)線，采用電動(dòng)試驗(yàn)小車對(duì)圖像采集效果、識(shí)別效果分別進(jìn)行試驗(yàn)，最高時(shí)速20 km·h-1。

3.2 光學(xué)成像與圖像采集

本文采用橫向像素為4 096 pixel 的線陣一體化成像組件，使用基于FPGA 和DSP 的軌道巡檢系統(tǒng)進(jìn)行數(shù)據(jù)采集，在試驗(yàn)過(guò)程對(duì)相關(guān)參數(shù)進(jìn)行了配置，成像模塊的安裝高度距軌面670 mm，曝光值為18 μs，壓縮Q值為60，相機(jī)的視場(chǎng)約為1 670 mm。圖15 為采集到的軌道圖像。由圖15 可見，圖像清晰完整，軌道區(qū)域成像均勻，無(wú)陽(yáng)光干擾，鋼軌表面未出現(xiàn)過(guò)曝現(xiàn)象。改系統(tǒng)可為扣件異常識(shí)別提供質(zhì)量較好的基礎(chǔ)數(shù)據(jù)。

3.3 軌道區(qū)域識(shí)別試驗(yàn)

圖15 軌道圖像

檢測(cè)系統(tǒng)通過(guò)軌道區(qū)域識(shí)別算法實(shí)現(xiàn)鋼軌區(qū)域的識(shí)別，通過(guò)網(wǎng)絡(luò)協(xié)議將定位結(jié)果上傳至上位機(jī)端。試驗(yàn)以分割錯(cuò)誤率和處理時(shí)間為指標(biāo)評(píng)價(jià)識(shí)別算法的性能。統(tǒng)計(jì)學(xué)習(xí)模型的樣本集按1 000 幀圖像統(tǒng)計(jì)1 次，共3 次。系統(tǒng)對(duì)鋼軌區(qū)域定位的統(tǒng)計(jì)分析結(jié)果見表2。

表2 軌道區(qū)域識(shí)別算法性能統(tǒng)計(jì)

從表2 可以看出：軌道區(qū)域識(shí)別算法單幀處理時(shí)間為16～17 ms，速度較快，可以保證系統(tǒng)的整體實(shí)時(shí)性；從定位錯(cuò)誤率來(lái)看，本文算法對(duì)鋼軌定位的準(zhǔn)確率高于99.5%，出現(xiàn)的算法失效是由試驗(yàn)車在過(guò)曲線時(shí)因車身傾斜造成的鋼軌位置發(fā)生偏移所致，但完全在允許的誤差范圍之內(nèi)。

采用激光光源后，圖像整體亮度分布相對(duì)統(tǒng)一，有效抑制了陽(yáng)光干擾，同時(shí)在算法中通過(guò)統(tǒng)計(jì)學(xué)習(xí)后，剔除錯(cuò)誤信息，進(jìn)一步提升了鋼軌區(qū)域定位準(zhǔn)確性。

3.4 扣件定位與缺陷識(shí)別試驗(yàn)

在環(huán)形鐵道試驗(yàn)線進(jìn)行軌道圖像扣件定位與缺陷識(shí)別試驗(yàn)，扣件的定位準(zhǔn)確率與扣件缺失判斷準(zhǔn)確率為100%。每幀處理時(shí)間約為30 ms，采用多核并行處理，可以滿足實(shí)時(shí)性要求。圖16 為扣件定位效果圖。

采用上文標(biāo)注數(shù)據(jù)對(duì)扣件缺陷識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)環(huán)形鐵道試驗(yàn)線采集的圖像進(jìn)行跨數(shù)據(jù)集扣件缺陷識(shí)別測(cè)試，樣本量為20 000 個(gè)，每幀圖像處理時(shí)間約為15 ms，識(shí)別率高于80%，可有效檢出異?？奂?。

圖16 扣件定位效果圖

選取［0.2，1.0］范圍內(nèi)不同閾值進(jìn)行測(cè)試，得到扣件缺陷識(shí)別精確率—召回率（P-R）曲線，如圖17 所示。從圖17 可以看出：在召回率80%的情況下，精確率可以達(dá)到約88%，算法性能較好。

圖17 扣件缺陷識(shí)別精確率—召回率曲線

4 結(jié) 語(yǔ)

本文設(shè)計(jì)了基于FPGA 和DSP 的高速實(shí)時(shí)圖像采集處理系統(tǒng)：基于軌道設(shè)施的成像需求，設(shè)計(jì)了光學(xué)成像系統(tǒng)，并在嵌入式平臺(tái)下完成了高分辨率軌道圖像采集；基于數(shù)字圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法設(shè)計(jì)了鋼軌區(qū)域識(shí)別、扣件定位及缺陷識(shí)別算法，實(shí)現(xiàn)了對(duì)軌道區(qū)域和扣件的自動(dòng)定位，通過(guò)進(jìn)一步分類實(shí)現(xiàn)了扣件異常的識(shí)別；完成了上位機(jī)軟件的設(shè)計(jì)。本文所述系統(tǒng)通過(guò)采用嵌入式技術(shù)，提高了圖像采集速度，在圖像未壓縮前進(jìn)行圖像預(yù)處理，對(duì)扣件異常進(jìn)行了識(shí)別，提高了系統(tǒng)的實(shí)時(shí)性，提升了檢測(cè)效率。目前，該系統(tǒng)已在綜合巡檢車應(yīng)用，且系統(tǒng)運(yùn)行穩(wěn)定，系統(tǒng)的最高檢測(cè)速度可達(dá)160 km·h-1。

本文所研究的系統(tǒng)通過(guò)將軌道設(shè)施圖像進(jìn)行壓縮、預(yù)處理，提高了系統(tǒng)的采集處理實(shí)時(shí)性，F(xiàn)P?GA+DSP 圖像處理平臺(tái)為實(shí)時(shí)軌道區(qū)域識(shí)別、扣件缺失定位和扣件缺陷識(shí)別提供了高效的計(jì)算資源。有效利用其多核流水線結(jié)構(gòu)和大數(shù)據(jù)吞吐能力，尤其在影響算法執(zhí)行效率的關(guān)鍵環(huán)節(jié)，盡量降低機(jī)器的執(zhí)行指令周期，進(jìn)一步提高算法的性能是下一步的改進(jìn)目標(biāo)。另外，隨著AI 模塊的發(fā)展，具有更高并行能力的小型化處理平臺(tái)可以提供更強(qiáng)的計(jì)算性能，因此基于FPGA+小型化AI 模塊的嵌入式實(shí)時(shí)圖像采集處理平臺(tái)也是一個(gè)值得探索的新方向。