趙文超，王艷新，雍俊飛，曾自豪，趙春鋒

（上海工程技術(shù)大學(xué)工程實訓(xùn)中心，上海 201620）

0 引言

第七屆全國大學(xué)生工程能力綜合競賽中提出大力鼓勵使用AI 技術(shù)，組委會提出水下管道巡檢機器人競賽項目，水下機器人在巡檢時需識別三維物料形狀并進行分類，并根據(jù)物料形狀以不同顏色指示燈指示。若采用單片機采集圖像再尋找特征來判斷物料形狀的方法，由于運算量大，很難找出三維物料不同角度投影的特征，因此該方法不能用于解決此類問題。本文主要研究基于深度學(xué)習(xí)的方法來對不同物料分類，經(jīng)過整體方案以及各類算法的研究，采用嵌入式樹莓派硬件系統(tǒng)，基于開源人工智能TensorFlow 深度學(xué)習(xí)框架，采用Python語言完成圖像采集處理、設(shè)計合理的卷積神經(jīng)網(wǎng)絡(luò)，對附著在管道上的物料進行分類，對結(jié)果進行適當?shù)倪壿嬇袛?，分類準確率高達100%。

1 系統(tǒng)控制流程

水下機器人的巡檢控制程序采用Python 語言開發(fā)，在樹莓派嵌入式微系統(tǒng)中運行，控制程序流程圖如圖1 所示。攝像頭通過USB 連接在樹莓派上，經(jīng)過圖像采集后，通過管道圖像進行水下機器人的運行姿態(tài)控制，使其沿管道進行巡檢。

圖1 控制程序流程圖

另外，利用OpenCV 將輸入的RGB 圖像分割成不同通道的圖像，提取B 通道圖像，將超過設(shè)定閾值的小區(qū)域面積截取下來，再經(jīng)過面積過濾，把整幅圖像中的物料區(qū)域抓取出來并進行高斯模糊處理，采用卷積神經(jīng)網(wǎng)絡(luò)辨別物料形狀可信度，最后經(jīng)過邏輯判斷輸出物料形狀。

2 TensorFlow圖像分類算法設(shè)計

2.1 數(shù)據(jù)集準備

將機器人置于水下沿管道進行巡檢，在水下從不同角度拍攝不同物料（截面形狀圓形和正方形）得到一系列圖片，使用TensorFlow 工具對圖片進行數(shù)據(jù)增強，并充分打亂，得到能夠滿足水下巡檢物料分類識別的圖像數(shù)據(jù)集，如圖2所示，以便用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。

圖2 圓柱體和截面正方形的長方體圖像數(shù)據(jù)集

2.2 卷積神經(jīng)網(wǎng)絡(luò)的框架

基于TensorFlow 深度學(xué)習(xí)框架，使用Ten?sorFlow的Keras包來搭建卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型包括卷積層、最大池化層、全連接層、丟失層、激活層與輸出層等設(shè)計與參數(shù)訓(xùn)練。

水下機器人巡檢物料分類識別設(shè)計的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型框架見表1。首先進行數(shù)據(jù)增強層的設(shè)計，使用插值、鏡像翻轉(zhuǎn)對數(shù)據(jù)集進行擴充；其次設(shè)計了反復(fù)3次卷積層和最大池化層，卷積層采用權(quán)重共享和局部感知的方法檢測輸入圖像的所有位置處的某些局部特征，提取原始數(shù)據(jù)的核心特征，實現(xiàn)輸入數(shù)據(jù)的降維，降低網(wǎng)絡(luò)模型的復(fù)雜度，提高計算速度。最大池化層在圖像上對應(yīng)濾波器大小的區(qū)域，得到圖像區(qū)域的統(tǒng)計值，以此來提取物料圖像中的特征。之后的丟失層防止卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象發(fā)生；再使用鋪平層函數(shù)，將提取的特征鋪平，以便和全連接層相連；全連接層通過特征層提取物體的各個部分的不同特征，然后通過全連接層整合到一起，最后對應(yīng)到輸出層。

表1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型框架表

選擇Adam 作為Optimizer 優(yōu)化器，Sparse?CategoricalCrossentropy 為損失函數(shù)，訓(xùn)練20 輪后把訓(xùn)練模型保存為H5類型。

2.3 卷積神經(jīng)網(wǎng)絡(luò)模型評估

運行Tensorflow 代碼對卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練與驗證（Training and Validation）的模型進行評估，得到其訓(xùn)練與驗證準確性曲線圖（Training and Validation Accuracy）和訓(xùn)練與驗證損失曲線圖（Training and Validation Loss），如圖3 所示。在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播訓(xùn)練過程中，高質(zhì)量的數(shù)據(jù)集、強大的網(wǎng)絡(luò)模型、合理的訓(xùn)練策略可得到較好的深度學(xué)習(xí)效果。水下機器人巡檢搭建的網(wǎng)絡(luò)模型訓(xùn)練準確度（Train?ing Accuracy）在97.5% 以上，其驗證準確度（Validation Accuracy）比訓(xùn)練準確度略高。

對于訓(xùn)練與驗證損失曲線，訓(xùn)練損失（Training Loss）與驗證損失（Validation Loss）需要呈收斂趨勢。如圖3 所示，模型在幾次訓(xùn)練后，兩個損失曲線都開始收斂并且在20 輪訓(xùn)練后均為收斂狀態(tài)，證明此訓(xùn)練模型可作為實踐模型。可以看出，訓(xùn)練損失還有改進的空間，此后將會增加模型的復(fù)雜度。此外，驗證損失也可嘗試通過使用數(shù)據(jù)增強，通過添加更多數(shù)據(jù)來提高通用性與普適性。

圖3 訓(xùn)練與驗證準確性曲線圖（a）和損失曲線圖（b）

3 模型部署與運行效果

3.1 訓(xùn)練模型的轉(zhuǎn)換

水下機器人巡檢控制與物料分類識別主控系統(tǒng)采用樹莓派，考慮到樹莓派處理速度，使用TensorFlow 轉(zhuǎn)換命令將H5 類型模型轉(zhuǎn)換為計算量小、正確率高且損失少的TFLite 模型。訓(xùn)練模型轉(zhuǎn)換成TFLite模型的TensorFlow 轉(zhuǎn)換命令表示如下。

轉(zhuǎn)換完成后得到文件dec_model.tflite，樹莓派中模型運行還需要一個標簽文件（例如dec_la?bel.txt 文件），里面添加識別物料的標簽（rec cir），最終樹莓派系統(tǒng)進行物料分類識別。

3.2 實際運行效果

在樹莓派上安裝好環(huán)境運行代碼，檢測管道上的物料效果如圖4 和圖5 所示。圖4 為截面正方形的長方體、正方體物料識別效果，圖5為圓柱體物料識別效果。圖4 與圖5 中，對原始圖像采用OpenCV 圖像處理函數(shù)，截取黑色物料部分，再將截取的黑色物料圖形放入已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進行預(yù)測，可以看出長方體和圓柱體都能正確地識別、輸出。

圖4 截面正方形的長方體物料識別效果

圖5 圓柱體物料識別效果

4 結(jié)語

在第七屆全國大學(xué)生工程訓(xùn)練綜合能力競賽水下管道巡檢機器人的競賽中，深度學(xué)習(xí)從了解到認識，從嘗試到數(shù)量使用，過程漫長艱辛但是收獲頗豐。本文根據(jù)水下機器人動態(tài)巡檢過程中變角度采集立體物料圖像分析物料形狀的競賽要求，采用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法替代OpenCV 復(fù)雜平面特征物料分析法，避免了大量形狀特征判據(jù)的尋找和存儲，物料分類識別效果明顯、正確率極高。這種分類方法在比賽中獲得成功，對于其他項目開發(fā)中的物料分類識別具有一定的借鑒意義。