江 濤,陶健成,范 旭

(1.中海油能源發(fā)展股份有限公司采油服務分公司，天津 塘沽 300452；2.東南大學自動化學院，江蘇 南京 210096)

0 引言

在油氣勘探中，集氣站是重要組成部分。集氣站需要各種儀表實時指示當前集氣站的工作狀態(tài)，以確保整個系統(tǒng)的安全、穩(wěn)定運行，并在較短時間內(nèi)發(fā)現(xiàn)危險。目前，多數(shù)集氣站主要依靠人工巡檢保障設備正常工作，主要存在以下缺點：儀表設備多，造成巡檢工作繁雜、耗時；巡檢頻次高，造成測量人員因疲勞等原因產(chǎn)生讀數(shù)誤差；集氣站有毒有害氣體會對巡檢人員的身體造成損害[1]。

隨著機器視覺和深度學習的興起，人們可以實現(xiàn)對目標像素級的識別與分割。機器人技術在各行各業(yè)得到廣泛運用，可以代替工作人員進入更危險的場所、執(zhí)行更精準的動作；加之人力成本上升趨勢和產(chǎn)業(yè)升級的需要，對集氣站各類儀表進行自動巡檢與讀數(shù)迫在眉睫，在行業(yè)有著現(xiàn)實需要和應用前景。本文對指針式儀表自動讀數(shù)的實現(xiàn)方式進行了研究。

1 總體結構

指針式儀表的自動讀數(shù)算法由兩部分組成：儀表的識別定位和儀表表盤的建模讀數(shù)。儀表的識別定位主要實現(xiàn)圖像預處理和儀表檢測[2]。圖像預處理使用雙邊濾波實現(xiàn)去噪，并使用單尺度Retinex實現(xiàn)增強。儀表檢測采用一種Mask基于區(qū)域的卷積神經(jīng)網(wǎng)絡(region-based convolutional neural network,RCNN)[3-4]。儀表表盤的建模讀數(shù)主要用于確定指針區(qū)域、實現(xiàn)指針擬合和利用角度計算示數(shù)。該儀表采用局部閾值二值化和劃分連通域提取指針區(qū)域，以查表法細化指針和累計概率Hough變換實現(xiàn)指針擬合，通過對表盤進行建模而利用角度關系計算示數(shù)。算法以儀表圖片作為輸入、儀表示數(shù)作為輸出。算法架構圖如圖1所示。

圖1 算法架構圖

2 儀表識別與定位

2.1 圖像預處理

2.1.1 雙邊濾波

儀表類圖像較為有效的信息在于物體與背景交接的邊界信息。常用的線性濾波方式，諸如高斯濾波等，會混淆圖像的這部分信息。作為一種典型的非線性濾波算法，雙邊濾波器[5]是一種用于保留邊界、平滑降噪的濾波器。與高斯濾波類似，雙邊濾波器同樣采用鄰接點像素值進行加權平均的值來代替該像素的值。但與前者不同的是，它的權重不僅與像素點間的歐氏距離有關，還與深度距離、顏色差異等因素有關。這種濾波器在保護邊界信息方面卓有成效[6]。圖2展示了雙邊濾波測試結果。從圖2所示的對比結果來看，原始圖像中的儀表刻度線周圍分布散亂噪點，對后續(xù)的圖像處理產(chǎn)生干擾。相比之下，雙邊濾波算法可以有效地在不混淆邊界信息的情況下去除噪點。

圖2 雙邊濾波測試結果

2.1.2 單尺度Retinex

logli(x,y)=log[si(x,y)·Gi(x,y)]

(1)

(2)

式中：i∈{R,G,B}。

通過對輸出圖像應用標準增益調(diào)整其亮度范圍，可獲得最終的輸出圖像。SSR測試結果如圖3所示。

圖3 SSR測試結果

通過圖3所示的對比結果可以看到：在原始圖像中，很難用肉眼分辨儀表的具體數(shù)據(jù)；在經(jīng)過算法處理后的圖像中，指針與刻度線區(qū)域與背景區(qū)分得較為明顯。

2.2 Mask RCNN模型結構

與基于更簡單工程特征的系統(tǒng)相比，Mask RCNN可以顯著提高目標檢測性能并且實現(xiàn)圖像的實例分割[8]。每個像素被劃分為一組區(qū)分不同對象的固定類別。Mask RCNN是Faster RCNN的改進。它為每個感興趣區(qū)域增加了一個用于預測分割掩碼的分支，并使用RoIAlign層替換RoIPool層[9]。Mask RCNN整體結構如圖4所示。

圖4 Mask RCNN整體結構圖

卷積神經(jīng)網(wǎng)絡部分采用的是殘差神經(jīng)網(wǎng)絡，可以很好地解決因網(wǎng)絡層次太多而導致的退化問題。

2.3 儀表識別試驗與結果

本文采用ResNet-50作為特征提取網(wǎng)絡。ResNet-50需要大量數(shù)據(jù)來調(diào)整參數(shù)值，以達到最佳特征提取效果。獲得儀表數(shù)據(jù)集后，按8∶2區(qū)分為訓練和驗證集，并且需要手動對2個子集圖像中的儀表掩碼進行標注，將其存儲為.json格式文件用于后續(xù)調(diào)用。試驗中共獲得112張訓練集圖像和28張驗證集圖像。

由于數(shù)據(jù)集小、訓練資源有限，加之識別目標較為簡單，試驗采用遷移學習的方式進行訓練。本文在特征提取部分采用COCO數(shù)據(jù)集權重參數(shù)，以減少待優(yōu)化參數(shù)數(shù)量，從而盡快達到收斂；在檢測部分使用自制儀表訓練集進行重新訓練，以實現(xiàn)檢測儀表的特定應用。試驗中：設置區(qū)域推薦網(wǎng)絡中正負樣本比例約為1∶2；共設置10個階段，每個階段訓練50次；預測過程中置信區(qū)分度設置為0.9。在訓練和推斷過程中使用的試驗配置環(huán)境如表1所示。

表1 試驗配置環(huán)境

最后，使用準確率最高的模型對測試圖片進行預測。儀表掩碼預測結果如圖5所示。

圖5 儀表掩碼預測結果

從圖5能夠直觀地看到儀表掩碼和邊界框位置，也可以通過獲得邊界框四點坐標，進一步對儀表區(qū)域進行裁剪。

3 表盤建模讀數(shù)

3.1 確定指針區(qū)域

3.1.1 局部閾值二值化

對圖像進行二值處理，是分離有效信息(例如刻度、指針等)與背景環(huán)境的有效方法。按閾值作用方式劃分，二值化可分為局部和全局?？紤]到在獲取的儀表圖像的邊緣仍存在背景環(huán)境，采用全局二值化可能會將背景信息視為有效信息，為后續(xù)處理帶來干擾。因此，本文采用局部二值化。它會為每個像素點單獨計算閾值。計算過程為：

(3)

式中：(i,j)為前景像素點鄰域內(nèi)一點;m為鄰域大小;G(i,j)為權重參數(shù);g(i,j)為像素值;c為偏移參數(shù);T為閾值。

由式(3)可知，某點閾值僅與該點周圍像素值有關。這對亮暗不均勻、反光、復雜背景等環(huán)境中的儀表圖像具有很好的區(qū)分效果。在實際使用時，通過調(diào)節(jié)偏移參數(shù)c和鄰域大小m，可得最佳效果。

3.1.2 劃分連通域

在獲得二值化圖像后，需要對其進行連通域[10-11]的劃分。其目的在于將有相互關聯(lián)的前景像素點劃為獨立的區(qū)域塊，并通過對區(qū)域塊進行形態(tài)學處理來獲得目標區(qū)域。用于劃分連通域的常見方法主要有四鄰接法和八鄰接法2種。記某非圖像邊緣的物體像素點為D1，其周圍分布有D2到D8共8個像素點。四鄰接法定義D1與Di(i=3,5,7,9)有關聯(lián)。八鄰接法定義D1與Di(2≤i≤9,i∈N)有關聯(lián)。鄰接法原理如圖6所示。為了避免劃分的區(qū)域塊過于破碎、便于后續(xù)環(huán)節(jié)處理，本文采用八鄰接法。

圖6 鄰接法原理示意圖

在獲得所有區(qū)域塊后，需要對其進行篩選。由于不同儀表指針規(guī)格類似，從面積、長寬比等幾方面指標進行篩選，具體條件如下：

(4)

式中：a為連通區(qū)域塊面積;r為連通區(qū)域塊長寬比;S為整個圖像面積。

通過上述條件，可以很好地篩選指針區(qū)域。

3.2 指針擬合

3.2.1 指針細化

獲得指針連通域后，需要對指針進行細化，明確其所指方向。本文采用的指針細化方法是查表法[12]。對于任一非圖像邊緣像素點，它的鄰域有8個像素點。每個像素點的值都有255和0這2種可能，因此共有28=256種可能性。逐個分析每種情況，將需要刪除的標記為1、保留的標記為0，從而得到1個可供索引的一維數(shù)組。設數(shù)組長度為256，則用于搜索數(shù)組的索引值為：

(5)

(6)

式中：g(Di)為點Di的像素值。

在使用時，需要對區(qū)域塊中的點進行遍歷，根據(jù)其周圍8個像素點的情況查找數(shù)組判斷是否刪除。通常將行遍歷和列遍歷作為一次循環(huán)。循環(huán)次數(shù)可根據(jù)實際情況自行定義。

3.2.2 累計概率Hough線檢測

對圖像進行細化處理后，可得構成骨架的一系列離散點，但還無法用公式對直線進行描述。Hough線檢測是用于檢測與定位圖像中線段的常用算法。它的缺點在于計算量大、效率低且無法給出線段的端點。基于此，可得到改進的累計概率Hough線檢測[13]，在實際檢測時更符合要求。本文將使用此方法定位圖像中的直線。

考慮到在3.1.2節(jié)獲得的指針區(qū)域塊不可避免地存在儀表規(guī)格參數(shù)、廠家名稱等背景信息，并且這些信息細化后的線段相對于指針線段來說較短，因此將獲得的最長線段認定為指針線段并進行后續(xù)的讀數(shù)處理。至此，可以得到指針線段的2個端點，并可以用直線公式對指針進行表達。

3.3 角度法讀數(shù)

實現(xiàn)讀數(shù)的前提是獲得刻度圓盤和指針線段的位置。通過前述過程，已經(jīng)能夠得到指針線段的2個端點。由于不同規(guī)格儀表的刻度盤和刻度線形狀不一，無法找到普適的算法對刻度盤進行提取，因此本文主要依靠人工標定的方式獲得關鍵參數(shù)，包括量程最大值和最小值，以及量程最大值、最小值和中值所在點坐標。設量程最大值Vmax、最小值Vmin和中值這3點坐標分別為(xs,ys)、(xe,ye)和(xm,ym)，則可以通過列寫以下方程組解圓心坐標(xo,yo)和半徑R：

(7)

獲得圓心坐標后，即可區(qū)分指針線段的頭尾2端。多數(shù)儀表的指針頭部細長、尾部粗短。通過計算2端點到圓心距離進行判斷：距離較長的為頭部，較短的為尾部。實際計算中，由于這些點近似共線，故只需判斷橫坐標差值。

角度法讀數(shù)原理如圖7所示。

圖7 角度法讀數(shù)原理示意圖

設2端點坐標分別為(x1,y1)和(x2,y2)，則頭部點為：

(8)

將線段的直線公式與刻度盤的圓公式聯(lián)立，可得兩者交點。此時解得的坐標有2個解，保留與指針頭部點距離較近的坐標，判斷過程與上述過程類似。獲得交點坐標(xk,yk)后，利用量程中值點和圓心連線作為基準線，計算此時的α和β角。則讀數(shù)的最終結果可表示為：

(9)

3.4 儀表讀數(shù)試驗與結果

表盤建模讀數(shù)測試結果如圖8所示。

圖8 表盤建模讀數(shù)測試結果

讀數(shù)的算法流程為：首先，對圖像進行局部閾值二值化，分離有效信息與背景信息；然后，對離散點劃分連通域，加以一定條件篩選指針區(qū)域；接著，對區(qū)域進行細化并進行累計概率Hough線檢測，得到最長的線為指針線；最后，根據(jù)前面獲得的信息建模計算示數(shù)。在試驗中，設置鄰域邊長m為10、偏移參數(shù)c為25。

選取典型儀表的測試結果，記錄人工和算法判斷儀表數(shù)據(jù)值、誤差和運行時間等。儀表讀數(shù)測試結果如表2所示。

表2 儀表讀數(shù)測試結果

4 結論

本文基于機器視覺和深度學習，實現(xiàn)了集氣站儀表的自動讀數(shù)；通過雙邊濾波和單尺度Retinex算法，實現(xiàn)了圖像降噪和特征增強；通過Mask RCNN神經(jīng)網(wǎng)絡，實現(xiàn)了儀表識別與定位；通過形態(tài)學和Hough檢測等算法，對表盤進行建模讀數(shù)。試驗結果表明，算法系統(tǒng)運行穩(wěn)定，降噪和特征增效明顯。基于Mask RCNN的儀表識別可以準確地定位儀表位置，減少了背景環(huán)境對讀數(shù)造成的干擾，可將儀表建模讀數(shù)的結果與儀表真實值的誤差率控制在0.5%以內(nèi)，達到了工程應用要求，實現(xiàn)了預期目標。