許立輝，楊開(kāi)元，徐東東

（中核智能安防科技（西安）有限公司，西安 710061）

0 引言

近年來(lái)，基于傳統(tǒng)模式識(shí)別與深度學(xué)習(xí)方法[1]的計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)得到了長(zhǎng)足發(fā)展。雖然基于深度模型的方案得到了更加廣泛的關(guān)注，但是深度模型在實(shí)際應(yīng)用中往往依賴(lài)高性能的計(jì)算平臺(tái)與大規(guī)模高質(zhì)量的標(biāo)注數(shù)據(jù)才能取得良好的實(shí)現(xiàn)效果。此外，深度模型因其推理過(guò)程的黑盒子屬性，在應(yīng)用中還往往面臨可解釋性差的問(wèn)題。因此，在計(jì)算資源相對(duì)有限、數(shù)據(jù)收集與標(biāo)注成本昂貴或者場(chǎng)景多樣性有限等實(shí)際應(yīng)用中，基于傳統(tǒng)計(jì)算機(jī)視覺(jué)的方法以其效率高、實(shí)現(xiàn)簡(jiǎn)單以及良好的可解釋性等優(yōu)點(diǎn)，仍然是智能儀器儀表系統(tǒng)的流行方案，方便并廣泛應(yīng)用在工業(yè)視覺(jué)、公共安防與自動(dòng)駕駛等實(shí)際應(yīng)用中，是視覺(jué)自動(dòng)化系統(tǒng)的基礎(chǔ)模塊之一。

指針式儀表作為一種測(cè)量工具，具有結(jié)構(gòu)簡(jiǎn)單、使用方便、可靠性高、價(jià)格低廉等優(yōu)點(diǎn)，在工業(yè)生產(chǎn)與生活日用中得到了廣泛的應(yīng)用，比如電力系統(tǒng)、石油化工及鐵路系統(tǒng)等行業(yè)。傳統(tǒng)的指針式儀表讀數(shù)獲取方式主要依靠人工目視測(cè)量，這種方法費(fèi)時(shí)費(fèi)力，自動(dòng)化程度低，工作量大，且容易受到人為因素影響，效率低，誤報(bào)率高，難以滿(mǎn)足實(shí)際生產(chǎn)和工作需要。因此，人工判讀來(lái)識(shí)別指針式儀表的方法受到了巨大挑戰(zhàn)，亟需研發(fā)儀表自動(dòng)化識(shí)別系統(tǒng)，在讀表過(guò)程中盡量減少或完全消除人為因素，以實(shí)現(xiàn)高效的指針式儀表自動(dòng)化識(shí)別。

通常，指針式儀表示數(shù)識(shí)別系統(tǒng)包含圖像采集系統(tǒng)和指針式儀表自動(dòng)化識(shí)別算法，后者為此系統(tǒng)的核心，主要由儀表盤(pán)定位模塊、指針定位模塊與儀表示數(shù)識(shí)別模塊等3個(gè)部分組成。其中，表盤(pán)定位模塊主要負(fù)責(zé)通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)在圖像中精確找尋儀表盤(pán)的位置區(qū)域；指針定位模塊則主要是在表盤(pán)定位模塊輸出的位置區(qū)域內(nèi)，通過(guò)圖像處理或機(jī)器視覺(jué)技術(shù)確定儀表刻度與指針的相對(duì)位置進(jìn)而確定指針位置，或者直接利用指針特征確定指針位置；而儀表示數(shù)識(shí)別模塊則是將通過(guò)預(yù)設(shè)刻度或者OCR等方法將指針位置、角度等轉(zhuǎn)換為明確的指針讀數(shù)，進(jìn)而輸出最終的儀表示數(shù)識(shí)別結(jié)果。

目前，國(guó)內(nèi)外相關(guān)領(lǐng)域?qū)τ谥羔樖絻x表的智能自動(dòng)化識(shí)別做出了大量的研究，取得了一定的成果?，F(xiàn)有研究中采用的方法大體包括Hough相關(guān)算法[2-8]、中心投影法[9]、基于深度模型的方法[10]等。Hough直線(xiàn)變換法通常是在對(duì)儀表盤(pán)圖像進(jìn)行二值化后，采用Hough變換來(lái)定位指針直線(xiàn)。其中，相關(guān)研究主要包括：李金彪等[2]提出了一種基于Snake算法的自動(dòng)識(shí)別方法。該方法由Hough變換粗定位圓形特征、Snake算法精確定位圓形特征與Hough變換檢測(cè)直線(xiàn)特征等3個(gè)主要算法流程構(gòu)成，比較適合于恒定光照等場(chǎng)景變化因素較少的儀表指針檢測(cè)應(yīng)用。此外，Han等[3]提出一種基于改進(jìn)Hough變換的儀表識(shí)別方法。該方法首先通過(guò)自適應(yīng)中值濾波與二值化方法對(duì)儀表圖像進(jìn)行預(yù)處理，然后使用改進(jìn)的Hough變換提取指針直線(xiàn)角度讀取示數(shù)。類(lèi)似地，Yue等[4]也提出了一種基于Hough變換自動(dòng)儀表讀數(shù)方法。該方法通過(guò)測(cè)量指針直線(xiàn)與零刻度直線(xiàn)的夾角來(lái)計(jì)算儀表示數(shù)。更近一步地，張永強(qiáng)等[5]提出了基于收斂映射CM－Hough變換進(jìn)行指針檢測(cè)的算法。該方法直接利用Hough變換的檢測(cè)結(jié)果來(lái)計(jì)算指針位置。與Hough相關(guān)算法不同，中心投影法[6]則是采用Hough變換圓檢測(cè)和para空間均值圓心的方法來(lái)確定儀表盤(pán)的圓心，然后基于傳統(tǒng)中心投影法的雙向掃描求取均值確定角度的算法，并應(yīng)用角度法計(jì)算出儀表指針讀數(shù)。該方法實(shí)現(xiàn)復(fù)雜，計(jì)算量較大，不適用于實(shí)際的工程應(yīng)用。與Hough相關(guān)算法和中心投影法采用傳統(tǒng)模式識(shí)別技術(shù)進(jìn)行指針儀表識(shí)別有所不同，基于深度模型的方法顧名思義是采用深度模型的識(shí)別方法。李金紅[10]等在指針式儀表識(shí)別系統(tǒng)中，率先采用了基于深度目標(biāo)檢測(cè)Fast-RCNN算法[11]來(lái)直接定位指針的目標(biāo)候選框，并據(jù)此裁剪得到指針圖像，然后計(jì)算指針示數(shù)。與前述兩種方法相比，該方法具有更緊湊的端到端推理優(yōu)勢(shì)，在大規(guī)模高質(zhì)量標(biāo)注數(shù)據(jù)下具有檢測(cè)精度更佳的潛力。然而，正如上文所述，該方法基于深度檢測(cè)模型，在具體實(shí)現(xiàn)過(guò)程中需要采集大量包含指針定位框信息的儀表圖像，用于訓(xùn)練深度模型。因此，在實(shí)現(xiàn)中更為復(fù)雜，對(duì)計(jì)算資源的要求也更高。此外，在數(shù)據(jù)標(biāo)注有限的條件下，該方法對(duì)于光照變化大、有陰影干擾的環(huán)境，圖像不清晰的情況下，識(shí)別效果并不理想。綜上，現(xiàn)有儀表識(shí)別方法與系統(tǒng)仍無(wú)法有效兼顧通用性、復(fù)雜性與準(zhǔn)確性，這在一定程度上限制了在實(shí)際場(chǎng)景中的應(yīng)用。

為此，本文針對(duì)標(biāo)度分布均勻的指針式儀表，利用計(jì)算機(jī)視覺(jué)技術(shù)，提出了一種新的簡(jiǎn)單有效的基于指針式儀表數(shù)據(jù)自動(dòng)化讀取系統(tǒng)。本系統(tǒng)主要由兩個(gè)部分組成：圖像采集系統(tǒng)和指針式儀表自動(dòng)化識(shí)別算法。圖像采集系統(tǒng)包含以下3個(gè)步驟：安裝儀表識(shí)別系統(tǒng)，校準(zhǔn)儀表與圖像采集攝像頭并建立儀表模板。儀表自動(dòng)化識(shí)別算法為本系統(tǒng)核心部分，包含以下4個(gè)流程：讀取攝像頭圖像并對(duì)其進(jìn)行預(yù)處理和連通區(qū)域的篩選，獲取圓形儀表盤(pán)圖像；采用Hough圓檢測(cè)方法定位圓形表盤(pán)；將Hough變換方法與邊緣聚類(lèi)分析相結(jié)合，實(shí)現(xiàn)指針邊緣的精確定位；利用指針角度與儀器模板計(jì)算得到當(dāng)前讀數(shù)。

本文為指針式儀表的數(shù)據(jù)讀取提供了一種基于圖像處理與模式識(shí)別的高精度自動(dòng)化采集系統(tǒng)。實(shí)驗(yàn)表明，此系統(tǒng)具有以下優(yōu)點(diǎn)：①通用性強(qiáng)。本系統(tǒng)通過(guò)修改閾值，即可適用于多種應(yīng)用場(chǎng)景與多類(lèi)指針式儀表；②準(zhǔn)確性高。本系統(tǒng)在動(dòng)態(tài)環(huán)境中具有較強(qiáng)的魯棒性，可正確讀取噪聲干擾情況下的儀表數(shù)據(jù)；③實(shí)現(xiàn)簡(jiǎn)單。本系統(tǒng)對(duì)監(jiān)控?cái)z像頭的硬件配置要求不高，非高清圖像也可以通過(guò)該系統(tǒng)得到指針指示。

1 系統(tǒng)總體設(shè)計(jì)

基于計(jì)算機(jī)視覺(jué)的高精度自動(dòng)化指針式儀表識(shí)別系統(tǒng)的實(shí)現(xiàn)，包含圖像采集系統(tǒng)的設(shè)計(jì)與指針式儀表自動(dòng)化識(shí)別算法的設(shè)計(jì)。系統(tǒng)含有指針式儀表、網(wǎng)絡(luò)攝像頭與計(jì)算機(jī)3個(gè)組件，其中指針式儀表為圓形儀表，攝像頭可以是?？当O(jiān)控?cái)z像頭，計(jì)算機(jī)為常見(jiàn)的個(gè)人計(jì)算機(jī)。系統(tǒng)使用流程如下：安裝儀表識(shí)別系統(tǒng)，校準(zhǔn)儀表與攝像頭，使攝像頭指向儀表盤(pán)位置，并建立儀表模板與先驗(yàn)信息；攝像頭采集儀表圖像并通過(guò)網(wǎng)絡(luò)傳輸至計(jì)算機(jī)；利用指針式儀表自動(dòng)化識(shí)別算法對(duì)圖像進(jìn)行分析與處理，實(shí)現(xiàn)儀表讀數(shù)的自動(dòng)識(shí)別。

儀表模板與先驗(yàn)信息的建立指采集并保存儀表的信息，不同類(lèi)型儀表的標(biāo)定信息可能不同，一般包含儀表量程、最小刻度線(xiàn)角度、刻度線(xiàn)范圍、刻度盤(pán)識(shí)別區(qū)域。每個(gè)系統(tǒng)安裝后需要進(jìn)行一次校準(zhǔn)，并將上述先驗(yàn)信息記錄到儀表模板庫(kù)中，這將有助于后續(xù)算法對(duì)儀表讀數(shù)的快速識(shí)別。其中，為保證儀表自動(dòng)化識(shí)別算法的準(zhǔn)確性，刻度盤(pán)識(shí)別區(qū)域應(yīng)包含整個(gè)儀表盤(pán)區(qū)域。

指針式儀表自動(dòng)化識(shí)別算法是此智能儀表識(shí)別系統(tǒng)的核心，也是本文的研究重點(diǎn)。本文以圓形指針式儀表為研究對(duì)象，基于Windows系統(tǒng)Visual studio軟件開(kāi)發(fā)平臺(tái)和OpenCV開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)，利用圖像處理與模式識(shí)別技術(shù)實(shí)現(xiàn)了儀表自動(dòng)化識(shí)別算法，其流程如圖1。

圖1 指針式儀表自動(dòng)化識(shí)別算法流程圖Fig.1 Flow chart of automatic identification algorithm for pointer instrument

2 儀表自動(dòng)化識(shí)別算法

儀表自動(dòng)化識(shí)別算法主要包含以下4個(gè)流程：①采集圖像預(yù)處理，包含圖像讀取、表盤(pán)區(qū)域提取、圖像灰度化與中值濾波；②圓形表盤(pán)定位，采用Hough圓檢測(cè)方法計(jì)算得到圓形的中心與半徑；③指針邊緣精確定位，將Hough變換方法與邊緣聚類(lèi)分析相結(jié)合，定位指針；④示數(shù)識(shí)別，利用指針角度與儀器模板計(jì)算得到當(dāng)前讀數(shù)。

2.1 預(yù)處理

相機(jī)拍攝的照片在拍攝過(guò)程中會(huì)受到各種因素的影響，如光照、溫度和濕度等影響，使采集的圖像中含有噪聲。高斯噪聲、椒鹽噪聲和隨機(jī)噪聲等普遍存在并混疊在一起，當(dāng)信噪比低于一定水平時(shí)，圖像不清晰且質(zhì)量下降，將造成表盤(pán)讀數(shù)不精確。同時(shí)，除儀表盤(pán)外，圖像還包含其他背景信息，這些復(fù)雜的背景信息將嚴(yán)重影響圓形表盤(pán)與指針的定位精度。因此，為了最大限度地降低噪聲干擾和背景信息對(duì)儀表盤(pán)特征提取與讀數(shù)造成的誤差，突出圖像中表盤(pán)相關(guān)的有用信息，應(yīng)對(duì)相機(jī)拍攝的圖片進(jìn)行必要的預(yù)處理。

圖像預(yù)處理包括讀取圖像、表盤(pán)區(qū)域提取、圖像灰度化和中值濾波4個(gè)部分。表盤(pán)區(qū)域提取是指利用安裝系統(tǒng)時(shí)記錄的先驗(yàn)信息，從攝像頭采集的整幅圖像中剪裁出一般為矩形的刻度盤(pán)識(shí)別區(qū)域，此步驟可以去除多余的復(fù)雜背景，降低儀表讀數(shù)自動(dòng)化的難度。圖像灰度化指將彩色刻度盤(pán)圖像轉(zhuǎn)化為灰度圖像，由攝像頭采集的圖像一般為彩色圖像，通過(guò)圖像灰度化，可以去除大量顏色信息，減小后續(xù)運(yùn)算復(fù)雜度和存儲(chǔ)空間。中值濾波的主要目的是減小噪聲并改善圖像質(zhì)量，在儀表盤(pán)反光產(chǎn)生光斑的情況下，灰度化處理容易給圖像帶來(lái)椒鹽噪聲。此外，攝像頭采集圖像時(shí)不可避免地出現(xiàn)其他不可見(jiàn)噪聲等，本系統(tǒng)采用中值濾波來(lái)濾除噪聲。

預(yù)處理后圖片如圖2。

圖2 預(yù)處理后子圖像（刻度盤(pán)識(shí)別區(qū)域）Fig.2 Sub image after preprocessing (dial recognition area)

2.2 圓形表盤(pán)定位

預(yù)處理攝像頭采集圖像獲取刻度盤(pán)識(shí)別區(qū)域后，需要對(duì)儀表的讀數(shù)進(jìn)行識(shí)別，其關(guān)鍵在于確定指針在表盤(pán)上的指向。對(duì)于實(shí)際的指針式儀表盤(pán)，指針已它的軸心為圓心，指針長(zhǎng)度為半徑，在一個(gè)圓周（圓形、扇形或環(huán)形）區(qū)域內(nèi)旋轉(zhuǎn)。定位指針前，需要確認(rèn)此圓周位置，即確定圓心(x0,y0) ，半徑R0。

本系統(tǒng)使用的圓檢測(cè)方案為霍夫曼（Hough Transform）圓檢測(cè)算法[12-14]。該檢測(cè)算法普及程度較高，占用內(nèi)存較少，計(jì)算量小，實(shí)現(xiàn)簡(jiǎn)單，具有很好的情景兼容情況。經(jīng)過(guò)Hough圓檢測(cè)算法處理的圖像如圖3，繪制出表盤(pán)圓形的位置以及圓心的位置。

圖3 Hough圓檢測(cè)結(jié)果Fig.3 Hough circle inspection results

2.3 指針邊緣精確定位

文中指針定位的為Hough直線(xiàn)檢測(cè)環(huán)向模板匹配法徑向灰度求和法。對(duì)于指針定位，本系統(tǒng)采用霍夫曼（Hough Transform）直線(xiàn)檢測(cè)的方法[15]，而后通過(guò)直線(xiàn)上的點(diǎn)與圓的關(guān)系來(lái)將錯(cuò)誤檢測(cè)的直線(xiàn)進(jìn)行過(guò)濾。此方案的難點(diǎn)在于Hough直線(xiàn)檢測(cè)的方法經(jīng)常與Canny邊緣檢測(cè)算子進(jìn)行聯(lián)合使用，而Canny算子的閾值選擇以及Hough直線(xiàn)的長(zhǎng)度選擇都是比較動(dòng)態(tài)的過(guò)程，在調(diào)節(jié)過(guò)程非常困難。本文采用可以連續(xù)調(diào)節(jié)Canny算子和Hough檢測(cè)閾值的方法來(lái)選擇適合于方案的值，初步測(cè)試有較好的效果。圖4展示了通過(guò)Hough直線(xiàn)檢測(cè)的方法找到的儀表指針位置（綠色直線(xiàn)）。

圖4 Hough直線(xiàn)檢測(cè)結(jié)果Fig.4 Hough straight line inspection results

2.4 示數(shù)識(shí)別

在得到圓心坐標(biāo)和直線(xiàn)信息后，需要轉(zhuǎn)化為角度參數(shù)。反切函數(shù)是以x，y相對(duì)于（0, 0）點(diǎn)的位置在不同象限上進(jìn)行計(jì)算的，輸出范圍為（-π,π），因此需要對(duì)輸出值進(jìn)行坐標(biāo)系轉(zhuǎn)換，圖像坐標(biāo)系和常見(jiàn)坐標(biāo)系如圖5。

圖5 圖像坐標(biāo)系和常見(jiàn)坐標(biāo)系Fig.5 Image coordinate system and common coordinate system

常見(jiàn)坐標(biāo)系和圖像坐標(biāo)系[16]都在成像平面上，但它們的原點(diǎn)和度量單位不同。常見(jiàn)坐標(biāo)系的原點(diǎn)通常為成像平面的中點(diǎn)，屬于物理單位，單位是mm。而圖像坐標(biāo)系的單位是pixel，通常用行和列描述像素點(diǎn)位置。因此，二者之間的轉(zhuǎn)換如下：其中dx和dy表示每一列和每一行的個(gè)數(shù)，即1pixel=dxmm，故成像平面與像素坐標(biāo)系的關(guān)系如圖6。

圖6 成像平面與像素坐標(biāo)系的關(guān)系Fig.6 Relationship between imaging plane and pixel coordinate system

故成像平面與像素坐標(biāo)系的關(guān)系公式為：

推出：

文中識(shí)別的指針式儀表刻度是均勻的，指針夾角和儀表刻度的對(duì)應(yīng)關(guān)系是線(xiàn)性的。儀表指針準(zhǔn)確定位后，可計(jì)算出指針與最小刻度線(xiàn)之間的夾角，再將夾角轉(zhuǎn)化為指針示數(shù)，具體函數(shù)為[7]：

其中：（x,y）表示指針遠(yuǎn)點(diǎn)坐標(biāo)，q表示屬于哪一個(gè)象限。根據(jù)模板庫(kù)文件已知的最小刻度值Vmin，最小刻度的初始角度θmin，最大刻度的角度θmax，儀表的量程Range，可計(jì)算出指針示數(shù)V：

3 實(shí)驗(yàn)結(jié)果與分析

圖7所示為壓力監(jiān)測(cè)儀表，量程為0MPa～25MPa，精度為1MPa。在實(shí)際應(yīng)用中，指針角度的誤差允許范圍是±3°，讀數(shù)允許0.3MPa的誤差。表1展示了儀表在正常光照情況下實(shí)驗(yàn)測(cè)試結(jié)果，其中真實(shí)值為多人視覺(jué)觀察的平均值。由表1可知，最大絕對(duì)誤差為不超過(guò)0.3MPa，滿(mǎn)足儀表自動(dòng)示數(shù)的精度識(shí)別要求。

圖7 某品牌指針儀表識(shí)別結(jié)果Fig.7 Recognition results of a brand pointer instrument

表1 指針壓力表實(shí)驗(yàn)結(jié)果Table 1 Test results of pointer pressure gauge

4 結(jié)論

針對(duì)現(xiàn)有儀表識(shí)別方法與系統(tǒng)仍無(wú)法有效兼顧通用性、復(fù)雜性與準(zhǔn)確性的問(wèn)題，提出了一種新的簡(jiǎn)單有效的基于指針式儀表數(shù)據(jù)自動(dòng)化讀取系統(tǒng)。首先，安裝儀表識(shí)別系統(tǒng)，校準(zhǔn)儀表與圖像采集攝像頭并建立儀表模板；其次，儀表自動(dòng)化識(shí)別算法對(duì)圖像進(jìn)行預(yù)處理，使用Hough圓檢測(cè)方法定位表盤(pán)位置，并結(jié)合Hough變換與邊緣聚類(lèi)分析識(shí)別指針角度，利用預(yù)設(shè)儀表模型計(jì)算得出指針讀數(shù)。本文提出的儀表識(shí)別方法與系統(tǒng)在設(shè)計(jì)中有效平衡了復(fù)雜性與準(zhǔn)確性，具有通用性強(qiáng)、實(shí)現(xiàn)簡(jiǎn)單與準(zhǔn)確性高的優(yōu)點(diǎn)，將極大促進(jìn)智能自動(dòng)化在實(shí)際工業(yè)場(chǎng)景中的廣泛應(yīng)用。