姚　坤

(中國(guó)電信股份有限公司山東分公司，山東 菏澤　274000)

?

基于OpenCV的水銀體溫計(jì)示數(shù)實(shí)時(shí)檢測(cè)

姚坤

(中國(guó)電信股份有限公司山東分公司，山東 菏澤274000)

為了實(shí)現(xiàn)對(duì)水銀體溫計(jì)產(chǎn)品的在線非接觸式檢測(cè)，設(shè)計(jì)一種示數(shù)檢測(cè)系統(tǒng)；基于特殊的機(jī)械運(yùn)載平臺(tái)設(shè)計(jì)配合線陣相機(jī)對(duì)體溫計(jì)產(chǎn)品進(jìn)行圖像采集，基于OpenCV開(kāi)源視覺(jué)庫(kù)對(duì)圖像進(jìn)行處理，提出一種基于模板匹配和縱向掃描端點(diǎn)查找的圖像搜索算法，通過(guò)確定刻度線和水銀柱升降端在圖像中的相對(duì)位置關(guān)系計(jì)算體溫計(jì)示數(shù)；不借助外部測(cè)量?jī)x器對(duì)產(chǎn)品示數(shù)進(jìn)行實(shí)時(shí)檢測(cè)，可有效取代傳統(tǒng)的人工操作方式；實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)運(yùn)行穩(wěn)定且具有較好的實(shí)時(shí)性，檢測(cè)精度較高，滿足測(cè)量不確定度小于0.1 ℃的檢測(cè)要求。

示數(shù)檢測(cè)；線陣相機(jī)；模板匹配；縱向掃描；OpenCV

0　引言

水銀體溫計(jì)是目前使用最廣泛的體溫測(cè)量工具，在體溫計(jì)的市場(chǎng)份額中占據(jù)著大部分比重。在水銀體溫計(jì)的生產(chǎn)過(guò)程中，產(chǎn)品的檢定是出廠前必不可少的步驟。目前國(guó)內(nèi)的生產(chǎn)線上普遍采用的檢定方法是將產(chǎn)品放置在一定溫度的恒溫水箱中，一段時(shí)間后，取出進(jìn)行人工目測(cè)，根據(jù)示數(shù)判斷是否合格。傳統(tǒng)方法存在準(zhǔn)確度差、效率低等問(wèn)題，由于生產(chǎn)環(huán)境對(duì)溫控的嚴(yán)格要求，車間的高溫會(huì)導(dǎo)致人員易疲勞等問(wèn)題，從而檢測(cè)結(jié)果更易受主觀因素的影響。隨著技術(shù)水平的不斷提高，機(jī)器代替人工進(jìn)行智能化生產(chǎn)檢測(cè)已經(jīng)成為工業(yè)發(fā)展的趨勢(shì)。

在已有的相關(guān)研究中，陳恪等人提出一種基于邊緣檢測(cè)和霍夫變換的溫度計(jì)檢測(cè)方法[1]。另外，向毅等人提出一種基于霍夫變換和形態(tài)學(xué)運(yùn)算的溫度計(jì)讀數(shù)識(shí)別方法，可有效讀數(shù)溫度計(jì)示數(shù)[2]。但是對(duì)于三棱體溫計(jì)的檢測(cè)以上方法適用性不強(qiáng)，且缺少系統(tǒng)化的相關(guān)設(shè)計(jì)，難以實(shí)現(xiàn)產(chǎn)品的在線檢定。本文為了實(shí)現(xiàn)不借助外部測(cè)量?jī)x器，對(duì)體溫計(jì)進(jìn)行實(shí)時(shí)檢定的目的，設(shè)計(jì)了一套水銀體溫計(jì)示數(shù)檢測(cè)系統(tǒng)。該系統(tǒng)可降低勞動(dòng)力成本，有效提高產(chǎn)線工藝水平。

1　檢測(cè)系統(tǒng)的硬件結(jié)構(gòu)平臺(tái)

檢測(cè)系統(tǒng)的硬件平臺(tái)主要由圖像采集模塊、機(jī)械運(yùn)載平臺(tái)和工業(yè)控制計(jì)算機(jī)IPC組成。系統(tǒng)的硬件結(jié)構(gòu)框圖如圖1所示。

圖1　系統(tǒng)的硬件結(jié)構(gòu)框圖

其中，水銀體溫計(jì)置于水平運(yùn)行的履帶式傳送帶上，兩側(cè)裝有固定夾，可保證體溫計(jì)以理想的姿態(tài)經(jīng)過(guò)相機(jī)視場(chǎng)。安裝支架選擇合適的高度固定CCD黑白線陣相機(jī)，在相機(jī)下方安裝LED線光源。系統(tǒng)的成像要求為體溫計(jì)圖像能夠同時(shí)清晰顯示水銀柱和刻度線區(qū)域。對(duì)于體溫計(jì)的三棱玻璃體結(jié)構(gòu)而言，水銀柱和刻度線的觀測(cè)角度不同，因此需要通過(guò)線陣相機(jī)配合體溫計(jì)的旋轉(zhuǎn)動(dòng)作進(jìn)行動(dòng)態(tài)圖像采集[3]。傳送帶上有一凸起的組合型滾筒裝置，當(dāng)體溫計(jì)經(jīng)過(guò)該區(qū)域的頂部位置，會(huì)完成一定程度的自轉(zhuǎn)動(dòng)作，此時(shí)由一側(cè)的傳感器觸發(fā)相機(jī)工作完成圖像的采集。

2　體溫計(jì)檢測(cè)系統(tǒng)設(shè)計(jì)

本文中系統(tǒng)算法設(shè)計(jì)的基本思想為通過(guò)確定刻度線和水銀柱升降端在圖像中的相對(duì)位置關(guān)系計(jì)算體溫計(jì)示數(shù)。首先，在體溫計(jì)圖像中基于二者選定兩個(gè)目標(biāo)測(cè)量點(diǎn)。然后根據(jù)測(cè)量點(diǎn)在區(qū)域中的位置確定其在圖像中的坐標(biāo)，由此可知測(cè)量點(diǎn)之間的距離，經(jīng)公式計(jì)算可得體溫計(jì)的示數(shù)。本文中我們分別選定35℃刻度線和水銀柱升降端頂部上的一點(diǎn)為目標(biāo)測(cè)量點(diǎn)，然后對(duì)其進(jìn)行查找和定位。系統(tǒng)的檢測(cè)算法流程圖如圖2所示。

圖2　系統(tǒng)的檢測(cè)算法流程圖

2.1圖像的預(yù)處理

由于水銀體溫計(jì)生產(chǎn)工藝的不足，不同產(chǎn)品的三棱玻璃柱體規(guī)格存在細(xì)微的差別，這直接導(dǎo)致了水銀柱顯示效果的差異性，如部分圖像中的水銀柱會(huì)出現(xiàn)分叉或過(guò)細(xì)等問(wèn)題。為了增強(qiáng)有關(guān)信息的可檢測(cè)性，我們需要對(duì)相機(jī)采集的圖像進(jìn)行預(yù)處理。對(duì)圖像進(jìn)行縱向拉伸，以保證刻度線區(qū)域和水銀柱的顯示效果具有一定的不變性，該過(guò)程通過(guò)幾何空間變換操作實(shí)現(xiàn)。

幾何空間變換是最常用的圖像處理手段之一，它可以改進(jìn)圖像中像素之間的空間關(guān)系。此類變換也可以稱為“橡皮膜變換”，因?yàn)樗梢钥闯墒菍⒁桓眻D像印刷在橡皮膜上，根據(jù)預(yù)定的一組規(guī)則對(duì)薄膜拉伸，圖像的顯示也隨之變化[4]。為了實(shí)現(xiàn)圖像的拉伸效果，首先我們需要通過(guò)坐標(biāo)空間變換對(duì)圖像進(jìn)行差值放大操作，數(shù)學(xué)表達(dá)式為：

(1)

經(jīng)坐標(biāo)空間變換后，原圖像中的像素在輸出圖像中重新定位到新的位置，此過(guò)程中，經(jīng)過(guò)縱向拉伸的圖像矩陣行數(shù)增多，豎直方向上相比原圖像出現(xiàn)了更多的位置，我們需要對(duì)新位置賦灰度值。上述過(guò)程通過(guò)灰度內(nèi)插操作實(shí)現(xiàn)，為了保持變換后輸出圖像細(xì)節(jié)的完整性以及像素灰度級(jí)的連續(xù)性，我們采用雙三次圖像插值算法[5]。

采集的體溫計(jì)圖像及縱向拉伸后得到的結(jié)果圖像如圖3所示，其中刻度線增長(zhǎng)，水銀柱變寬，該效果有利于后續(xù)圖像處理工作的進(jìn)行。在OpenCV中，此過(guò)程通過(guò)仿射變換操作實(shí)現(xiàn)。

圖3　縱向拉伸過(guò)程示意圖

2.2刻度線區(qū)域目標(biāo)測(cè)量點(diǎn)的定位

本文通過(guò)模板匹配操作實(shí)現(xiàn)對(duì)刻度線區(qū)域內(nèi)目標(biāo)測(cè)量點(diǎn)的檢測(cè)和定位。模板匹配是一種基于區(qū)域的圖像匹配算法，此算法在沒(méi)有較強(qiáng)干擾的情況(遮擋，旋轉(zhuǎn)等)下具有良好的性能表現(xiàn)。系統(tǒng)的圖像采集環(huán)境穩(wěn)定且背景單一，刻度線區(qū)域在采集的體溫計(jì)圖像中具有較強(qiáng)的區(qū)分性，匹配過(guò)程中不存在干擾性因素。

模板匹配通過(guò)對(duì)兩幅圖像相似區(qū)域的搜索實(shí)現(xiàn)目標(biāo)區(qū)域的定位。算法基本原理為：首先確定待匹配的源圖像，取一與目標(biāo)區(qū)域?qū)?yīng)的模板圖像；然后令模板在源圖像中進(jìn)行滑動(dòng)(從左往右，從上往下)，保證其遍歷源圖像中的每一處位置，過(guò)程中根據(jù)一定的相似度量準(zhǔn)則計(jì)算不同位置的相似度；最后，取相似度最高的位置作為輸出結(jié)果，完成模板匹配操作[6]。模板匹配示意圖如圖4所示。

圖4　模板匹配過(guò)程示意圖

其中，源圖像S大小為M*N，像素的灰度值為s(x,y)，x∈[1,M]，模板圖T大小m*n，其中像素的灰度值為t(x,y)，x∈[1,m],y∈[1,n],y∈[1,N]。模板匹配過(guò)程中，當(dāng)在源圖像S中找到和模板T匹配程度最高的區(qū)域，則滿足公式(4)：

(4)

式中,x∈[1,M-m+1]，y∈[1,N-n+1]，R(x,y)為結(jié)果矩陣，其中的元素表示模板圖在源圖像上滑動(dòng)過(guò)程中每一次匹配所得的相似性度量結(jié)果，坐標(biāo)(x',y')對(duì)應(yīng)著源圖像中目標(biāo)區(qū)域的位置信息。結(jié)果矩陣的元素?cái)?shù)為模板匹配過(guò)程中區(qū)域相似度量的計(jì)算次數(shù)，即(M-m+1)*(N-n+1)。

圖像相似性度量實(shí)質(zhì)上是兩個(gè)二維向量相似性的度量，相似性度量準(zhǔn)則是關(guān)于灰度相似性的度量函數(shù)，主要有兩類，分別基于兩種標(biāo)準(zhǔn)：差值和相關(guān)性?；诓钪颠M(jìn)行相似性度量，求得結(jié)果越小說(shuō)明兩幅圖像差異越小，二者相似性越大；基于相關(guān)性進(jìn)行相似性度量，求得結(jié)果越大說(shuō)明兩幅圖像之間越接近。相比基于相關(guān)性的度量算法基于差值的算法復(fù)雜度較低，計(jì)算量小，但是匹配結(jié)果的可靠性不如前者理想。本文采取灰度相關(guān)匹配算法，此類算法的性能主要取決于相似性度量準(zhǔn)則和極值搜索策略的選取。

本文選擇歸一化互相關(guān)(normalized correlation method，NCC)算法計(jì)算模板圖像與目標(biāo)圖像之間的互相關(guān)值，以確定兩幅圖像之間的相似性大小。該算法具有較強(qiáng)的抗噪聲能力以及較高的匹配準(zhǔn)確率，因此廣泛應(yīng)用于工業(yè)檢測(cè)、導(dǎo)航制導(dǎo)等重要領(lǐng)域的視覺(jué)工程中[7]。其定義如式(5)：

(5)

模板匹配完成后得到結(jié)果矩陣，在OpenCV中被定義為32位浮點(diǎn)型單通道數(shù)據(jù)類型[8]。通過(guò)遍歷搜索確定矩陣中數(shù)值最大的元素所在的位置坐標(biāo)，此坐標(biāo)對(duì)應(yīng)著模板圖像與源圖像中相似度最大區(qū)域的左上角點(diǎn)，代表目標(biāo)區(qū)域的位置信息。遍歷搜索策略可以保證結(jié)果的準(zhǔn)確性，另外收斂速度快，性能可靠。模板匹配輸出的結(jié)果圖像如圖5所示。

圖5　模板匹配輸出的結(jié)果圖像

根據(jù)刻度線區(qū)域預(yù)定義模板的大小和模板匹配輸出的目標(biāo)區(qū)域左上角點(diǎn)坐標(biāo)，可知我們關(guān)注的刻度線區(qū)域目標(biāo)測(cè)量點(diǎn)在體溫計(jì)圖像中的位置。

2.3水銀柱升降端目標(biāo)測(cè)量點(diǎn)的定位

本文提出一種縱向掃描查找算法對(duì)水銀柱升降端頂部進(jìn)行定位。首先我們需要“提取”圖像中的水銀柱區(qū)域，去除圖像中的其它部分，該過(guò)程主要通過(guò)閾值化處理和數(shù)學(xué)形態(tài)學(xué)操作實(shí)現(xiàn)。圖像處理操作流程圖如圖6所示。

圖6　圖像處理流程圖

閾值化處理和數(shù)學(xué)形態(tài)學(xué)操作是常用的圖像處理工具，可準(zhǔn)確提取出圖像中表達(dá)和描述區(qū)域形狀的分量，如骨架、邊界和凸殼等。腐蝕和膨脹兩種操作是形態(tài)學(xué)運(yùn)算的基礎(chǔ)，可實(shí)現(xiàn)圖像中像素集合區(qū)域的增長(zhǎng)或收縮[9]。

腐蝕和膨脹經(jīng)過(guò)不同的組合可實(shí)現(xiàn)另外兩種形態(tài)學(xué)操作，閉運(yùn)算是先膨脹后腐蝕，可清除圖像中小型的黑洞，而開(kāi)運(yùn)算是先腐蝕后膨脹，可消除圖像中的小面積白色團(tuán)塊。圖像處理的過(guò)程示意圖如圖7所示。

圖7　提取水銀柱區(qū)域的圖像處理過(guò)程示意圖

經(jīng)以上操作，可以得到獨(dú)立的水銀柱區(qū)域圖像，如圖7(f)所示?，F(xiàn)對(duì)其進(jìn)行縱向掃描，目的是得到水銀柱升降端的頂部端點(diǎn)的坐標(biāo)信息。具體操作為：使用嵌套循環(huán)實(shí)現(xiàn)從左到右逐列掃描整幅圖像，終止條件為檢測(cè)到第一個(gè)灰度值為0的像素點(diǎn)，即水銀柱升降端頂部的一點(diǎn)，后返回該點(diǎn)的坐標(biāo)值，這樣就完成了對(duì)水銀柱升降端頂點(diǎn)的檢測(cè)和定位。

2.4示數(shù)的計(jì)算

由以上操作，可知我們關(guān)注的兩個(gè)目標(biāo)測(cè)量點(diǎn)在體溫計(jì)圖像中所在的位置，取二者的橫坐標(biāo)，可得在被采集圖像中液柱頂端到基準(zhǔn)刻度線之間的水平距離。根據(jù)本文提出的示數(shù)檢測(cè)基本思想，經(jīng)計(jì)算可知體溫計(jì)產(chǎn)品的示數(shù)，計(jì)算公式如式(6)所示：

(6)

式中，K為體溫計(jì)示數(shù)，Ks為設(shè)定基準(zhǔn)刻度線位置對(duì)應(yīng)的讀數(shù)，L為圖像中液柱超過(guò)基準(zhǔn)刻度線的像素?cái)?shù)，t為產(chǎn)品圖像中相鄰刻度線之間的像素?cái)?shù)，其大小取決于相機(jī)的分辨率及工作距離。

3　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中，采用PC的型號(hào)E5500，2 G內(nèi)存、Visual Studio2010和OpenCV的軟硬件環(huán)境，對(duì)示數(shù)不同的水銀體溫計(jì)進(jìn)行檢測(cè)。利用程序開(kāi)發(fā)測(cè)試工具Intel?Parallel Studio XE 2013對(duì)100次程序執(zhí)行過(guò)程進(jìn)行監(jiān)測(cè)，CPU平均耗時(shí)0.518 s，可見(jiàn)該系統(tǒng)具有較好的實(shí)時(shí)性。記錄100次檢測(cè)的輸出結(jié)果并與目測(cè)結(jié)果進(jìn)行對(duì)比，數(shù)據(jù)表明，本系統(tǒng)檢測(cè)精度較高，滿足廠家提出的測(cè)量不確定度小于0.1 ℃的設(shè)計(jì)要求。經(jīng)過(guò)8小時(shí)不間斷的運(yùn)行，系統(tǒng)表現(xiàn)穩(wěn)定，過(guò)程中未出現(xiàn)卡頓、崩潰等問(wèn)題，可見(jiàn)本系統(tǒng)具有較高的可靠性。

有效性。實(shí)驗(yàn)結(jié)果表明，該方法的故障診斷準(zhǔn)確率達(dá)97.5%。在相同條件下，采用VPMCD方法進(jìn)行模式識(shí)別用以對(duì)比，準(zhǔn)確率為87.5%。

4　結(jié)論

將WVPMCD和層次模糊熵應(yīng)用于液壓泵的故障診斷，實(shí)驗(yàn)數(shù)據(jù)分析與比較結(jié)果表明，WVPMCD方法由于在訓(xùn)練時(shí)運(yùn)用加權(quán)最小二乘參數(shù)估計(jì)法代替最小二乘參數(shù)估計(jì)法，克服了模型可能出現(xiàn)的異方差，提高了預(yù)測(cè)精度，有效實(shí)現(xiàn)了對(duì)液壓泵的故障診斷。

[1]Raghuraj R,Lakshminaryanan S. Variable Predictive Models—A New Multivariate Classification Approach for Pattern Recognition Applications[J]. Pattern Recognition,2009,42(1):7-16.

[2] 程軍圣,馬興偉,楊宇. 基于VPMCD和EMD的齒輪故障診斷方法[J]. 振動(dòng)與沖擊,2013,32(20):9-13.

[3] 羅頌榮,程軍圣,鄭近德等. GA-VPMCD方法及其在機(jī)械故障智能診斷中的應(yīng)用[J]. 振動(dòng)工程學(xué)報(bào),2014,27(2):289-295.

[4] 楊宇,李永國(guó),程軍圣. WVPMCD及其在滾動(dòng)軸承故障診斷中的應(yīng)用[J]. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,41(2):52-57.

[5] Richmann J S,Moorman J R. Physiological Time Series Analysis Using Approximate Entropy and Sample Entropy[J]. American Journal of Physiology-Heart and Circulatory Physiology,2000,278:2039-2049.

[6] Jiang Ying, Peng C K,Xu Yuesheng. Hierarchical Entropy Analysis for Biological Signals[J]. Journal of Computational and Applied Mathematics,2011,(236):728-742.

[7] Zhu Keheng, Song Xigeng, Xue Dongxin. A Roller Bearing Fault Diagnosis Method Based on Hierarchical Entropy and Support Vector Machine with Particle Swarm Optimization Algorithm[J]. Measurement, 2014(47):669-675.

[8] 陳偉婷. 基于熵的表面肌電信號(hào)特征提取研究[D]. 上海:上海交通大學(xué),2008.

Reading Inspection of Mercury Thermometer Based on OpenCV

Yao Kun

(China Telecom Co., Ltd，Shandong Branch, Heze274000, China)

In order to realize the non-contact inspection of mercury thermometer products in the assembly line, a kind of reading inspection system was designed. Images were acquired with line-scan digital camera based on the mechanical vehicle platform, the image was processed based on OpenCV open-source vision library, a kind of image algorithm based on template matching and longitudinal scanning for the endpoint lookup, thermometer reading was calculated through the interested points in the image, which are located in scale line and mercury lift side; The system can realize real-time inspection without external measuring instrument, which can effectively replace the traditional manual operation mode. The experimental results showed that the system has stable operation，good real-time performance and high precision, the measurement uncertainty is less than 0.1 ℃.

reading inspection; line-scan digital camera; template matching ; longitudinal scanning ; OpenCV

2015-08-09；

2015-09-16。

姚坤(1990-)，男，碩士，工程師，主要從事網(wǎng)絡(luò)系統(tǒng)構(gòu)架和多媒體通信方向的研究。

1671-4598(2016)01-0089-03

10.16526/j.cnki.11-4762/tp.2016.01.024

TP391.4

A