劉宏利，呂俊杰，邵 磊，李 季，于 曉

（天津理工大學(xué) 電氣電子工程學(xué)院，天津 300384）

0 引 言

在人們生產(chǎn)生活中，智能數(shù)字儀表因其本身精度高、易讀取、操作方便等優(yōu)勢被普遍應(yīng)用于各個(gè)領(lǐng)域中。實(shí)際上，智能儀表的規(guī)格型號繁多并且互不兼容，即使當(dāng)前較高檔的智能數(shù)字儀表對于遠(yuǎn)程通信領(lǐng)域已經(jīng)擁有了無線通信接口，但在某些特殊應(yīng)用場景下，依然免不了仍需人工實(shí)地對儀表數(shù)據(jù)進(jìn)行采集，這種方法不僅時(shí)效慢而且不能保證準(zhǔn)確率。近幾年，機(jī)器視覺技術(shù)和圖像處理技術(shù)發(fā)展迅猛，典型的儀表數(shù)字識別過程由區(qū)域定位、字符分割、字符識別三部分組成[1]。其中，儀表區(qū)域定位是數(shù)字識別的前提，起著關(guān)鍵性作用。智能數(shù)字儀表定位的目標(biāo)是結(jié)合目標(biāo)區(qū)域與背景區(qū)域的特點(diǎn)，檢測出顯示能耗數(shù)值的液晶屏區(qū)域。現(xiàn)存的定位方法主要有以下三種：

1）基于紋理分析的定位方法[2]。其主要是通過提取圖像的紋理特征來判別一個(gè)區(qū)域是否是目標(biāo)區(qū)域，要想達(dá)到好的圖像處理效果則要保證圖像有明顯的紋理特征，雖然步驟簡便，但實(shí)際情況是很難直接提取儀表圖像中數(shù)字的特征，定位算法操作不理想，抗噪聲能力較低。

2）基于邊緣的定位方法[3]。根據(jù)目標(biāo)區(qū)域與其他區(qū)域間灰度或結(jié)構(gòu)等信息的差異特性，通過邊緣來進(jìn)行圖像的分割定位。液晶屏和表盤其他區(qū)域的大小形狀以及灰度值都很接近時(shí)，利用邊緣就很難有效地區(qū)分液晶屏區(qū)域和背景區(qū)域。

3）基于圖像彩色信息的定位方法[4]。根據(jù)輸入圖像的特點(diǎn)進(jìn)行顏色空間轉(zhuǎn)換，找到滿足目標(biāo)顏色特征的區(qū)域后再進(jìn)行識別等操作。這種定位方法操作簡單、便于實(shí)現(xiàn)，但是這種方法僅僅考慮了較少的顏色信息，對于復(fù)雜的表盤，例如液晶屏和背景具有類似的灰度值和形狀時(shí)，往往不能進(jìn)行有效的分割和篩選。

多數(shù)算法僅考慮儀表圖像的單一特性，無法高效準(zhǔn)確地達(dá)到定位效果。綜合復(fù)雜多變環(huán)境下儀表圖像的多尺度特性，本文提出綜合運(yùn)用多種特性融合算法實(shí)現(xiàn)快速準(zhǔn)確定位儀表屏幕的目的。

1 多特征降維融合識別法

儀表檢測的目標(biāo)僅限于讀數(shù)區(qū)域一個(gè)類目，考慮使用適合小樣本的二分類方法達(dá)到檢測目的。本文提出一種復(fù)雜環(huán)境下多特征融合儀表屏幕定位方法。首先對樣本數(shù)據(jù)預(yù)處理，采取旋轉(zhuǎn)、剪裁、曝光、歸一化等方法保證數(shù)據(jù)的充足性和多樣性；其次提取儀表灰度圖像的顏色特征、結(jié)構(gòu)特征子[5]和紋理特征子作為儀表目標(biāo)區(qū)域特征描述；接著對高維冗余特征子進(jìn)行優(yōu)化降維處理；然后進(jìn)行多特征描述子的分析和融合；最后通過對融合后的特征子進(jìn)行多種儀表屏幕的分類器訓(xùn)練，實(shí)現(xiàn)儀表讀數(shù)區(qū)域的目標(biāo)定位識別。算法流程如圖1 所示。

圖1 算法流程

1.1 圖像預(yù)處理

目前為止，智能數(shù)字儀表沒有充足的數(shù)據(jù)樣本集，為了保證分類器的泛化能力和魯棒性，通過已采集的圖像進(jìn)行預(yù)處理擴(kuò)充。

原始樣本集由兩個(gè)部分組成：一是生活場景及工業(yè)環(huán)境中拍攝的智能數(shù)字儀表圖像；二是從網(wǎng)絡(luò)上收集的智能數(shù)字儀表圖像。圖像大小從608×720 到2 304×3 072 各不相同，這些圖像樣本中包含國內(nèi)主流數(shù)字顯式儀表生產(chǎn)廠家的十多種規(guī)格類型的智能數(shù)字儀表，而且各圖片拍攝的距離、角度、外部光照等情況各有不同。儀表樣本本身來源有限，需要對數(shù)據(jù)樣本進(jìn)行一定的擴(kuò)充及歸一化操作，常見的數(shù)據(jù)樣本擴(kuò)充的方法有[6]：圖像翻轉(zhuǎn)、剪裁、旋轉(zhuǎn)、鏡像、局部變形、加噪聲、對比變換等，針對本文研究的實(shí)際情況，選擇旋轉(zhuǎn)、剪裁和對比變換的方法來模擬不同視角、距離和光照情況來進(jìn)行樣本的擴(kuò)充，最終得到2 000 幅正負(fù)樣本以供訓(xùn)練測試使用。本文對數(shù)據(jù)集擴(kuò)充的部分正負(fù)樣本如圖2 所示。

圖2 數(shù)據(jù)擴(kuò)充樣例

1.2 儀表特征提取

自然環(huán)境下的智能數(shù)字儀表的識別明顯受光線、陰影、角度等因素的影響，而且數(shù)字儀表圖像具有很多圖像特征，比如顏色特征、紋理特征、結(jié)構(gòu)特征等。在復(fù)雜場景下，單一特征不能夠保證屏幕識別的準(zhǔn)確率，因此，本文提取儀表的顏色特征、灰度共生矩陣和梯度方向直方圖特征作為圖像識別的特征子。

1.2.1 顏色特征提取

智能數(shù)字儀表讀數(shù)區(qū)域是由TN 型液晶屏構(gòu)成，TN型液晶屏顯示原理是基于扭轉(zhuǎn)式向列場效應(yīng)[7]。這種原理在電場的影響下，屏幕顯示不同的顏色，表現(xiàn)在無背光時(shí)屏幕為黑色，有背光時(shí)屏幕為明亮的顏色。另外液晶屏幕有明顯的HSV 顏色特征，在正常外部條件下，其本身背景色調(diào)在灰綠色附近，色飽和度和亮度均較低。所以將彩色圖像進(jìn)行HSV 特征轉(zhuǎn)換，保證液晶屏區(qū)域定位的準(zhǔn)確性。

1.2.2 紋理信息提取

紋理方面可以提取儀表圖像中方向、間隔、變化幅度的綜合因素，最終以矩陣的形式展示[8]。針對儀表液晶屏幕形狀特點(diǎn)和屏幕中數(shù)字特點(diǎn)，以及每個(gè)字符間固定不變間距的特點(diǎn)選用GLCM 進(jìn)行特征提取。在θ 角度上，距離間隔d 的GLCM 為：

為了使GLCM 特征得到有效表征，在得到的矩陣上使用能量、對比度、熵和相關(guān)度這4 個(gè)統(tǒng)計(jì)量作為儀表的特征參數(shù)。

1.2.3 結(jié)構(gòu)特點(diǎn)提取

實(shí)際應(yīng)用場景中，儀表的液晶屏區(qū)域很容易受到光線影響，從而增加識別的難度。儀表圖像HOG 結(jié)構(gòu)特征的提取采用先分塊后整合的思路，可以有效避免局部因素對識別的影響。將圖像每個(gè)像素點(diǎn)的梯度方向用作特征描述子達(dá)到物體檢測的目的。將圖像分成若干個(gè)小的像素胞元cell，使用滑動窗口win 以固定步長遍歷目標(biāo)圖像，每個(gè)像素點(diǎn)的梯度都有2 個(gè)參數(shù)，彩色圖片的幅值代表三通道中最大的幅值，方向是最大幅值對應(yīng)的角度[9]。假設(shè)圖中點(diǎn)A（x，y）處的像素值為H（x，y），此點(diǎn)處的水平方向梯度Gx(x,y)和垂直方向梯度Gy(x,y)分別為：

點(diǎn)A 處幅度值G 和梯度方向θ 分別表示為：

在梯度方向直方圖結(jié)構(gòu)中若干個(gè)像素點(diǎn)構(gòu)成一個(gè)胞元，若干個(gè)胞元構(gòu)成一個(gè)塊block，由于局部梯度強(qiáng)度變化大，所以要對塊進(jìn)行歸一化處理，采用L2-norm 方法，公式如下：

歸一化后最終獲得方向梯度直方圖。現(xiàn)場采集儀表的方向梯度直方圖如圖3 所示。

1.3 儀表特征降維

對于目標(biāo)128×64 尺寸的圖像來說，細(xì)胞元規(guī)定尺寸大小為8×8 像素，連通域塊包含4 個(gè)細(xì)胞元尺寸為16×16，設(shè)定塊移動步長為（8，8），方向bin 為9。則計(jì)算得每個(gè)窗口中的特征向量子維數(shù)為3 780?？梢娙绱烁呔S度的計(jì)算對多特征融合來說會是一個(gè)問題，降維也就顯得至關(guān)重要。主成分分析法是通過換取空間代價(jià)將原數(shù)據(jù)投影到一個(gè)新的低維正交坐標(biāo)空間。在窗口遍歷圖像提取特征時(shí)，會產(chǎn)生大量冗余數(shù)據(jù)增加計(jì)算難度。為了簡化計(jì)算量，提高識別效率，采用PCA 降維[10]的方式可以去除冗余數(shù)據(jù)。

圖3 方向梯度直方圖

1.4 多特征融合

僅僅利用顏色特征提取屏幕顏色信息，灰度共生矩陣提取紋理信息或梯度方向特征提取儀表屏幕結(jié)構(gòu)信息，都不能準(zhǔn)確表現(xiàn)一個(gè)儀表圖像特征信息。多特征融合方法可以充分發(fā)揮各個(gè)特征優(yōu)勢，綜合分析達(dá)到提高分類識別準(zhǔn)確率。本文對各個(gè)特征利用加權(quán)方法進(jìn)行特征融合，根據(jù)每個(gè)單一特征分類影響力的比重設(shè)定各類特征的權(quán)重系數(shù)，從而更好地反映出不同特征對分類識別的貢獻(xiàn)程度，能夠較好地保證樣本模型的原始分布，表示公式如下：

式中：F(n)表示加權(quán)融合后的特征向量；H (i)為第i 個(gè)樣本特征；α(i)為第i 個(gè)特征對應(yīng)的權(quán)值系數(shù)，各權(quán)值系數(shù)滿足

1.5 復(fù)雜場景下儀表分類器的構(gòu)建

實(shí)際情況中數(shù)字智能儀表圖像樣本是有限的，若要想將儀表屏幕與其他非儀表屏幕的部分分門別類，則其屬于小樣本的二分類問題[11]。構(gòu)建分類器的基本思路是在多維空間中構(gòu)造超平面實(shí)現(xiàn)二維空間無法分類回歸等問題，使儀表屏幕類和其他負(fù)樣本類到超平面的垂直距離達(dá)到最大，超平面方程如下：

分類示意圖如圖4 所示，其中，用y=1 表示目標(biāo)儀表液晶屏區(qū)域，y=-1 表示儀表液晶屏以外的區(qū)域。y=0 的直線是正負(fù)兩類中間最大間隔超平面在二維空間退化成的直線。

若輸入空間的數(shù)據(jù)線性不可分，通過引用核函數(shù)構(gòu)建分類器，將低維不可分?jǐn)?shù)據(jù)映射到高維空間，轉(zhuǎn)化為高維空間的點(diǎn)積形式，最終實(shí)現(xiàn)非線性分類。分類函數(shù)公式如下：

式中k(xi,yi)表示核函數(shù)。核函數(shù)選擇收斂域?qū)?、適應(yīng)性強(qiáng)的RBF 核函數(shù)。

圖4 分類平面示意圖

2 實(shí)驗(yàn)與分析

實(shí)驗(yàn)采用的實(shí)現(xiàn)平臺軟件是OpenCV+VS2015。將數(shù)據(jù)集以7∶3 的比例劃分為訓(xùn)練集和測試集。目標(biāo)區(qū)域分為兩個(gè)類別，正樣本為儀表中液晶屏的位置，標(biāo)注為1；負(fù)樣本為不完整包含儀表液晶屏的圖像，標(biāo)注為0。因?yàn)閳D像大小從608×720 到2 304×3 072 各不相同，為了實(shí)驗(yàn)數(shù)據(jù)的統(tǒng)一，將圖像進(jìn)行圖像金字塔方式的歸一化處理，并且通過儀表液晶屏長寬比對整個(gè)樣本集進(jìn)行一個(gè)主導(dǎo)尺寸選擇。實(shí)驗(yàn)樣本集涵蓋了各類場景，包括模糊、儀表傾斜、屏幕反光、顏色干擾、光線不均、背景復(fù)雜等。實(shí)驗(yàn)部分圖像示例如圖5 所示。

圖5 部分樣本示例

圖中，圖5a）表示部分負(fù)樣本，圖5b）表示部分正樣本，圖5c）表示部分測試樣本，囊括了不同角度、光線、背景等因素，保證了樣本的多樣性。

2.1 基于特征降維儀表屏幕識別

結(jié)構(gòu)特征子具有較高維度的特征，所以對HOG 采用主成分分析方法進(jìn)行降維處理，然后再進(jìn)行多特征的融合。圖6 中顯示不同維度下HOG 特征檢測的準(zhǔn)確率。

圖6 不同維度下的準(zhǔn)確率

由圖6 可以看出，準(zhǔn)確率隨著維度的升高逐漸趨于平穩(wěn)。在維度50～500 范圍區(qū)間中，分類準(zhǔn)確率呈上升趨勢，并在維度達(dá)到500～1 100 的范圍過程中趨于穩(wěn)定。所以為了取得小維度下高準(zhǔn)確率的目的，選取500為HOG 特征的降維數(shù)。

2.2 單特征與多特征識別對比

實(shí)驗(yàn)將單一特征與多特征融合的識別方式進(jìn)行了對比。測試集數(shù)量一共600，其中，正樣本數(shù)量為400，負(fù)樣本數(shù)量為200。對比實(shí)驗(yàn)結(jié)果見表1。

表1 不同特征下的對比實(shí)驗(yàn)

由表1 可得，單一GLCM 特征的識別成功率和精準(zhǔn)度最接近本文算法，也可以說明GLCM 特征對儀表屏幕區(qū)域識別貢獻(xiàn)最大。但是僅僅靠單一特征無法全面表現(xiàn)圖像特征信息，融合了多種特征的本文算法具有較高的檢測成功率和精確度，有助于簡化后續(xù)能耗讀數(shù)的分割與識別操作。

3 結(jié) 論

針對數(shù)字智能儀表在復(fù)雜場景中易受外界環(huán)境影響的特點(diǎn)，導(dǎo)致僅依靠單一特征無法保證識別準(zhǔn)確率的問題，通過分析液晶屏特有的顏色機(jī)制、形狀結(jié)構(gòu)特點(diǎn)以及外在影響因素等，提出一種基于多特征融合降維的儀表屏幕定位方法。首先對基礎(chǔ)樣本進(jìn)行預(yù)處理擴(kuò)增技術(shù)，增加樣本集的多樣性，其次結(jié)合HSV 顏色特征、CLCM 特征、HOG 特征區(qū)分目標(biāo)區(qū)域與背景區(qū)域，最后利用PCA 算法對高維特征進(jìn)行降維處理，提高識別的精度與速度。通過實(shí)驗(yàn)可得，單一特征的成功率與精確度低于多特征融合的方法，且本文算法分類成功率達(dá)到94.8%，精確度達(dá)到92.7%，具有一定的優(yōu)越性。