李熙瑩，黃秋筱

?

融合直方圖高階統(tǒng)計(jì)特征與GLCM特征的室內(nèi)紅外圖像人群密度分類

李熙瑩，黃秋筱

（中山大學(xué) 工學(xué)院 廣東省智能交通系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，視頻圖像智能分析與應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，廣州 5100061）

公共場所的人群密度信息在公共安全、交通管理、應(yīng)急減災(zāi)等方面具有重要作用，采用紅外技術(shù)，可以在拍攝人群圖像時(shí)避免環(huán)境光照影響。為了實(shí)現(xiàn)室內(nèi)場景下的紅外圖像人群密度分類，提出一種融合灰度直方圖高階統(tǒng)計(jì)特征與灰度共生矩陣特征的人群密度分類方法。首先，根據(jù)紅外圖像的特點(diǎn)，分析并提取樣本圖像灰度直方圖的高階統(tǒng)計(jì)特征，隨后與提取的灰度共生矩陣特征串行融合，最后作為多分類支持向量機(jī)的輸入，對(duì)不同人群密度等級(jí)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，提出的方法對(duì)于不同密度人群圖像的分類準(zhǔn)確率可達(dá)92.13%，同時(shí)特征向量提取簡潔、算法耗時(shí)短。

人群密度分類；紅外圖像；直方圖高階統(tǒng)計(jì)特征；灰度共生矩陣

0 引言

公共場所中通過監(jiān)控?cái)z像機(jī)實(shí)現(xiàn)人群密度估計(jì)具有重要的應(yīng)用價(jià)值和研究意義。可靠的人群密度信息在諸多場所發(fā)揮著關(guān)鍵作用，例如，商場中實(shí)時(shí)的人群密度信息，可直觀了解到各品牌的受關(guān)注度；公共場合中監(jiān)控到某片區(qū)域的人群密度短時(shí)內(nèi)發(fā)生極大變化，這也許意味著遇到緊急情況或突發(fā)事件造成的變化?，F(xiàn)有的關(guān)于人群密度估計(jì)方法的研究大多基于可見光圖像，然而，由于受光照、陰影、行人衣著等的影響，可見光圖像中人群密度估計(jì)的研究存在著諸多難以攻克的問題。相比于可見光圖像，紅外圖像在環(huán)境噪聲不是很大的情況下，實(shí)現(xiàn)人群與背景之間的準(zhǔn)確分割[1]和克服光線變化的影響有著較高的優(yōu)勢，并且涵蓋了豐富的紋理特征和灰度信息。因此，利用紅外圖像實(shí)現(xiàn)人群密度估計(jì)有著良好的應(yīng)用前景。

已有的人群密度估計(jì)方法主要包括像素統(tǒng)計(jì)的方法和紋理分析的方法，其中，紋理分析法得到了廣泛的應(yīng)用。最初，像素統(tǒng)計(jì)的方法由Davies和Chow等人[2-3]提出，該方法將像素統(tǒng)計(jì)特性作為人群密度特征，在低密度時(shí)取得不錯(cuò)的效果，但高密度時(shí)由于人群之間相互遮擋致使誤差增大。此后，Marana[4]提出紋理分析的方法，其依據(jù)在于不同密度的人群圖像對(duì)應(yīng)的紋理模式不同，而利用灰度共生矩陣來描述紋理特征是目前該領(lǐng)域發(fā)展的趨勢[5]。

有學(xué)者根據(jù)圖像紋理在頻率域具有明顯的表現(xiàn)特性這一原理，將小波變換[6]、快速傅里葉變換引入人群密度估計(jì)中，如Marana[7]、Kim[8]、楊國慶等人[9]，在頻率域進(jìn)行灰度共生矩陣特征提取，作為人群密度圖像分類的依據(jù)。但該類方法在獲取紋理特征之前還需對(duì)圖像進(jìn)行頻域變換，這在一定程度上增加了算法的復(fù)雜性，并且行人陰影以及圖像背景紋理對(duì)分類正確率影響較大。

為了適應(yīng)復(fù)雜的應(yīng)用場景，有學(xué)者提出將多種特征融合的方法以提高人群檢測的性能，如Jiang等人[10]利用像素統(tǒng)計(jì)特征對(duì)人群密度進(jìn)行初步判定，然后采用灰度共生矩陣法來確定最終的分類結(jié)果；為了能充分利用局部二值描述算子（Local Binary Patterns，LBP）和灰度共生矩陣（Gray-level co-occurrence matrix，GLCM）紋理特征提取的有效性，薛翠紅等人[11]提出融合局部二值模式與灰度共生矩陣特征提取的人群密度分類方法，首先用旋轉(zhuǎn)不變的LBP算子進(jìn)行濾波，隨后對(duì)濾波后圖像提取灰度共生矩陣特征，這些方法對(duì)于可見光圖像人群密度分類均獲得了較高的準(zhǔn)確率。

由于紅外圖像所具有的紋理特征不同于可見光圖像[12]，致使現(xiàn)有的人群密度估計(jì)方法所具有的優(yōu)越性能難以有效地在紅外圖像中完全得以體現(xiàn)。本文結(jié)合紅外圖像的特點(diǎn)，提出一種基于灰度直方圖高階統(tǒng)計(jì)特征和灰度共生矩陣特征的紅外圖像人群密度估計(jì)方法，整體流程圖如圖1所示。由于目前尚未有公開的紅外人群圖像素材，因此首先采集素材并按照Polus[13]提出的服務(wù)等級(jí)（見表1）將訓(xùn)練素材分類和預(yù)處理，隨后提取素材圖像的灰度直方圖高階統(tǒng)計(jì)特征和灰度共生矩陣特征，送入分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效地解決室內(nèi)公共場所下外圖像中人群密度自動(dòng)分類的問題。

1 紅外人群圖像特征提取

1.1 灰度直方圖高階統(tǒng)計(jì)特征

灰度直方圖是用以表示數(shù)字圖像中灰度級(jí)分布的直方圖，標(biāo)繪了圖像中每種灰度級(jí)的像素的個(gè)數(shù)。圖像灰度直方圖具有一幅圖像灰度分布的總體統(tǒng)計(jì)性質(zhì)，為圖像的分析提供強(qiáng)有力的工具。紅外圖像不但具有豐富的紋理特征，并且還蘊(yùn)含了大量的灰度信息，基于此，本文將灰度直方圖引入人群密度分類領(lǐng)域，研究其統(tǒng)計(jì)特性對(duì)于分類效果的影響。

表1 服務(wù)級(jí)別定義

如圖2所示，圖2(a)是人群密度低時(shí)的紅外圖像示意圖和對(duì)應(yīng)的灰度直方圖，圖2(b)是人群密度高的情況，灰度直方圖的橫坐標(biāo)是灰度值，縱坐標(biāo)是灰度值出現(xiàn)的次數(shù)。由圖可見，不同密度等級(jí)圖像的灰度直方圖具有不同的形態(tài)。低密度圖像的直方圖集中于灰度值低的區(qū)域，而高密度圖像的直方圖灰度值分布相對(duì)分散，并且前者直方圖峰值要高于后者直方圖的峰值。與紋理分析法的基本思想類似，不同密度的人群圖像對(duì)應(yīng)的灰度直方圖不同。因此，灰度直方圖的統(tǒng)計(jì)特征可以作為不同密度等級(jí)的人群圖像分類的依據(jù)之一。

圖1 算法整體框架

Fig.1 The algorithm framework of proposed method.

圖2 人群密度低（左）、高（右）的紅外圖像及對(duì)應(yīng)的灰度直方圖

灰度直方圖統(tǒng)計(jì)特性一般包括：均值、方差、傾斜度、峰度。其中，傾斜度和峰度是對(duì)于直方圖分布的標(biāo)準(zhǔn)三階、四階中心距。假設(shè)灰度直方圖數(shù)學(xué)表達(dá)式為式(1)，則各統(tǒng)計(jì)特征的計(jì)算公式如式(2)至式(5)所示：

式中：N表示灰度值為的像素?cái)?shù)；為圖像總像素?cái)?shù)；為灰度級(jí)數(shù)；表示均值；表示方差；表示傾斜度；表示峰度。

為了有效地對(duì)4類不同密度等級(jí)圖像進(jìn)行區(qū)分，接下來對(duì)上述4個(gè)統(tǒng)計(jì)特征的分類能力進(jìn)行測試，找出具有區(qū)分不同密度人群圖像能力的特征。從4類不同密度等級(jí)的圖像中分別隨機(jī)選取20張圖像，計(jì)算它們的灰度直方圖統(tǒng)計(jì)特征，結(jié)果如圖3所示。整體來看，各密度人群圖像對(duì)應(yīng)的灰度直方圖的傾斜度和峰度特征值差異顯著且無重疊，而均值和方差特征值相反，說明傾斜度和峰度這2個(gè)特征具有較好的區(qū)分能力。

1.2 灰度共生矩陣特征

灰度直方圖描述的是圖像灰度出現(xiàn)的概率，而灰度共生矩陣其反映的是圖像灰度對(duì)出現(xiàn)的概率。前者專注于圖像灰度的全局特征，后者主要反映圖像局部的灰度信息，包括灰度對(duì)偏移量和變化幅度等。用數(shù)學(xué)公式表示：對(duì)于一幅含有個(gè)不同灰度值的圖像，其×大小的共生矩陣可表示為：

式中：和是灰度值；和是圖像中某點(diǎn)的空間位置；(,)表示圖像點(diǎn)(,)的灰度值，偏移量(D,D)表示該矩陣的空間關(guān)系，該偏移量也可用2個(gè)參數(shù)即距離、像素點(diǎn)方向來進(jìn)行替代。一般情況下，距離取1、2、3、4、5，像素點(diǎn)方向取0°、45°、90°和135°。

為了更直觀地用共生矩陣描述紋理狀況，Haralick[14]定義了灰度共生矩陣的14個(gè)特征參數(shù)，最常用的有以下幾種[15]：

1）角二階矩（能量）：

它是各元素值的平方和，刻畫了圖像灰度分布均勻狀況和紋理粗細(xì)程度。

2）慣性矩（對(duì)比度）：

對(duì)比度直接反映了像素灰度對(duì)的亮度對(duì)比情況，也間接反映了圖像的清晰度，以及紋理溝紋情況。

3）熵：

熵反映了圖像中紋理的復(fù)雜程度，其值大則表示元素呈分散分布。

4）逆差距：

逆差距是圖像局部平穩(wěn)性的度量，反映圖像紋理的同質(zhì)性。

1.3 特征融合

在將灰度直方圖統(tǒng)計(jì)特征和灰度共生矩陣特征進(jìn)行融合前，首先需要選取合適的灰度共生矩陣構(gòu)造參數(shù)，包括像素間距、像素方向和灰度級(jí)。與1.1節(jié)中確定灰度直方圖統(tǒng)計(jì)特征的實(shí)驗(yàn)一樣，分別觀察各構(gòu)造參數(shù)的不同取值對(duì)各特征值的影響，從而確定具有區(qū)分不同密度人群圖像能力的構(gòu)造參數(shù)值。經(jīng)實(shí)驗(yàn)分析研究，本文最終選取像素間距為5、像素方向?yàn)?°和90°、灰度級(jí)為16的共生矩陣其能量、對(duì)比度、熵和逆差距值，來綜合表示圖像的紋理信息。而對(duì)于灰度直方圖特征，如1.1節(jié)所述，選取峰值和傾斜度2個(gè)高階統(tǒng)計(jì)特征值，用于表述人群密度圖像的灰度信息。

在確定特征構(gòu)造參數(shù)后，采取串行融合的機(jī)制。設(shè)該圖像的灰度直方圖特征向量用下式表示：

1＝[11,12] (11)

灰度共生矩陣特征向量用下式表示：

2＝[21,22, …,28] (12)

則將它們串行融合后的10維特征向量為：

＝[11,12,21,22, …,28] (13)

2 多分類器設(shè)計(jì)

支持向量機(jī)（SVM）是一種分類算法，其目標(biāo)是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，構(gòu)造一個(gè)目標(biāo)函數(shù)將兩類模式盡可能地區(qū)分開來。由于本文所采用的人群圖像樣本有限，并且支持向量機(jī)非常適用于小樣本的分類，因此本文使用支持向量機(jī)作為人群密度分類器。

支持向量機(jī)最早用于解決二分類問題，它主要通過核函數(shù)將輸入變量映射到一個(gè)高維空間，旨在這個(gè)高維空間構(gòu)造一個(gè)線性最優(yōu)的分類面。用數(shù)學(xué)公式表示就是，設(shè)給定的訓(xùn)練集(x,y)，＝1, …,;∈R;∈{＋1, －1}，在式(14)的約束條件下：

對(duì)求解下列目標(biāo)函數(shù)的最大值：

式中：為與每個(gè)樣本對(duì)應(yīng)的拉格朗日乘子。這是一個(gè)不等式約束下二次函數(shù)的尋優(yōu)問題，解上述問題后得到的最優(yōu)分類函數(shù)為：

式中：sgn()是函數(shù)符號(hào)；(,)是內(nèi)積核函數(shù)。

當(dāng)遇到多類別的時(shí)候，支持向量機(jī)一般采取“一對(duì)一法”的策略，即在任意2類樣本之間設(shè)計(jì)一個(gè)SVM，以本文的人群密度分類器為例，結(jié)構(gòu)圖如圖4所示，內(nèi)積核函數(shù)采用RBF核函數(shù)，因此4個(gè)類別的樣本就需要設(shè)計(jì)6個(gè)SVM。當(dāng)對(duì)一個(gè)未知樣本進(jìn)行分類時(shí)，對(duì)這些SVM分類器采用Friedman提出的決策投票法，即最后得票最多的類別，則為該未知樣本的類別，若獲相同票數(shù)，樣本類別則判斷為類別標(biāo)簽小的那一類。

圖4 人群密度分類器結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)際測試中，紅外圖像的采集工具為FLUKE Ti25，采集地點(diǎn)為商場公共場所（樣本采集區(qū)域面積約為15m2），采集時(shí)間涉及平峰期和高峰期。訓(xùn)練圖片共360張，測試圖片共559張，大小統(tǒng)一為490×455。本文結(jié)合Polus定義的服務(wù)級(jí)別，將人群密度分為低（L）、中低（ML）、中高（MH）和高（H）4類，實(shí)驗(yàn)樣本分布情況如表2所示，示例圖片如圖5所示。

表2 實(shí)驗(yàn)樣本分布情況表

圖5 不同人群密度圖像示例圖

3.2 本文人群密度分類結(jié)果

為證明本文方法的有效性，實(shí)驗(yàn)還對(duì)僅使用灰度共生矩陣的人群密度分類以及僅使用灰度直方圖統(tǒng)計(jì)特性的人群密度分類進(jìn)行了實(shí)驗(yàn)，結(jié)果如表3和表4所示。從結(jié)果來看，灰度直方圖統(tǒng)計(jì)特性在人群密度偏高時(shí)的分類效果優(yōu)于灰度共生矩陣；而灰度共生矩陣特征在人群密度偏低時(shí)分類更加準(zhǔn)確。表5是基于本文方法的人群密度分類結(jié)果。本文將2種特征進(jìn)行融合，有效提高了灰度共生矩陣法對(duì)于處理低密度、中低密度人群圖像分類的準(zhǔn)確性。

表3 灰度共生矩陣分類結(jié)果

表4 灰度直方圖統(tǒng)計(jì)特性分類結(jié)果

表5 本文方法分類結(jié)果

3.3 與其他方法的比較

本節(jié)實(shí)驗(yàn)選擇了2種分類性能較優(yōu)的人群密度分類算法和本文方法從分類效果和算法耗時(shí)上進(jìn)行綜合比較。其中，文獻(xiàn)[6]采用的方法是：對(duì)圖像進(jìn)行三級(jí)小波分解，得到10個(gè)子帶及相應(yīng)的小波系數(shù)，以9個(gè)高頻子帶作為特征提取的基礎(chǔ)，分別從這9個(gè)子帶中提取紋理特征[6]。文獻(xiàn)[11]采用的方法是：用旋轉(zhuǎn)不變的LBP算子進(jìn)行濾波，得到LBP圖像，然后提取濾波后圖像的GLCM特征，最后采用有向無環(huán)圖支持向量機(jī)DAGSVM（Directed Acyclic Graph Support Vector Machine）進(jìn)行密度分類。圖6是本文方法和所選算法對(duì)于各人群密度等級(jí)圖像的分類效果比較。

經(jīng)比較可知，本文方法在處理低密度和中高密度人群圖像時(shí)，分類準(zhǔn)確率和其他2個(gè)方法相差不大，然而在處理中低密度和高密度人群圖像時(shí)效果較其他方法略顯優(yōu)勢。

為了進(jìn)一步對(duì)比本文算法和其他方法之間的性能，接下來對(duì)各算法的耗時(shí)進(jìn)行了實(shí)驗(yàn)，如表6所示。分析可知，本文方法在達(dá)到較高的準(zhǔn)確率的基礎(chǔ)上，所利用的特征向量和耗時(shí)均相對(duì)較少。因此，本文方法具有較好的實(shí)時(shí)性。

圖6 不同方法分類準(zhǔn)確率比較

4 結(jié)論

本文針對(duì)紅外圖像的特點(diǎn)，引入灰度直方圖高階統(tǒng)計(jì)特性，提出了一種融合灰度直方圖高階統(tǒng)計(jì)特征和灰度共生矩陣特征的人群密度分類方法，以SVM支持向量機(jī)構(gòu)成分類器，實(shí)現(xiàn)人群密度分類。通過與其他方法對(duì)比，驗(yàn)證了該方法針對(duì)紅外圖像人群密度分類的有效性和準(zhǔn)確性。即便如此，對(duì)于非常高密度的人群，分類精度還是會(huì)下降，這也是下一步研究的重點(diǎn)。

致謝

感謝華南師范大學(xué)附屬中學(xué)的楊學(xué)霖在紅外圖像采集標(biāo)定和人群密度分類器部分算法設(shè)計(jì)的工作。

表6 本文方法和其他方法的比較

[1] 葉華, 朱明旱, 王日興. 紅外和可見光圖像互補(bǔ)融合的運(yùn)動(dòng)目標(biāo)檢測方法[J]. 紅外技術(shù), 2015, 37(8): 648-654.

YE Hua, ZHU Minghan, WANG Rixing. Fusion of Complementary Information from Infrared and Visual Image for Moving Object Detection[J]., 2015, 37(8): 648-654.

[2] Davies A C, Yin J H, Velastin S A. Crowd monitoring using image processing[J]., 1995, 7(1): 37-47.

[3] Cho S Y, Chow T W S, Leung C T. A neural-based crowd estimation by hybrid global learning algorithm[J].,(), 1999, 29(4): 535-541.

[4] Marana A N, Cavenaghi M A, Ulson R S, et al. Real-time crowd density estimation using images[C]//., 2005: 355-362.

[5] Saqib M, Khan S D, Blumenstein M. Texture-based feature mining for crowd density estimation: A study[C]//(), 2016., 2016: 1-6.

[6] 胡波, 李曉華, 沈蘭蓀. 場景監(jiān)控中的人群密度估計(jì)[J]. 電路與系統(tǒng)學(xué)報(bào), 2007, 12(6): 19-22.

HU Bo, LI Xiaohua, SHEN Lansun. Estimation crowd density for surveillance[J]., 2007, 12(6): 19-22.

[7] Marana A N, Verona V V. Wavelet packet analysis for crowd density estimation[C]//,,,, 2001(1): 535-540.

[8] Kim D, Lee Y, Ku B, et al. Crowd Density Estimation Using Multi-class Adaboost[J]., 2012, 191(15): 4951-8.

[9] 楊國慶, 崔榮一. 基于概率神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)[J]. 延邊大學(xué)學(xué)報(bào):自然科學(xué)版, 2010, 36(3): 250-253.

YANG Guoqing, CUI Rongyi. Crowd Density Estimation Based on Probabilistic Neural Network[J].,, 2010, 36(3): 250-253.

[10] Jiang M, Huang J, Wang X, et al. An Approach for Crowd Density and Crowd Size Estimation[J]., 2014, 9(3): 757-762.

[11] 薛翠紅, 于洋, 張朝, 等. 融合LBP與GLCM的人群密度分類算法[J]. 電視技術(shù), 2015, 39(24): 7-10.

XUE Cuihong, YU Yang, ZHANG Zhao, et al. Fusing LBP and GLCM for Crowd Density Classification Algorithm[J]., 2015, 39(24): 7-10.

[12] 王磊. 紅外圖像中的行人檢測算法研究[D]. 合肥: 合肥工業(yè)大學(xué), 2015.

WANG Lei. Research on Pedestrian Detection Algorithm in Infrared Images[D]. Hefei: Hefei University of Technology, 2015.

[13] Polus A, Schofer J L, Ushpiz A. Pedestrian Flow and Level of Service[J]., 1983, 109(1): 46-56.

[14] Haralick R M. Texture features for image classification[J]., 1990, smc-3(6): 610-621.

[15] 徐麥平. 安防監(jiān)控中人群人數(shù)統(tǒng)計(jì)方法的研究[D]. 西安: 西安理工大學(xué), 2015.

XU Maiping. Crowd Counting Research of Security Monitoring[D]. Xi'an: Xi'an University of Technology, 2015.

Indoor Crowd Density Classification in Infrared Images Based on Fusing High-order Statistics of Histogram with GrayLevel Co-occurrence MatrixFeatures

LI Xiying，HUANG Qiuxiao

(,,,510006,)

The crowd density information in public places plays an important role in public safety, traffic management, and disaster reduction in emergencies. The use of infrared technology can avoid the influence of ambient light whilecapturing crowd images. In order to realize indoor crowd density classification in infrared images, this paper proposes a method that fuses high-order statistics of a grayscale histogram with gray level co-occurrence matrix features (GLCM). First, considering the characteristics of infrared images, this paper analyzes and extracts the high-order statistics of the grayscale sample image histograms. Next, the histogram and GLCM features of sample images are fused serially. Finally, the fusion feature is input to the multi-class support vector machine and the classified crowd density level is output. The experimental results show that the proposed method can achieve 92.13% accuracy for different crowd density classifications in infrared images, with fewerfeatures in lesstime．

crowd density classification，infrared image，high-order statistics of histogram，gray level co-occurrence matrix

TP391

A

1001-8891(2017)07-0626-06

2017-03-27；

2017-06-27.

李熙瑩（1972-），女，副教授，博士，主要研究方向?yàn)閳D像處理、目標(biāo)檢測與跟蹤、圖像識(shí)別技術(shù)以及各項(xiàng)技術(shù)在智能交通、治安監(jiān)控中的應(yīng)用。E-mail：stslxy@mail.sysu.edu.cn.

國家自然科學(xué)基金（U1611461）。