孫 磊，陳樹越，戚亞明

室外環(huán)境下紅外熱圖像內(nèi)眼角定位

孫 磊，陳樹越，戚亞明

（常州大學 微電子與控制工程學院，江蘇 常州 213164）

針對室外環(huán)境下紅外熱圖像中目標區(qū)域受背景過熱與周圍環(huán)境影響，導致目標邊界模糊、噪聲大等問題，提出了一種室外環(huán)境下紅外熱圖像內(nèi)眼角定位算法。該算法首先對采集的圖像進行面部傾斜校正，接著采用Gentle-AdaBoost與HAAR特征相結(jié)合進行人臉、人眼粗定位，并引入幾何校正對眼睛區(qū)域精確定位，最終依據(jù)內(nèi)眼角區(qū)域特性提出區(qū)域精化與區(qū)域生長分割相結(jié)合的內(nèi)眼角定位。在3種不同的紅外熱圖像數(shù)據(jù)集以及自主采集不同季節(jié)的溫度區(qū)間室外的數(shù)據(jù)集上進行實驗。結(jié)果表明：在室外環(huán)境下，所提出的方法可有效地定位內(nèi)眼角，人眼定位準確率達到98.1%，內(nèi)眼角定位準確率達到97.7%。

室外環(huán)境；紅外熱圖像；內(nèi)眼角定位；特征提??；區(qū)域精化

0 引言

伴隨COVID-19全面爆發(fā)，預防病毒的傳播成各個國家關(guān)鍵問題。在此期間社會需要重新組織社交環(huán)境，以應(yīng)對病毒的傳播。由于病毒引起患者常見的癥狀是發(fā)熱，各個國家規(guī)定在進入人口流動性大的場所以及公共建筑區(qū)域前都需要體溫檢測[1]。因此非接觸、快速測溫的紅外熱成像儀被廣泛使用于這些區(qū)域[2]，紅外熱成像體溫篩查成為預防病毒傳播的有效方式之一[3]。病毒傳播得到控制后，各個國家就要面臨組織學生返校，工人復工等問題[4]。預防這些區(qū)域的病毒傳播同樣需要紅外熱像儀的篩查，一般校園或者工廠門口都是臨時搭建的待檢通道，處于室外環(huán)境中，室外環(huán)境下熱成像中的背景溫度過熱會導致前景目標特征區(qū)域邊界模糊，同時熱圖像受噪聲干擾大，極大地降低了目標區(qū)域檢測的準確率，繼而影響發(fā)熱篩查的效果?，F(xiàn)階段的研究大多關(guān)注室內(nèi)場所下內(nèi)眼角定位，針對室外環(huán)境下內(nèi)眼角定位的文獻相對較少。

內(nèi)眼角作為面部最溫暖的區(qū)域[5]，在測量人體發(fā)熱篩查中起至關(guān)重要的作用，同時是發(fā)熱篩查的最佳位置[6]。盡管目前對于測量內(nèi)眼角溫度能否代表人體溫度還存在爭議，但是這是一個非?？煽康膮^(qū)域[7]，能夠以非接觸、快速的方式進行體溫的識別與篩查。在病毒傳播期間，能更好地替代傳統(tǒng)的額頭或者腋下測溫來進行巨大人流量的體溫篩查工作。

2002年Friedrich等人[8]首次將眼角作為研究對象，通過紅外熱圖像獨有熱特征用于識別，指出眼睛區(qū)域一些特征，比如：眼睛是面部最溫暖的區(qū)域；眉毛是臉部最寒冷的區(qū)域，最后使用傳統(tǒng)的直方圖進行眼角特征檢測。Budzan等人[9]對內(nèi)眼角定位做了全面的研究，提出基于隨機化霍夫變換（RHT,Randomize the Hough Transform）人臉和眼睛的定位算法，使用形態(tài)學操作對內(nèi)眼角區(qū)域進行分割。Amanda[10]提出基于知識的方法定位內(nèi)眼角，根據(jù)熱圖像中眼睛之間的距離與頭寬的比值，內(nèi)眼角在眼部區(qū)域位置之間的距離，并將具有特定距離的兩個高溫點作為內(nèi)眼角。Chenna等人[11]研究了多模態(tài)圖像配準的方法來定位內(nèi)眼角，將可見光圖像與熱圖像檢測到的邊緣結(jié)合起來，一旦獲得配準圖像，熱圖像中內(nèi)眼角位置可以通過可見光圖像中位置來定位。盡管上述方法的定位效果都存在一定的優(yōu)勢，但是室外環(huán)境下圖像噪聲更大，邊緣的紋理也更加模糊，內(nèi)眼角區(qū)域特征更加難以捕捉。

隨著Viola等人[12]在面部檢測方面引入了哈爾特征（Haar-Like Features），簡稱HAAR。Martinez等人[13]研究熱圖像中人臉各部區(qū)域檢測，分析了HAAR特征結(jié)合Gentle-AdaBoost分類器比結(jié)合支持向量機（Support Vector Machines，SVM）分類器的優(yōu)勢更大，也有效地驗證了HAAR特征在人眼檢測方面的可行性。Wong等人[14]基于前人研究的經(jīng)驗將HAAR特征用于眼睛定位，一旦定位到眼睛，再針對眼睛的軸四分之一區(qū)域進行眼角搜索，測量眼角的溫度有效地用于發(fā)熱篩查。

相對于上述方法，本文算法針對室外環(huán)境下紅外熱圖像內(nèi)眼角的定位，考慮到外界環(huán)境下目標邊界模糊、噪聲大等特點，在利用Gentle-AdaBoost與Haar特征相結(jié)合的人臉、人眼粗定位基礎(chǔ)上，引入幾何校正方法對眼睛區(qū)域精確定位。同時外界環(huán)境下內(nèi)眼角區(qū)域?qū)儆谌跣∧繕耍瑹o明顯紋理特征，提出了區(qū)域精化與區(qū)域生長分割相結(jié)合來定位算法。實驗有效證明了在復雜場景下紅外熱圖像內(nèi)眼角的定位的可行性，同時解決了室外環(huán)境下目標邊界模糊、噪聲大，小目標定位等復雜性問題。

1 面部特征提取與定位

1.1 整體定位框架

本文提出的定位算法由4個模塊組成，包括面部傾斜校正、基于HAAR特征級聯(lián)分類的人臉與人眼粗定位、人眼幾何校正精確定位和內(nèi)眼角定位，整體流程圖如圖1所示。

圖1 內(nèi)眼角定位流程

1.2 面部傾斜校正預處理

采集的紅外熱圖像中受試者大多會出現(xiàn)頭部的左右擺動現(xiàn)象，尤其在實時檢測中更加容易出現(xiàn)，這將造成受試者面部傾斜，也不利于實驗中眼睛的精確定位。針對這一問題，需要將傾斜的面部圖像通過面部所傾斜的角度旋轉(zhuǎn)過來。為了解決面部傾斜的角度，引入雙前沿主動輪廓（dual-front active contour, DFAC）分割結(jié)合區(qū)域中分線算法。

主動輪廓分割最早由Kass等人[15]提出，其不僅在輪廓提取得到廣泛運用，在圖像分割中也發(fā)揮重要作用，而DFAC是Cohen等人[16]提出最短路徑理論，主要用于醫(yī)學圖像分割。本文引入該方法主要是其魯棒性好，速度較快等特點。室外環(huán)境下，受背景溫度以及周圍環(huán)境的影響，傳統(tǒng)的閾值處理很難準確分割出紅外熱圖像中的人臉。而DFAC分割本質(zhì)是求局部區(qū)域內(nèi)的某能量泛函的全局最小值，由兩條主動輪廓一條內(nèi)向外不斷膨脹，另一條由外向內(nèi)不斷收縮，以兩者相遇之處作為新輪廓來分割目標區(qū)域，針對復雜的圖像具有不錯的分割效果，其速度也因使用快速掃描法而更快。其演化過程如圖2所示。

圖2 雙前沿演化過程，從左到右：(a) 初始輪廓；(b) 形態(tài)學膨脹；(c) 新分割區(qū)域

其中圖2中(a)表示初始輪廓將圖像分為兩個區(qū)域分別為內(nèi)部區(qū)域in與外部區(qū)域out，(b)中R由通過形態(tài)學膨脹而來，R有內(nèi)邊界in與外邊界out組成，通過運算，前沿從兩個邊界同時開始演化，相遇之處即為所求曲線new（(c)的中實線）。new即為新分割的區(qū)域。

為了提高DFAC分割面部的精度，初始化輪廓奠定了整個區(qū)域分割的基礎(chǔ)，由于室外場景復雜場所下，人臉在鏡頭下不是一直固定，因此本文在初始化輪廓之前首先加入HAAR特征的人臉檢測，將檢測的人臉區(qū)域作為初始化輪廓，這樣區(qū)域的精確性得到保障，接著圍繞初始輪廓構(gòu)造狹窄的活動區(qū)域，提取其內(nèi)外邊界。進行上述演化過程得到全局最小分割曲線new，直到收斂（即new與的差別最小，進行替代）。

面部左右傾斜其特點是面部的器官沒有發(fā)生變化，只是相對的位置的改變，因此只需將圖像按旋轉(zhuǎn)角反向旋轉(zhuǎn)就完成校正。由于面部器官沒改變，一般情況下，面部是左右對稱的，面部中分線在沒有旋轉(zhuǎn)的情況下與軸成90°。而一旦面部旋轉(zhuǎn)，中分線與軸就會形成夾角。1表示旋轉(zhuǎn)角度，具體如式(1)所示：

由式(1)可知，旋轉(zhuǎn)校正主要受夾角的影響，因此中分線的位置是檢測目標是否傾斜與校正的關(guān)鍵，由于人臉面部近似于一個橢圓，采用圖像處理regionprops中的屬性O(shè)rientation來確定人臉面部的中分線與軸的夾角。其校正效果見表4與圖6所示。

1.3 人臉、人眼區(qū)域粗定位

Kopaczka等人[17]的研究比較了機器學習中使用紅外熱成像人臉檢測算法的性能，其研究表明紅外熱成像下的人臉檢測算法大多是從圖像中提取特征進行分類。針對室外環(huán)境下紅外熱成像下人臉檢測，熱圖像中的紋理特征尤為重要。為了提高目標檢測率，需縮小感興趣區(qū)域（ROI，regions of interest）的搜索范圍，消除室外環(huán)境中大量無用的背景和噪聲。針對室外環(huán)境下紅外熱圖像所存在的一些特性，采用HAAR特征作為分類器的檢測可以有效解決熱圖像中灰度變化帶來的影響，能更好運用這些灰度特性進行特征分類。近年來，AdaBoost算法已經(jīng)得到不斷的發(fā)展與完善，檢測率也達到了較高的水平。AdaBoost的核心就是訓練出若干個不同的弱分類器，通過這些弱分類器構(gòu)成表征好的強分類器來區(qū)分人臉特征與背景特征。但是針對室外環(huán)境下熱圖像中背景復雜、面部特征模糊，樣本區(qū)分困難度大，易導致過擬合。而Gentle-AdaBoost算法[18]是在AdaBoost的基礎(chǔ)之上對權(quán)重進行過優(yōu)化，在與AdaBoost分類器對比其優(yōu)勢在于穩(wěn)定性好、對噪聲的影響小，對樣本的訓練有更好的擬合數(shù)據(jù)。其人臉檢測步驟為：首先對樣本集進行預處理，接著弱分類器對樣本集進行不斷地迭代處理保留正確樣本，訓練出不同的弱分類器并組合起來形成強分類器，最后將訓練得到的各級強分類器以級聯(lián)的方式進行串聯(lián)，形成一個更為強大的HAAR級聯(lián)分類器，這樣的級聯(lián)分類器會使目標檢測率得到進一步提升。能夠排除大量非人臉圖像，進而縮短對特征定位速度。如圖3所示，是HAAR級聯(lián)分類器篩查的過程。

圖3 HAAR級聯(lián)分類器篩查過程

在人臉定位基礎(chǔ)上，再利用HAAR級聯(lián)分類器進行眼睛定位。針對熱圖像中眼睛區(qū)域特征模糊，外觀復雜度高等問題，在人臉檢測HAAR特征基礎(chǔ)上又增加了3種特征來提取樣本中的顯著特征，如圖4所示，分別是一個中心環(huán)繞特征(e)和兩個線性特征(f)、(g)。

上述新加入的特征都是基于眼睛在熱圖像中的結(jié)構(gòu)所設(shè)計的，與可見光圖像眼睛定位相比是有區(qū)別的，一些細節(jié)特征在眼睛區(qū)域更加容易體現(xiàn)，比如眉毛與鼻子區(qū)域的溫度較低，兩個眼睛是對稱，眼球溫度低于眼睛四周區(qū)域，新加入的特征能更好的表征眼睛區(qū)域一些特性，也更加有利于眼睛區(qū)域的定位。人臉、人眼分別訓練級聯(lián)分類器，具體參數(shù)如表1所示，將樣本圖像中感興趣區(qū)域分別縮放至不同的窗口大小來訓練HAAR級聯(lián)分類器，通過HAAR級聯(lián)分類器進行篩查判別。

圖4 矩陣特征其中(a)、(b)邊緣特征；(d)、(f)、(g)線性特征；(c)對角線特征；(e)中心環(huán)繞特征

表1 HAAR級聯(lián)分類器訓練參數(shù)

1.4 眼睛幾何校正

基于上述方法眼睛區(qū)域定位很容易受到面部其他區(qū)域特征的影響比如：眉毛、鼻梁、嘴巴以及面頰等區(qū)域的影響。為了進一步減少誤檢窗口對眼睛區(qū)域定位的影響，本文引入幾何校正的方法來提高眼睛定位的準確率。幾何特征是基于面部知識，如兩只眼睛是對稱關(guān)系，兩眼之間的距離在一定的范圍內(nèi)，兩個眼睛位置大致在同一水平線上。具體步驟如下：

步驟1 輸入檢測樣本集；

步驟2 通過HAAR級聯(lián)分類器結(jié)合VJ算法檢測出人眼區(qū)域，計算窗口個數(shù)；

步驟3 判斷窗口個數(shù)并作篩查處理，篩查操作如下：

①在人眼檢測中，窗口個數(shù)小于等于1時，認為檢測結(jié)果正確，直接輸出。

②窗口個數(shù)等于2時，可能存在誤檢窗口，采用幾何特性進行判斷，如發(fā)現(xiàn)有異常兩眼距離過小或者兩眼不在同一水平區(qū)域，說明結(jié)果誤檢測。否則輸出正確結(jié)果，檢測關(guān)系如式(2)、(3)所示：

③窗口個數(shù)大于2時，一定存在誤檢窗口，基于上述②中的關(guān)系，同時還要滿足公式(6)，直到檢測結(jié)果正確，檢測關(guān)系如下(4)、(5)、(6)所示。

x＝1,2,3,…,，x＝1,2,3,…,(4)

y＝1,2,3,…,，y＝1,2,3,…,(5)

步驟4 若上述篩查處理完成后仍然存在誤檢窗口，則需要縮小檢測范圍。在重復公式(4)、(5)的基礎(chǔ)上，對公式(6)的范圍進行更改，檢測關(guān)系如公式(7)所示：

式中：表示檢測到的所有窗口的橫坐標；表示檢測到的所有窗口的縱坐標；表示檢測到的所有窗口的寬；表示檢測到的所有窗口的高；左眼窗口坐標為(1,2)，右眼窗口坐標為(1,2)；1、2、3、4為新檢測出的眼睛窗口。上述方法檢測到的眼睛區(qū)域作為定位的結(jié)果。在不影響檢測精度和速度的前提下，幾何校正方法引入提高了定位精度。

1.5 內(nèi)眼角定位及提取

眼睛區(qū)域溫度與人體體溫相比誤差較大，影響測溫的準確性。眾多研究表明，內(nèi)眼角區(qū)域的溫度是最接近人體的體溫。因此，針對室外環(huán)境下內(nèi)眼角的定位提出了區(qū)域精化與區(qū)域生長分割相結(jié)合的算法。

Levine等人[19]首先提出將區(qū)域生長法成功運用于圖像分割方法中。與Otsu等閾值分割的方法相比，區(qū)域生長分割充分考慮了分割目標的位置信息，它主要有2個顯著的特點：

1）種子點的選擇需要有一定的代表性，否則難以分割目標區(qū)域，具有依耐性。

2）生長準則的取值對內(nèi)眼角區(qū)域內(nèi)溫度影響較大，需要選擇合理的閾值，如果鄰域內(nèi)的像素值小于，則納入目標區(qū)域。其公式(8)如下。

式中：[]表示目標區(qū)域；(,)表示種子點的像素值；(,)表示鄰域像素值。

3）生長停止條件的閾值1決定區(qū)域的大小，1較小內(nèi)眼角欠分割，1較大內(nèi)眼角過分割。

首先種子點的選擇，在可控室內(nèi)場景下內(nèi)眼角溫度最接近人體溫度，直接選擇眼睛區(qū)域最大像素作為種子點是可行的[9]，而紅外熱像儀在復雜室外環(huán)境下采集的圖像內(nèi)眼角區(qū)域?qū)儆谌跣∧繕?，無明顯紋理特征，受到嚴重的噪聲干擾，上述方法種子點的選擇是不可取的。為了應(yīng)對室外環(huán)境下內(nèi)眼角定位，種子點的選擇融入?yún)^(qū)域精化處理的方法。具體步驟如下：

1）迭代閾值分割：眼睛區(qū)域采用改進的自適應(yīng)迭代閾值分割的方法，找到像素強度接近于眼睛區(qū)域最大強度值時更新為新的閾值2，分割采用公式(9)所示。

式中：(,)表示區(qū)域像素的灰度值；2表示迭代產(chǎn)生的新閾值；(,)表示分割后的二值圖像。二值圖像白色區(qū)域為像素強度較大的區(qū)域，也叫熱區(qū)域。

2）基于知識的熱區(qū)域篩查：由內(nèi)眼角特性可知，左眼的內(nèi)眼角在右邊，右眼的內(nèi)眼角在左邊。對二值圖像中的熱區(qū)域進行剔除處理，算法步驟如下：

步驟1 輸入二值圖像；

步驟2 判斷圖像處于面部位置，左眼為1，右眼為2；

步驟3 如果為1，掃描1中所有像素，將1中左半邊區(qū)域1(,)中所有熱區(qū)域像素剔除，否則為2，掃描2中所有像素，將2中右半邊區(qū)域2(,) 中所有熱區(qū)域像素剔除；

步驟4 輸出步驟1或者步驟2中的二值圖像3。

3）連通域選擇[20]：基于先驗知識，熱區(qū)域中絕大多數(shù)區(qū)域是受噪聲影響產(chǎn)生的，這些區(qū)域通常較小。引入連通域進行區(qū)域篩查，通過比較熱區(qū)域中各個連通域的面積，選擇熱區(qū)域面積最大的連通域。經(jīng)過上述精化處理后對內(nèi)眼角區(qū)域粗定位，在此區(qū)域內(nèi)將像素值最大的作為種子點。

接著生長準則的選擇，為了保證內(nèi)眼定位的準確性，區(qū)域生長采用8鄰域不斷合并，鄰域的像素值與每個新的種子像素值差別太大會拉低整個內(nèi)眼角區(qū)域溫度，因此本文閾值設(shè)為3。就是將種子點與其鄰域內(nèi)待測點之差的絕對值小于3的像素點合并為種子區(qū)域。合并的區(qū)域都是內(nèi)眼角區(qū)域像素值最大的點。

最后生長停止的條件，F(xiàn)itriyah等人[21]采用最高9個像素點作為內(nèi)眼角區(qū)域溫度檢測的標準，內(nèi)眼角斑點的面積必須最小為9個像素。Budzan等人[9]則是采用9×16的區(qū)域作為內(nèi)眼角區(qū)域進行溫度檢測的，內(nèi)眼角區(qū)域要小，這是為了防止內(nèi)眼角區(qū)域過大，影響內(nèi)眼角作為溫度檢測的標準，因此本文條件是當起始的種子點的值與整個種子區(qū)域內(nèi)最小種子點的差值大于閾值1停止生長。1設(shè)為5，這樣區(qū)域內(nèi)最小像素點與最大像素點差值最大為4，保證內(nèi)眼角溫度檢測的準確性，1過大會導致區(qū)域更大。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集處理

為了驗證實驗對面部特征區(qū)域定位有效性，實驗運行環(huán)境為Intel(R) Core(TM) i5-7300HQ CPU，平臺為MATLAB R2018b和Python OpenCV庫，使用了4個數(shù)據(jù)集，分別是The Tufts Face中的紅外人臉熱圖像數(shù)據(jù)集（http://tdface.ece.tufts.edu/）、OTCBVS中的人臉紅外數(shù)據(jù)集、Sciebo中的紅外人臉熱圖像數(shù)據(jù)集（https://rwth-aachen. sciebo.de/s/AoSNdkGBRCt WIzX）以及采用FLIR E40紅外熱成像儀自行采集的校園門口行人的面部數(shù)據(jù)集。根據(jù)Budzan等人[9]的研究表明熱成像儀鏡頭距離面部1.5m左右體溫檢測的效果最好，有利于提高區(qū)域定位的精確性，同時也提高內(nèi)眼角測溫的準確度。因此E40鏡頭與目標的距離固定為1.5m左右進行拍攝，樣本中成像儀溫度覆蓋了校園門口背景環(huán)境0℃～45℃下的熱圖像。其中The Tufts Face和Sciebo兩個數(shù)據(jù)集是室內(nèi)環(huán)境下的，不屬于室外場景，只用于實驗訓練?；拘畔⑷绫?所示。

表2 測試與訓練數(shù)據(jù)的基本信息

OTCBVS數(shù)據(jù)集包含了22419張圖片，其圖片來自不同的環(huán)境下拍攝的紅外人臉。手動分割出5000人臉區(qū)域用作人臉檢測訓練集樣本，使用The Tufts Face與OTCBVS數(shù)據(jù)集分別作為測試集樣本。眼睛樣本集通過手動分割Sciebo數(shù)據(jù)集中的眼睛區(qū)域，測試集樣本采用The Tufts Face與FLIR E40拍攝的數(shù)據(jù)集分別進行測試。使用跨數(shù)據(jù)集的實驗方式進行人臉、人眼定位，能充分證明方法的穩(wěn)定性有效性。如圖5所示，是FLIR E40拍攝室外不同溫度區(qū)間下的樣本。

2.2 評價標準

人體紅外熱圖像內(nèi)眼角溫度測量的本質(zhì)就是各區(qū)域的定位效果，因此準確率是衡量算法的指標。驗證其定位的準確率，即：

式中：Acc是定位的準確率；c是檢測到的正確圖像個數(shù)；T是圖像總個數(shù)。

圖5 樣本示例：(a) 0℃～10℃區(qū)間拍攝；(b) 10℃～20℃區(qū)間拍攝；(c) 20℃～30℃區(qū)間拍攝

Fig.5 Sample diagram (a) Shooting at 0℃-10℃; (b) Shooting at 10℃-20℃; (c) Shooting at 20℃-30℃

其次考慮內(nèi)眼角定位的實時性，將每張圖片平均內(nèi)眼角定位的時間也作為評價標準，即：

式中：是定位耗費時間；是圖片張數(shù)。

2.3 可行性分析

表3給出了各區(qū)域在跨數(shù)據(jù)集實驗中的定位結(jié)果，其中LE表示左眼，RE表示右眼，LIC表示左內(nèi)眼角，RIC表示右內(nèi)眼角。

表3 感興趣區(qū)域定位平均準確率

各個區(qū)域定位實驗分別在兩個不同的數(shù)據(jù)集上進行，每個數(shù)據(jù)集都抽取人臉正面圖像400張進行測試。從表3結(jié)果可以看出，不同場景下的數(shù)據(jù)集都可以獲得較好的定位效果，但也同樣存在一定的差異。人臉檢測實驗中，在OTC數(shù)據(jù)集實現(xiàn)了96.8%的準確率，而在TTF數(shù)據(jù)集上實現(xiàn)了100%的準確率。這是由于OTC數(shù)據(jù)集本身比TTF數(shù)據(jù)集大得多，其次OTC采集的是復雜環(huán)境下紅外圖像，其受背景環(huán)境影響導致檢測的準確率有所下降。而TTF數(shù)據(jù)集是采集標準的室內(nèi)環(huán)境下人臉熱圖像并且控制了鏡頭與面部距離，因此定位效果非常精確。OTC數(shù)據(jù)集的訓練和測試的準確率略低于TTF數(shù)據(jù)集是合理的。而人眼與內(nèi)眼角的定位，表3中在TTF數(shù)據(jù)集上檢測的準確率依然高于E40數(shù)據(jù)集，這是由于E40數(shù)據(jù)集在室外環(huán)境下受環(huán)境影響較大，眼睛區(qū)域的特征紋理更難捕捉到，內(nèi)眼角區(qū)域受噪聲影響大、區(qū)域小導致定位效果低于TTF數(shù)據(jù)集是必然的，也是合理的。

針對面部傾斜校正方法的可行性分析，本文從TTF數(shù)據(jù)集與E40數(shù)據(jù)集分別選用400張圖片進行測試。表4給出兩組實驗測試的結(jié)果。

表4 面部傾斜校正的結(jié)果

表4驗證了面部傾斜校正可行性，實驗表明TTF數(shù)據(jù)集與E40數(shù)據(jù)都有不錯的校正效果，TTF數(shù)據(jù)集的效果較差于E40是因為TTF數(shù)據(jù)集中包含了大量女性人臉圖像，部分女性長發(fā)遮面，直接影響面部中分線的劃分，導致校正效果受到影響，是合理的。實驗效果如圖6所示。

圖6 實驗效果圖 (a)、(b)為E40采集的原圖像，(c)、(d)為其校正后的圖像

為了驗證眼睛幾何校正方法可行性，選用TTF數(shù)據(jù)集中的400張圖片進行測試，表5是原始分類器模型與引入了幾何校正分類器模型的檢測結(jié)果對比，圖7是實驗效果圖，用幾何校正的方法在不影響檢測結(jié)果的基礎(chǔ)上排除了大量的誤檢窗口，保證了實驗的可行性。

表5 幾何校正前后檢測結(jié)果對比

圖7 實驗效果圖（從左往右，從上往下）(a) TTF數(shù)據(jù)集圖；(b) 人臉、人眼定位；(c) 幾何校正；(d) 內(nèi)眼角定位；(e) FLIR E40采集圖；(f) 人臉、人眼定位；(g) 幾何校正；(h) 內(nèi)眼角定位

2.4 與基本算法定位效果之間的比較

針對算法的有效性驗證，在E40數(shù)據(jù)集進行對比實驗，分別對HAAR級聯(lián)分類器結(jié)合區(qū)域生長分割（RG）是否進行特征種類的選擇，是否采用幾何校正，是否進行區(qū)域精化處理，定位結(jié)果如表6所示。

定位結(jié)果表明與基本HAAR（7 species）級聯(lián)分類器結(jié)合區(qū)域生長分割的內(nèi)眼角定位算法相比較，本文方法在眼睛區(qū)域定位的準確率提高了29.1%，在內(nèi)眼角定位的準確率提高了31.2%。準確率的上升導致定位時間的上升，若每人測溫駐留時間為1s，則算法所占時間比為0.238:1，一般可滿足實時性要求，可見算法在室外場景下具有較好的實用性。這主要源于HAAR分類器模型上引入了幾何校正算法，在進行內(nèi)眼角定位前對眼睛區(qū)域進行了區(qū)域精化處理來提高定位的準確率。

表6 本文方法與基本算法定位效果對比

2.5 與其他算法的定位效果對比

在各個數(shù)據(jù)集上將本文眼睛、內(nèi)眼角定位算法與其他相關(guān)的算法比較，分別是基本HAAR算法、閾值分割（Threshold Segmentation, TS）結(jié)合基于知識的面部比例算法（Facial Proportions, FP）[22]、隨機霍夫變換（Randomize the Hough Transform，RHT）結(jié)合區(qū)域生長分割算法（Region growing, RG）[9]以及基于Neural Network定位算法[23]，其定位結(jié)果如表7所示，其中L表示左眼，R表示右眼。

由表7可以得出以下結(jié)論：

1）本文算法比采用單一的HAAR特征結(jié)合RG算法，從人臉、眼睛和內(nèi)眼角的定位準確率都得到了很大程度的提高。同時在與其他算法在室內(nèi)場景比較中，眼睛的準確率略占優(yōu)勢，而內(nèi)眼角定位的準確率到達100%，充分說明了方法在環(huán)境可控的室內(nèi)場景下與室外環(huán)境下的內(nèi)眼角定位均有一定的有效性。

2）眼睛區(qū)域紋理特征在室外環(huán)境中更加模糊，本文算法在室外環(huán)境下與RHT算法在室內(nèi)環(huán)境下相比較準確率低了3%左右，與TS算法在復雜環(huán)境下相比較卻高出了14%左右。而內(nèi)眼角定位的準確率無論室內(nèi)、外環(huán)境都要比其它算法更具有優(yōu)勢，充分表明本文算法在室外場景下的內(nèi)眼角定位穩(wěn)定性更高。

3）室外環(huán)境對比室內(nèi)可控環(huán)境下熱成像的內(nèi)眼角定位各方面的準確率都有所降低，主要受背景環(huán)境熱源復雜，室外環(huán)境復雜等影響因素。但是本文算法在內(nèi)眼角定位上通過區(qū)域精化算法有效地降低了誤定位，提升了準確率。在定位速度上不及Neural Network算法，這主要兩方面因素，一方面受處理器性能約束，另一方面受室外環(huán)境復雜度影響，導致檢測速率下降，但對于實時性定位的要求還是能夠滿足。

表7 5種算法定位效果對比

3 結(jié)論

針對室外環(huán)境下背景熱源過高，外界環(huán)境干擾的情況，本文在采用HAAR特征級聯(lián)分類器粗定位人臉、人眼區(qū)域的基礎(chǔ)上，引入了幾何校正算法對眼睛區(qū)域進行篩查精定位，并提出區(qū)域精化處理算法結(jié)合區(qū)域生長分割定位內(nèi)眼角。與標準的方法相對比，在人臉、眼睛以及內(nèi)眼角定位的準確率上都有大幅度提升，具有出色的適應(yīng)性。同時與TS、RHT、Neural Network等方法在實際環(huán)境中進行比對，實驗結(jié)果表明，本文方法在針對室外環(huán)境背景熱源過高，外界環(huán)境干擾的情況下均有一定優(yōu)勢，這也為內(nèi)眼角在室外環(huán)境下紅外熱成像發(fā)熱篩查中提供了新的可能性。

但是本算法依然存在不足之處，如：面部傾斜校正抗干擾能力差、針對人眼區(qū)域遮擋無法做出判斷、復雜場景下的魯棒性與準確性以及定位速度有待進一步提高。

[1] 陳紅強. 非接觸式紅外熱成像測溫技術(shù)的探析[J]. 中國安防, 2020(5): 35-40.

CHEN Hongqiang. Analysis of non-contact infrared thermal imaging temperature measurement technology [J]., 2020(5): 35-40.

[2] 呂事桂, 劉學業(yè). 紅外熱像檢測技術(shù)的發(fā)展和研究現(xiàn)狀[J]. 紅外技術(shù), 2018, 40(3): 214-219.

LV Shigui, LIU Xuexue. Development and research status of infrared thermography detection technology[J]., 2018, 40(3): 214-219.

[3] Nguyen A V, Cohen N J, Lipman H, et al. Comparison of 3 infrared thermal detection systems and self-report for mass fever screening[J]., 2010, 16(11): 1710.

[4] STELLA A B, MANGANOTTI P, FURLANIS G, et al. Return to school in the COVID-19 era: considerations for temperature measurement[J]., 2020, 44(8): 468-441.

[5] MERCER J B, RING E F J. Fever screening and infrared thermal imaging: concerns and guidelines[J]., 2009, 19(3): 67-69.

[6] IX-IXO. Medical Electrical Equipment - Part 2-59: Particular Requirements for Basic Safety and Essential Performance of Screening Thermographs for Human Febrile Temperature Screening:IEC 80601-2-59 [S]. [2008-12-02].

[7] US-ASTM. Standard Practice for Minimum Resolvable Temperature Differ Ence for Thermal Imaging Systems: ASTM1213-14 [S]. [2018-11-01] .

[8] Friedrich G, Yeshurun Y. Seeing people in the dark: Face recognition in infrared images[C]//, 2002: 348-359.

[9] BUDZAN S, WY?GOLIK R. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes[J]., 2013, 60: 225-234.

[10] BERG A.[M]. Link?ping University Electronic Press, 2016.

[11] CHENNA Y N D, GHASSEMI P, PFEFER T J, et al. Free-form deformation approach for registration of visible and infrared facial images in fever screening[J]., 2018, 18(1): 125.

[12] VIOLA P, JONES M J. Robust real-time face detection[J]., 2004, 57(2): 137-54.

[13] Martinez B, Binefa X, Pantic M. Facial component detection in thermal imagery[C]//2010, 2010: 48-54.

[14] WONG W K, LIM H S, BINTI ISHAK N I N, et al. Fuzzy logic based viola Jones fever detection method in thermal imaging system[C]//, ICETCSIT-2013, 2013: 23-26.

[15] Michael Kass, Andrew Witkin, Demetri Terzopoulos. Snakes: active contour models[J]., 1988, 1(4): 321-331.

[16] Cohen L, Kimmel R. Global minimum for active contour models: a minimal path approach[J]., 1997, 24(1): 57-78.

[17] KOPACZKA M, NESTLER J, MERHOF D. Face detection in thermal infrared images: a comparison of algorithm-and machine -learning-based approaches[C]//, 2017: 518-529.

[18] FRIEDMAN J, HASTIE T, TIBSHIRANI R. Additive logistic regression: a statistical view of boosting: rejoinder [J]., 2000, 28(2): 337-407.

[19] LEVINE M D, NAZIF A M. Dynamic measurement of computer generated image segmentations [J]., 1985(2): 155-64.

[20] BAILEY D G, JOHNSTON C T. Single pass connected components analysis[C]//, 2007: 282-287.

[21] Fitriyah H, Rachmadi A, Setyawan G E. Automatic measurement of human body temperature on thermal image using knowledge -based criteria[J]., 2017, 2(2): DOI: 10.25126/ JITECS. 20172235.

[22] FITRIYAH H, WIDASARI E R, PUTRI R R M. Inner-Canthus localization of thermal images in face-view invariant[J].,, 2018, 8(6):2570-2576.

[23] Marzec M, Lam?a A, Wróbel Z, et al. Fast eye localization from thermal images using neural networks[J]., 2016: 1-14.

Inner-Canthus Localization in Infrared Thermal Images in Outdoor Environments

SUN Lei，CHEN Shuyue，QI Yamin

(,,213164,)

Target areas in infrared thermal images in outdoor environments are affected by background overheating and the surrounding environment, causing fuzzy target boundaries and large noise. An inner-canthus location algorithm for infrared thermal images in outdoor environments is proposed to solve this problem. First, the algorithm corrects the facial tilt of collected images. Then, Gentle-Adaboost and Haar features are combined to perform approximate localization of human faces and eyes, and geometric correction is applied to accurately locate the eye region. Finally, based on the characteristics of the inner-canthus region, an inner-canthus location is proposed by combining region refinement and region growth segmentation. Experiments are conducted on three different infrared thermal image datasets and outdoor datasets independently collected at different temperature ranges in different seasons.The results show that the proposed method can effectively locate the inner canthus in the outdoor environment, and the accuracy for human eyes and inner-canthus can reach 98.1% and 97.7%, respectively.

outdoor environment, infrared thermal image, inner-canthus location, feature extraction, regional refinement

TP391.41

A

1001-8891(2022)10-1103-09

2021-07-06；

2021-08-20.

孫磊（1995-），男，碩士，機器視覺、模式識別，E-mail：19081203594@smail.cczu.edu.cn。

陳樹越（1963-），男，教授，計算機視覺、圖像處理，E-mail：csyue2000@163.com。

江蘇省科技廳社會發(fā)展項目（BE2018638）。