鄭嘉誠

摘要：針對傳統(tǒng)視頻監(jiān)控系統(tǒng)存在的不足，提出了一個基于ARM的人臉識別智能視頻監(jiān)控系統(tǒng)。本系統(tǒng)以Raspberry Pi為硬件平臺，由視頻捕捉設(shè)備獲取視頻流，采用HOG算法檢測出人臉區(qū)域。通過WiFi模塊上傳給服務(wù)器，服務(wù)端程序使用ERT算法修正臉部姿勢，采用FaceNet算法從對齊的人臉圖像中提取128個Embedding特征測量值。通過與數(shù)據(jù)庫中已存在的人臉特征值信息進行匹配，以實現(xiàn)人臉識別。檢測到未知人員時通過微信報警。經(jīng)測試該系統(tǒng)具有較高的穩(wěn)定性和實用性。

關(guān)鍵詞：人臉識別：HOG;ERT;FaceNet

0引言

自美國“9.11”事件和西班牙馬德里列車爆炸案、英國倫敦地鐵大爆炸等恐怖襲擊發(fā)生后，世界范圍內(nèi)對視頻監(jiān)控系統(tǒng)的需求也呈現(xiàn)了爆發(fā)式增長。各國部署的攝像頭越來越密集，監(jiān)控系統(tǒng)也日益龐大，全球視頻監(jiān)控市場獲得了長足的發(fā)展。據(jù)Markets And Markets預(yù)測。全球視頻監(jiān)控市場將從2013年的139.8億美元增加至2020年的420.6億美元。隨著市場的快速增長、數(shù)據(jù)的積累、硬件能力的提升、算法的優(yōu)化，視頻監(jiān)控技術(shù)需要從“高清化”向“智能化”發(fā)展。

視頻監(jiān)控的主要目標是人。所以人臉識別技術(shù)顯得至關(guān)重要，它是后續(xù)各種更高級功能的基礎(chǔ)。從20世紀50年代興起了人臉識別的研究。作為一種重要的生物特征識別技術(shù)。一直被研究學者所關(guān)注。人臉識別技術(shù)在安防和金融支持等方面有許多實際的應(yīng)用，如視頻監(jiān)控、智能支持、訪問控制等，是目前機器學習和模式識別中最熱門的研究方向。

在嵌入式系統(tǒng)中應(yīng)用計算機視覺（ComputerVision，CV）技術(shù)至今為止存在著多方面的難題。其中，如何使用嵌入式設(shè)備有限的計算資源實現(xiàn)例如人臉識別和姿態(tài)估計等較為復(fù)雜的功能。本系統(tǒng)針對以上問題，進行了初步的研究和探索。提出了以Raspberry Pi為硬件平臺，以Raspbian為操作系統(tǒng)，通過HOG算法從攝像頭的視頻幀中提取檢測到的人臉區(qū)域，通過WiFi模塊將圖像上傳至服務(wù)器，在服務(wù)器上利用ERT算法將圖像進行人臉對齊，通過采用FaceNet網(wǎng)絡(luò)從修正過的人臉圖像中提取128個嵌入人臉空間的特征測量值，并且與數(shù)據(jù)庫存在的特征點進行對比，當兩個特征向量之間的距離達到設(shè)定閾值0.6即可認為是同一人。本系統(tǒng)在Pi-Motion硬件平臺上取得了較為理想的功能，是深度學習在實際應(yīng)用中的一次有益嘗試。

1 系統(tǒng)功能論述

本文的研究方案是設(shè)計一個基于Raspberry Pi平臺下，經(jīng)濟實用、性能穩(wěn)定和操作簡單的遠程人臉識別系統(tǒng)。該系統(tǒng)可對監(jiān)控區(qū)域內(nèi)人員進行實時的身份識別，實現(xiàn)智能監(jiān)控的目的。該系統(tǒng)主要具有以下幾個功能。

（1）人臉檢測功能。攝像頭在監(jiān)控范圍內(nèi)發(fā)現(xiàn)人臉信息會上傳至服務(wù)器，并實現(xiàn)初步預(yù)警，同時也為后續(xù)身份識別做準備。

（2）視頻流無線傳輸功能。解決傳統(tǒng)視頻監(jiān)控通過布線方式的高安裝成本?？梢栽谝苿佣嘶騊C端方便查看。

（3）人臉識別功能。能識別闖入的未知身份人員，自動提示用戶處理。

（4）微信報警功能。如果監(jiān)控區(qū)域被非法闖入自動記錄，并啟動微信報警。

2 系統(tǒng)算法設(shè)計

在實際應(yīng)用場景中人臉識別需要考慮受到人面部表情、裝扮、姿態(tài)、角度和遮擋等原因引起的類內(nèi)變化，及來自外界光照、背景等不同引起的類間變化，這兩種變化的分布是高度復(fù)雜且非線性的?；跍\層學習的傳統(tǒng)人臉識別方法，在面對類內(nèi)和類間這兩種變化的復(fù)雜分布和非線性的情況無法達到理想效果。本系統(tǒng)的人臉識別算法基于深度學習框架，可以學習到對于光照、表情、角度等不變的特性?？梢杂脕斫鉀Q人臉識別中的類內(nèi)和類間的變化分布這一難題。本系統(tǒng)算法主要包含人臉檢測、人臉對齊、人臉識別三個主要流程。其算法如下。

2.1人臉檢測

人臉識別算法的第一步首先就是要從圖像序列中檢測出人臉部分，通常人臉檢測的算法目前主要有PCA算法、卷積神經(jīng)網(wǎng)絡(luò)算法、Adaboost等算法。本系統(tǒng)主要采用性能較好的方向梯度直方圖（Histogram 0f Oriented Gradients，HOG）特征檢測算法。通過HOG特征訓(xùn)練SVM分類器，以實現(xiàn)從視頻中人臉檢測。

2.1.1 HOG特征計算過程

2.1.1.1 顏色空間歸一化

（1）圖像灰度化。將RGB圖像轉(zhuǎn)化為灰度圖，其式如下：

H（i，j）=0.299×R（i，j）+0.578×G（i，j）+0.114×B（i，j）。（1）

（2）Gamma校正。為了減少光照因素的影響，首先需要將整個圖像進行正則化。實驗證明丫參數(shù)為0.5時有較高的性能提升。Gamma正則化公式如下：

H（x，y）=H（x，y）^y。（2）

2.1.1.2單個cell單元計算梯度

（1）將人臉的灰度圖像以8×8的像素鄰域網(wǎng)格（block）作為采樣窗口，以沒有重疊的方式遍布整個人臉。

（2）將每個block上以cell（將block分為4個4×4的塊）為單位計算梯度方向和幅值。方法用中心對稱梯度算法[-1，0，1]，梯度方向和幅值的計算公式為：

公式中的G_y（x，y）表示像素點（x，y）的水平方向梯度，G_y（x，y）表示像素點（x，y）的垂直方向梯度。其計算方法如下，其中H（x，y）為點（x，y）的像素值：

G_x（x，y）=H（x+1，y）-H（x-1，y），（5）

G_y=H（x，y+1）-H（x，y-1）。（6）

2.1.1.3 塊內(nèi)歸一化梯度直方圖

（1）每一個cell內(nèi)的相同梯度方向的幅值按照權(quán)值為1相加。然后將block內(nèi)各cell的直方圖連成一個向量得到HOG特征。

（2）將block內(nèi)的直方圖向量進行一次L2-norm標準化，設(shè)v是標準化前的特征向量，側(cè)||v||表示k范數(shù)，其中，k=1，2，令ε為一個很小的標準化常量以防止除數(shù)為0：

（3）經(jīng)過L2-norm后將v的閾值設(shè)置為0.2，將v≥0.2的分量賦值為0.2再做一次L2-norm標準化：

（4）將所有標準化后的直方圖向量組成一個n×m的矩陣，用于表示人臉HOG特征，其中，n是block內(nèi)直方圖向量維數(shù)：m是整個人臉要計算的block個數(shù)。

2.1.2 基于HOG的SVM分類器訓(xùn)練過程

（1）提取正負樣本的HOG特征。

（2）投入SVM分類器訓(xùn)練，得到model。

（3）由model生成檢測子。

（4）利用檢測子檢測負樣本，得到hard example。

（5）提起hard example的HOG特征并合并第一步中的特征一起投入訓(xùn)練，得到最終檢測子。

2.2人臉對齊

本系統(tǒng)采用基于回歸樹的ERT算法完成人臉對齊。這種方法通過建立一個級聯(lián)回歸樹來逐步修正人臉關(guān)鍵點的位置。在已知這些關(guān)鍵點的前提下就可以通過仿射變換使得人臉在圖片中居中，使得下一步人臉識別的結(jié)果更加精確。其算法核心是使用兩層的回歸來建立數(shù)學模型。

按照這樣的方式不斷進行迭代。當?shù)谝粚踊貧w級聯(lián)層數(shù)設(shè)置為K層時，就會產(chǎn)生r₁，r₂…，r_k這些回歸器。這K個回歸器就是通過訓(xùn)練所得到的回歸模型。

在第二層回歸。也就是r=_t內(nèi)部也是一次回歸過程，采用的是梯度提升樹（Gradient Boosting Tree）的方法來得到一系列的回歸樹最終完成第二級的回歸。

每一個回歸樹的每一個葉子節(jié)點上都存儲著一個殘差回歸量，當輸入落到了一個節(jié)點上時，就將殘差加到改輸入上，起到回歸的目的，最終將所有殘差疊加在一起，最終得到人臉的關(guān)鍵點。

2.3人臉識別

本文中關(guān)于人臉識別的部分采用FaceNet的卷積神經(jīng)網(wǎng)絡(luò)的方法，其主要思想是把人臉圖像映射到一個多維空間，比較兩張圖像所對應(yīng)的特征的歐式距離直接對應(yīng)兩個圖像的相似度。同一個人臉圖像的空間距離比較小，不同人臉圖像的空間距離比較大。這樣通過人臉圖像的空間映射就可以實現(xiàn)人臉識別。

FaceNet中采用基于深度神經(jīng)網(wǎng)絡(luò)的圖像映射方法和基于Triplet Loss的損失函數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)直接輸出為128維度的向量空間，其結(jié)構(gòu)如圖1所示。

其主要思想如下：

（1）對人臉樣本圖像經(jīng)過深度學習框架進行特征提取。主體模型采用一個深度網(wǎng)絡(luò)Inception-ResNet。

（2）對特征進行L2歸一化，使得特征的二范式滿足式（12）條件，使得所有圖像特征都映射到一個超球面上，規(guī)避樣本的成像環(huán)境帶來的差異：

（3）經(jīng)過L2歸一化后得到圖像的128維嵌入空間特征向量（embedding），采用Triplet Loss作為損失函數(shù)進行模型優(yōu)化，更新embedding。

3 系統(tǒng)設(shè)計與實現(xiàn)

系統(tǒng)硬件以YAHBOOM公司的Pi-Motion作為開發(fā)平臺，子模塊主要包括電源、USB攝像頭、WiFi通信模塊、BST-AI拓展版、Raspberry Pi開發(fā)板、揚聲器、頂部舵機、底部舵機，如圖2-圖5所示。

硬件平臺以Raspberry Pi為核心。圖像采集通過USB攝像頭。在實際監(jiān)控環(huán)境下，側(cè)臉人像的識別要遠遠難于正臉識別。而且可調(diào)角度的監(jiān)控攝像頭可以獲得更多可視區(qū)域。所以硬件平臺采用了兩個舵機，為攝像頭提供了兩個自由度。Raspberry Pi可通過Adafruit-PCA9685驅(qū)動操作GPIO接口，控制BST-AI拓展板以實現(xiàn)控制舵機。揚聲器可提供報警功能，WIFI模塊完成視頻流、控制指令、識別圖像的傳輸。

系統(tǒng)包含了人臉檢測、人臉識別、人臉追蹤、微信報警、語音報警等功能。其主要的人臉識別功能的流程如圖6所示。

Raspberry Pi移植了Paspbian操作系統(tǒng)。以及為控制舵機及采集視頻圖像所需的PCA9685驅(qū)動、V4L2驅(qū)動等。

因為Raspberry Pi有限的算力和存儲空間，所以本系統(tǒng)只有將人臉檢測部分的程序移植到Raspberry Pi上，以及其所依賴的Dlib等模塊和運行環(huán)境。

Raspberry Pi啟動時會運行/etc/init。d/目錄下的服務(wù)腳本文件從而運行監(jiān)控和控制舵機的服務(wù)端等兩個進程。當攝像頭采集到圖像后會采用mjpeg-stream程序?qū)崿F(xiàn)實時的網(wǎng)絡(luò)監(jiān)控。

本系統(tǒng)中的HOG算法、ERT算法和FaceNet的訓(xùn)練過程放在上位機完成。隨后將訓(xùn)練好的HOG+SVM分類器模型移植到Raspberry Pi硬件平臺上。

下位機負責完成視頻采集和通過HOG算法檢測人臉，如視頻幀中含有人臉信息則將人臉部分通過WiFi模塊上傳給服務(wù)器，服務(wù)器會根據(jù)人臉部分通過ERT算法和FaceNet網(wǎng)絡(luò)提取人臉的128個特征點信息與MySQL數(shù)據(jù)庫中的已存在的人臉信息進行匹配。當兩個特征值距離小于設(shè)定閾值就可以認為是同一個人，如果出現(xiàn)未知人臉信息，上位機就通過itchat模塊發(fā)送微信報警。

4 系統(tǒng)實驗結(jié)果

上位機硬件環(huán)境為：CPU i7-4720HQ，內(nèi)存16GB 1600MHz雙通道。GPU NVIDIA GTX 970M。主程序采用Python3編寫，圖像界面采用PyQT編寫。

系統(tǒng)測試采用LFW人臉庫和測試人員自建的人臉庫混合，建立了一個100張人臉照片的小型人臉庫。傳統(tǒng)的嵌入式平臺將人臉特征信息存儲在本地，存儲的記錄數(shù)量受限，且查詢速度較慢，無法實現(xiàn)信息共享，本系統(tǒng)將每個人臉的128個特征點信息存儲在數(shù)據(jù)庫服務(wù)器中，能夠快速的匹配人臉信息，在測試中準確率達到97%。

5 結(jié)束語

本文主要設(shè)計并實現(xiàn)了一種基于Raspberry Pi平臺下人臉識別智能監(jiān)控系統(tǒng)。闡述了系統(tǒng)的總體設(shè)計方案。本設(shè)計首先在視頻監(jiān)控中檢測人臉，并將視頻幀中含有的人臉信息通過WiFi模塊上傳給服務(wù)器，服務(wù)器會根據(jù)人臉部分通過ERT算法和FaceNet網(wǎng)絡(luò)提取人臉的128個特征點信息與數(shù)據(jù)庫中的已存在的人臉信息進行匹配，解決了嵌入式平臺算法不足和存儲空間有限而無法實現(xiàn)實時的、大量數(shù)據(jù)下的人臉識別的問題。實驗驗證了系統(tǒng)的可行性，為智能視頻監(jiān)控系統(tǒng)的設(shè)計提供了一種解決方案。隨著監(jiān)控行業(yè)的不斷發(fā)展。本文設(shè)計的人臉識別智能監(jiān)控系統(tǒng)將有廣泛的應(yīng)用前景。