曹戈楊 周有

摘要：移動端設(shè)備由于計算能力有限和實時使用的速度限制，需要開發(fā)輕量化的人臉識別的深度學(xué)習(xí)算法。算法核心在于通過網(wǎng)絡(luò)的結(jié)構(gòu)與計算參數(shù)設(shè)計，減少無關(guān)的特征冗余與非必要數(shù)據(jù)流動。本研究設(shè)計以Ghost模塊嵌入的TinyYOLO- MobileNet V3端到端識別網(wǎng)絡(luò)，總結(jié)出在特征圖中以小尺度替代大尺度，在計算上以線性計算代替小尺度卷積計算的設(shè)計思想。基于該思想，本研究完成了端到端架構(gòu)設(shè)計并在實驗中完成了對框架的性能測試。

關(guān)鍵詞：人臉識別;Ghost模塊;TinyYOLO;MobileNet V3

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：1009-3044（2022）18-0003-03

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

1 引言（Introduction）

人臉作為特殊的生物ID具有自然性、唯一性和不一致性，如何高效低耗地利用人臉特性做圖像識別是人臉識別的主要任務(wù)[1]?；诳臻g利用[2]、深度、多路徑、寬度、特征圖利用、通道提升和注意力提升等用于人臉識別的DCNN技術(shù)層出不窮[3]。但現(xiàn)有模型在執(zhí)行端到端識別任務(wù)過程中計算代價與復(fù)雜度過高，不適合移動端和邊緣計算設(shè)備等不具備高性能圖形處理單元（GPU）的場景。

常用圖像識別輕量卷積神經(jīng)網(wǎng)絡(luò)主要有 SqueezeNet[4]、BlazeFaceNet[5]、MnasNet[6]、TinyYOLO[7]、GhostNet[8]、EfficientNet[9]、MobileNet[10～12]等。這些輕量級架構(gòu)在移動端檢測的端到端架構(gòu)中檢測識別精度受限。該問題主要來源于架構(gòu)的輕量化追求與特征提取的過參數(shù)化要求的矛盾，輕量化網(wǎng)絡(luò)較少的參數(shù)不可避免帶來的是擬合能力的弱化。針對該問題，本研究設(shè)計了基于深度可分離卷積的TinyYOLO-MobileNet V3的端到端架構(gòu)，并在MobileNet V3中引入Ghost模塊保證輕量化并增益精度。最后針對公開數(shù)據(jù)集和作者實拍數(shù)據(jù)，完成測試。

2 輕量級神經(jīng)網(wǎng)絡(luò)技術(shù)（Light weight neural network technology）

2.1 TinyYOLO 算法簡介

TinyYOLO的特征提取器為Darknet，由卷積殘差塊和池化層組成，結(jié)構(gòu)如圖1所示，由卷積層和中間的最大集合層組成，最后一個卷積層用于進行邊界框預(yù)測。與其他網(wǎng)絡(luò)不同，TinyYOLO不是一個傳統(tǒng)的分類器，而是通過將圖像劃分成不同的邊框網(wǎng)格，輸出一個置信度分數(shù)，預(yù)測邊框?qū)嶋H上包圍了某個對象的確定性。對于每個邊界框，單元格還預(yù)測一個類別并給出所有可能類的概率分布，最后通過一個卷積層有一個1×1的內(nèi)核，用于將數(shù)據(jù)減少到被劃分成的網(wǎng)格的大小。

2.2 MobileNet算法簡介

用計算成本更低的深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以降低計算成本，如圖2所示。在MobileNet V3中，網(wǎng)絡(luò)沒有使用最大池化來減少空間維度，但一些深度層的跨度為2，最后是一個全局平均池化層，然后是一個全連接層或1×1卷積，用于做分類。各層使用Swish作為激活函數(shù)，如圖3所示。

在深度卷積層之前是一個作為擴展層卷積，該層增加了通道的數(shù)量。整個Mobile Net V3堆疊了多個上圖2所示的架構(gòu)塊以替代傳統(tǒng)的深度卷積殘差網(wǎng)絡(luò)，做了替代達到加速計算的目的。Hardwish層使用了h-swish函數(shù)，如式（1）所示。

[h_swish（x） = x×ReLU6（x + 3）6]? ? ? ? ? ? ? ? ? （1）

式中，[x]為輸入。h-swish函數(shù)作為激活函數(shù)是Google 為Android 設(shè)備（原型測試于Google Pixel的移動平臺上，以TensorFlow Lite 為開發(fā)框架）。V3中使用了Squeeze-and-Excitation Networks（SE）模塊，通過對特征通道間的相關(guān)性進行建模，把重要的特征進行強化來提升準確率。模塊沒有使用sigmoid，而是使用h-swish函數(shù)作為粗略的近似值。通過采用近似計算的方法，節(jié)省了激活函數(shù)的計算成本。在V3的架構(gòu)能夠處理更小的1×1特征圖，并由于摒棄了其他輕量級網(wǎng)絡(luò)的瓶頸層和深度卷積層，提高了精度損失。

3 端到端人臉識別架構(gòu)（End-to-end face recognition architecture）

3.1 GhostNet模塊

通常卷積層中的卷積核越少，速度越快，但表現(xiàn)力也越差，因為最終得到的特征圖越少。而GhostNet的設(shè)計思想為：通過使用比完全卷積更便宜的特征提取操作（被稱為原主干網(wǎng)絡(luò)的Ghost），合成額外的特征圖可以彌補這一點[12]。因為不同通道的特征圖在CNN的訓(xùn)練過程中很類似。

本研究在此提出基于深度可分離卷積的Ghost模塊，結(jié)構(gòu)如圖4所示。首先通過Keras深度學(xué)習(xí)框架的Lambda層分割數(shù)據(jù)，執(zhí)行小規(guī)模的深度可分離卷積，生成了少量的特征圖。然后通過簡單的線性變換創(chuàng)建Ghost特征。這些特征圖與原特征圖相連接通過線性層加權(quán)輸出，從而達到以更具成本效益的方式復(fù)現(xiàn)了這些冗余的特征圖，參數(shù)量降低為原來的一半。

3.2 端到端架構(gòu)

本文基于TinyYOLO與MobileNetV3搭建如圖5所示的端到端人臉識別框架，其中，TinyYOLO負責(zé)人臉定位，MobileNet負責(zé)人臉識別。TinyYOLO的主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)采用一個7層卷積加最大池化層的網(wǎng)絡(luò)提取特征，YOLO嫁接網(wǎng)絡(luò)采用的是58*56、26*26的分辨率探測網(wǎng)絡(luò)，TinyYOLO去輸出層將框定的人臉特征直接輸入融合了Ghost Module的MobileNetV3中，最后通過SoftMax完成識別。

該網(wǎng)絡(luò)的優(yōu)勢在于通過下列方法兼顧精度與運算速度：在神經(jīng)網(wǎng)絡(luò)的層間數(shù)據(jù)流動中，通過更多的小型特征圖彌補對單個大型特征圖的計算不足（權(quán)衡寬度乘法與深度乘法）;通過廉價的線性或小尺度計算替代昂貴的卷積運算;在模塊中大量運用了深度可分離卷積處理輸出。

4 實驗分析（Experimental analysis）

4.1實驗數(shù)據(jù)與訓(xùn)練細節(jié)

采用FDDB公開數(shù)據(jù)集[13]完成算法的訓(xùn)練，該數(shù)據(jù)集包含2845張圖片，共有5171個人臉作為測試集。測試集范圍包括：不同姿勢、不同分辨率、旋轉(zhuǎn)和遮擋等圖片。并采用手機拍照收集的圖片作為驗證集。并在實測中比較所提出架構(gòu)與YOLO-SqueezeNet和YoLo-MobileNetV3_Small等端到端框架的檢驗識別能力，在訓(xùn)練中的評價函數(shù)為識別的RMSE誤差。訓(xùn)練平臺為Colab，步數(shù)為500。訓(xùn)練結(jié)果如圖6所示，可以看出，所提出的架構(gòu)訓(xùn)練成本低，算法迅速收斂并且所提出的Ghost模塊能有效捕捉人臉特征。

在移動端，基于tensorflow lite將算法遷移到用TensorFlow自帶的工具來fine-tuning訓(xùn)練上訴架構(gòu)，將生成的pb文件轉(zhuǎn)換為tflite文件，后用Android studio打包成apk。在實際環(huán)境中，通過手機相冊數(shù)據(jù)及實時自拍檢測部署后的識別能力。

4.2 實驗結(jié)果

與其他典型輕量化端到端框架的對比結(jié)果詳見表1，通過實驗結(jié)果可知，本研究方法具有更輕量化的架構(gòu)和更高的識別精度。

在實拍和手機端對移植算法的檢測中，可以看出，算法能有效定位和識別人臉。

5 結(jié)論（Conclusion）

本研究設(shè)計了基于TinyYOlO與Ghost模塊改進的MobileNet V3的端到端人臉識別框架，總結(jié)了兼顧輕量化和精度的設(shè)計思想，并最終在現(xiàn)有數(shù)據(jù)集和作者自拍識別的實驗中進行驗證，實驗結(jié)果證明了該架構(gòu)的精確有效。相較于主流架構(gòu)YOLO-SqueezeNet（3.8M 參數(shù)量，0.5092s檢測識別速度，72%識別精度）與YOLO-MobileNetV3_Small（3.9M參數(shù)量， 0.6106s檢測識別速度，82%識別精度），本文的架構(gòu)在1.4M參數(shù)量下，檢測識別速度為0.2192s，識別精度為90%。

參考文獻：

[1] Nirkin Y，Wolf L，Keller Y，et al.DeepFake detection based on

discrepancies between faces and their context[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021.

[2] Khan A，Sohail A，Zahoora U，et al.A survey of the recent architectures of deep convolutional neural networks[J].Artificial Intelligence Review，2020，53（8）：5455-5516.

[3] Chai J Y，Zeng H，Li A M，et al.Deep learning in computer vision：a critical review of emerging techniques and application scenarios[J].Machine Learning With Applications，2021，6：100-134.

[4] Li G F，Tong N N，Zhang Y S，et al.Moving target detection classifier for airborne radar using SqueezeNet[J].Journal of Physics：Conference Series，2021，1883（1）：012003.

[5] Bazarevsky V，Kartynnik Y，Vakunov A，et al.Blazeface： Sub-millisecond neural face detection on mobile gpus[J].arXiv preprint arXiv：1907.05047，2019.

[6] 楊國亮，朱晨，李放，等.基于改進MnasNet網(wǎng)絡(luò)的低分辨率圖像分類算法[J].傳感器與微系統(tǒng)，2021，40（2）：142-145，153.

[7] 燕紅文，劉振宇，崔清亮，等.基于改進Tiny-YOLO模型的群養(yǎng)生豬臉部姿態(tài)檢測[J].農(nóng)業(yè)工程學(xué)報，2019，35（18）：169-179.

[8] 程春陽，吳小俊，徐天陽.基于GhostNet的端到端紅外和可見光圖像融合方法[J].模式識別與人工智能，2021，34（11）：1028-1037.

[9] Xiao Y H，Zhou J Y，Yu Y Z，et al.Active jamming recognition based on bilinear EfficientNet and attention mechanism[J].IET Radar，Sonar & Navigation，2021，15（9）：957-968.

[10] 郭奕君，阿里木江·阿布迪日依木，努爾畢亞·亞地卡爾，等.基于MobileNet網(wǎng)絡(luò)多國人臉分類識別[J].圖像與信號處理，2020（3）：146-155.

[11] Kadam K，Ahirrao S，Kotecha K，et al.Detection and localization of multiple image splicing using MobileNet V1[J].IEEE Access，9：162499-162519.

[12] Han K，Wang Y H，Tian Q，et al.GhostNet：more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：1577-1586.

[13] Jain V，Learned-Miller E.Fddb：A benchmark for face detection in unconstrained settings[R].UMass Amherst technical report，2010.

【通聯(lián)編輯：梁書】