于存江 楊龍標(biāo) 丁笑穎 顏成偉 周國寶

摘 要： 針對鐵路窗口售票服務(wù)質(zhì)量的問題，提出一種售票窗口服務(wù)質(zhì)量的表情識別監(jiān)測系統(tǒng)。該系統(tǒng)通過售票窗口外側(cè)的攝像頭檢測到人臉圖像時，表情監(jiān)測系統(tǒng)每隔一定的時間就會通過安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，由表情識別監(jiān)測系統(tǒng)對圖像進(jìn)行處理和識別，將識別后的結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計?；诒砬樽R別技術(shù)的監(jiān)測系統(tǒng)在鐵路售票窗口的應(yīng)用，不僅能夠提高售票員的服務(wù)質(zhì)量，也能夠讓旅客在購票的過程中體驗到舒適感。

關(guān)鍵詞： 表情識別; 鐵路售票監(jiān)測; 服務(wù)質(zhì)量

文章編號： 2095-2163（2021）03-0106-03 中圖分類號：TP29 文獻(xiàn)標(biāo)志碼：A

【Abstract】Aiming at the problem of railway window ticketing service quality， this paper proposes an expression recognition monitoring system for ticket window service quality. When the system detects the face image through the camera outside the ticket window， the expression monitoring system will obtain the frame image information within the monitoring range through the camera installed in the ticket window at regular intervals. The image is processed and recognized， and the results of the recognition are statistically analyzed. The application of the monitoring system based on facial expression recognition technology in the railway ticket window could not only improve the service quality of the conductor， but also allow passengers to experience comfort during the ticket purchase process.

【Key words】 expression recognition; railway ticketing monitoring; service quality

0 引 言

近年來，人工智能的迅速發(fā)展不斷影響著科技工業(yè)的進(jìn)步，而人們的日常生活也不斷得到改善。鐵路作為人們外出旅行的重要交通方式，其服務(wù)質(zhì)量也受到越來越多的關(guān)注，因此一套完整有效的基于表情識別技術(shù)設(shè)計的售票窗口的監(jiān)測系統(tǒng)的研發(fā)已然成為各方矚目的熱點。該系統(tǒng)的成功研發(fā)則能夠解決人為監(jiān)督方式諸多弊端，例如浪費人力、難以實現(xiàn)即時監(jiān)督，漏洞也較多，將在一定程度上有利于提升鐵路部門對旅客的服務(wù)質(zhì)量，從而使鐵路交通部門的服務(wù)體系建設(shè)邁上新高度。既能夠提高售票人員的服務(wù)水平，也能讓旅客出行時提高用戶體驗，與此同時還減少了不必要的人力和物力的消耗[1]。

1 系統(tǒng)分析與設(shè)計

1.1 需求分析

該系統(tǒng)由安裝在售票窗口內(nèi)外兩側(cè)的雙攝像頭來進(jìn)行服務(wù)質(zhì)量的監(jiān)測?？偟貋碚f，就是通過售票窗口外側(cè)的攝像頭檢測到人臉圖像，此時表情識別監(jiān)測系統(tǒng)將每隔一定時間就會通過安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，并由表情識別監(jiān)測系統(tǒng)對圖像加以識別與處理，再對處理后的結(jié)果進(jìn)行最終的數(shù)據(jù)統(tǒng)計。

表情檢測系統(tǒng)主要由4個模塊組成，分別是：售票員與旅客人臉圖像采集模塊、人臉檢測模塊、人臉表情識別模塊和數(shù)據(jù)統(tǒng)計模塊。當(dāng)有人通過窗口購票時，該系統(tǒng)將利用售票窗口外側(cè)的攝像頭檢測到人臉圖像，每經(jīng)一定的時間間隔再通過窗口內(nèi)側(cè)的攝像頭來采集圖像，接著將對采集圖像進(jìn)行處理，基于此再進(jìn)行人臉檢測和人臉表情識別，最后可將識別后的結(jié)果數(shù)據(jù)保存起來，以此來考察售票員今天的服務(wù)工作質(zhì)量。

1.2 技術(shù)方案

人臉表情識別是一種生物特征識別技術(shù)。現(xiàn)如今，表情識別技術(shù)不僅在安全、醫(yī)療、通信、汽車、機(jī)器人制造和教育等諸多領(lǐng)域中均獲得了快速發(fā)展，并取得了可觀研究成果[2]。Feng等人通過構(gòu)建表情特征LBP直方圖，實現(xiàn)了面部表情識別。Guo等人基于改進(jìn)LBP算子提出了完全局部二值算法CLBP，該算法取得了比LBP算子更好的識別率。王鎮(zhèn)利用改進(jìn)的梯度方向直方圖（HOG）來提取表情特征，該方法可以有效區(qū)分噪聲和表情信息[3]。

卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層和輸出層組成，這是一種端到端的學(xué)習(xí)架構(gòu)，直接從原始數(shù)據(jù)訓(xùn)練描述特征，同時也能處理大量的數(shù)據(jù)，是計算機(jī)視覺領(lǐng)域的最熱門的研究方向之一[4]。

本系統(tǒng)通過使用計算機(jī)視覺的開源工具包Keras、 OpenCv和深度學(xué)習(xí)主流框架TensorFlow相結(jié)合的方式實現(xiàn)系統(tǒng)核心部分、即人臉檢測和人臉表情識別功能，同時也包括售票員表情識別后信息的展示功能。

1.3 系統(tǒng)設(shè)計框架

本次研究將系統(tǒng)總體框架分為3部分，歸納為2層結(jié)構(gòu)。系統(tǒng)整體框架設(shè)計如圖1所示。

由圖1可知，數(shù)據(jù)采集層是通過窗口內(nèi)外兩側(cè)的攝像頭進(jìn)行圖像采集，這一層的主要功能是采集攝像頭覆蓋范圍內(nèi)的圖像信息;通過PC機(jī)上的表情識別監(jiān)測系統(tǒng)提取出人臉信息，進(jìn)行人臉檢測和人臉表情識別[5]，這就構(gòu)成了整個系統(tǒng)的服務(wù)層。

2 系統(tǒng)研究與設(shè)計

2.1 人臉圖像采集模塊

當(dāng)旅客站在售票窗口進(jìn)行咨詢或者買票時，表情識別監(jiān)測系統(tǒng)將會調(diào)用函數(shù)VideoCapture將售票窗口外的攝像頭拍攝到的畫面通過視頻流傳送到多幀圖像處理中，由此來進(jìn)行人臉圖像信息的檢測。而檢測后的人臉圖像信息會經(jīng)過haar特征的Adaboost分類器的方法，當(dāng)調(diào)用detectMultiScale（）函數(shù)檢測到幀圖像中有人臉特征圖像時，表情識別監(jiān)測系統(tǒng)會每隔3 s即通過攝像頭來采集售票窗口內(nèi)的圖像，再將采集后的圖像經(jīng)過處理后進(jìn)行人臉檢測。當(dāng)表情識別監(jiān)測系統(tǒng)通過售票窗口外的攝像頭檢測不到人臉圖像信息時，表情識別監(jiān)測系統(tǒng)則停止這一每隔3 s通過售票窗口內(nèi)的攝像頭對圖像進(jìn)行采集的進(jìn)程。

2.2 人臉檢測模塊

將表情識別監(jiān)測系統(tǒng)采集回的售票窗口內(nèi)的圖像信息仍會通過haar特征的Adaboost分類器的方法，調(diào)用detectMultiScale（）函數(shù)來檢測圖像中的有人臉圖像特征信息，再通過resize（）函數(shù)來提取臉部圖像。

2.3 人臉表情識別模塊

將表情識別監(jiān)測系統(tǒng)提取后的面部表情圖像信息，通過訓(xùn)練好的表情識別模型、并調(diào)用predict_proba（）函數(shù)來預(yù)測售票員的面部表情特征。再將識別后的信息進(jìn)行存儲統(tǒng)計。人臉表情識別模塊的設(shè)計流程如圖2所示。

該模塊是基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的人臉表情識別功能，而卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)需經(jīng)過如下步驟：加載數(shù)據(jù)到內(nèi)存、劃分?jǐn)?shù)據(jù)集、驗證集、訓(xùn)練集、并歸一化數(shù)據(jù)，最終訓(xùn)練得到所需要的結(jié)果模型。卷積運算的原理公式可寫為：

2.4 數(shù)據(jù)統(tǒng)計模塊

將表情識別監(jiān)測系統(tǒng)識別后的面部表情圖像信息進(jìn)行存儲，例如：上班時間定為早8點，下班時間定為下午5點，表情識別監(jiān)測系統(tǒng)則會將今天識別到的信息進(jìn)行實時的單一存儲，下午5點下班后，表情檢測系統(tǒng)會進(jìn)行分類統(tǒng)計，將生氣、厭惡、悲傷、恐懼等情緒處理成生氣狀態(tài)，將高興、驚訝、正常處理成高興狀態(tài)，而且利用如下公式：

來運算得到服務(wù)質(zhì)量（差：0.00～0.59，良：0.60～0.89，優(yōu)：0.90～1.00），在此基礎(chǔ)上則可起到監(jiān)督作用，從而提高鐵路售票工作的服務(wù)質(zhì)量。

3 測試結(jié)果

本文將對表情識別監(jiān)測系統(tǒng)展開測試來驗證結(jié)果。在良好的實驗條件下，采用訓(xùn)練好的模型進(jìn)行預(yù)測，并將實驗人員人臉置于攝像頭采集范圍內(nèi)，由此得到人臉圖像信息，無論是在光照、角度還是背景等參數(shù)上基本保持一致，測試結(jié)果可闡釋分述如下。

（1） 模擬售票窗口外側(cè)的攝像頭檢測到的旅客人臉圖像。視像效果如圖3所示。

（2）模擬售票窗口內(nèi)的攝像頭采集回的20幀人臉圖像信息，作為本系統(tǒng)的測試數(shù)據(jù)。視像效果如圖4所示。

（3）將上述的20幀圖像作為一天當(dāng)中統(tǒng)計的數(shù)據(jù)，識別結(jié)果輸出如圖5所示。

通過公式（2）可求得服務(wù)質(zhì)量為0.6（良）。

4 結(jié)束語

本項目旨在設(shè)計并實現(xiàn)針對售票窗口服務(wù)質(zhì)量的表情識別監(jiān)測系統(tǒng)。該系統(tǒng)利用了智能識別技術(shù)，通過售票窗口外側(cè)的攝像頭檢測到人臉圖像，并

每隔一定時間就會通過安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，再由該系統(tǒng)對圖像進(jìn)行處理和識別，最后對識別后的結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計。該次研發(fā)系統(tǒng)易于實施，功能清晰，并且系統(tǒng)本身也有利于后續(xù)的維護(hù)與擴(kuò)展升級。本次研究成果對于提升鐵路交通部門的服務(wù)質(zhì)量，提供旅客的舒適出行體驗有著重要現(xiàn)實意義。

參考文獻(xiàn)

[1] ?吳健新. 智能監(jiān)控系統(tǒng)中的人臉檢測與跟蹤研究[D]. 廈門：廈門大學(xué)，2006.

[2] 劉慶鵬. 基于ARM的嵌入式人臉識別系統(tǒng)研究與實現(xiàn)[D]. 長春：長春理工大學(xué)，2017.

[3] 程曦. 基于深度學(xué)習(xí)的表情識別方法研究[D]. 長春：長春工業(yè)大學(xué)，2017.

[4] 張杰. 基于GPU的大規(guī)模人臉識別系統(tǒng)的設(shè)計與實現(xiàn)[D]. 成都：電子科技大學(xué)，2017.

[5] 產(chǎn)文濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情和性別識別[D]. 合肥：安徽大學(xué)，2016.