章永來 李華玲

（中北大學(xué)軟件學(xué)院 山西省太原市 030051）

人工智能與云計(jì)算等先進(jìn)技術(shù)的蓬勃發(fā)展，為我國軟件工程專業(yè)的建設(shè)提供了天然的技術(shù)支撐。軟件工程專業(yè)必須走在新工科建設(shè)的前沿，探索面向人工智能復(fù)雜工程問題的“互聯(lián)網(wǎng)+育人”工科實(shí)踐教學(xué)的新模式。然而，我國高校培養(yǎng)的軟件工程專業(yè)人才，并不能完全適應(yīng)新興產(chǎn)業(yè)所需的人才要求。因此，課程實(shí)踐教學(xué)內(nèi)容需要聚焦具有高階性與挑戰(zhàn)度等特點(diǎn)的復(fù)雜工程問題，創(chuàng)新有一定技術(shù)含量又是學(xué)生樂于接受的人工智能教學(xué)資源。整個(gè)課程全部圍繞人臉識(shí)別的復(fù)雜工程問題，聚焦具有Python 的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵技術(shù)，貫穿了軟件工程的設(shè)計(jì)思想。本文的人工智能實(shí)踐案例，即人臉識(shí)別簽到系統(tǒng)，既是《大數(shù)據(jù)與人工智能創(chuàng)意設(shè)計(jì)與實(shí)踐》課程的教學(xué)案例，又可以在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)過程中在班級(jí)課堂上現(xiàn)場(chǎng)實(shí)踐。這樣，一方面提高了軟件工程課程的創(chuàng)新性，高階性與挑戰(zhàn)度，又極大提高了同學(xué)們的積極性與主動(dòng)性。

1 ResNet神經(jīng)網(wǎng)絡(luò)關(guān)鍵技術(shù)

2014 年提出的GoogleNet（谷歌深度學(xué)習(xí)網(wǎng)絡(luò)）的人臉圖像識(shí)別錯(cuò)誤率仍然高于人眼水平。該神經(jīng)網(wǎng)絡(luò)的深度仍然只有22 層?？梢?，對(duì)于智能識(shí)別圖像很明顯存在不足之處。

2015 年， 深度殘差網(wǎng)絡(luò)（deep residual network,ResNet）問世。一方面，在ResNet 提出之前，研究者采取了不同的方法，以解決規(guī)模變化的核心架構(gòu)問題。一般稱之為 Inception 模塊。這些模塊使用不同尺度的卷積核以及在相同輸入上計(jì)算并連接在一起的最大池化的結(jié)合。許多這些模塊堆疊在一起就創(chuàng)建 Inception 模塊。從網(wǎng)絡(luò)結(jié)構(gòu)上看，其實(shí)是增加了網(wǎng)絡(luò)的寬度。盡管沒有單獨(dú)的架構(gòu)特征對(duì)Inception 的性能進(jìn)行評(píng)估，然而有價(jià)值的策略包括使用 1*1卷積；為了減少空間復(fù)雜度將 n*n 卷積層分解為堆疊的 n*1和 1*n 層；以及減少協(xié)方差偏移的批量歸一化技術(shù)。

另一方面，如果單純?cè)黾由疃龋丛黾由窠?jīng)網(wǎng)絡(luò)的層數(shù)，會(huì)導(dǎo)致網(wǎng)絡(luò)退化問題。問題的主要表現(xiàn)就是隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)精度會(huì)逐漸增加，但是當(dāng)突破某個(gè)層數(shù)的閾值時(shí)，層數(shù)的增加反而會(huì)導(dǎo)致網(wǎng)絡(luò)精度明顯下降。為了解決這個(gè)問題，ResNet 神經(jīng)網(wǎng)絡(luò)引入了殘差模塊，如圖1 所示。所謂殘差就是預(yù)測(cè)值與真實(shí)值的偏差。殘差網(wǎng)絡(luò)的實(shí)質(zhì)作用就是擬合偏差，當(dāng)理論預(yù)測(cè)值與偏差相加之后，其結(jié)果則更接近真實(shí)值，巧妙地解決了深度網(wǎng)絡(luò)的梯度爆炸或梯度消失問題，同時(shí)也解決了由于網(wǎng)絡(luò)深度過大，而導(dǎo)致的過擬合現(xiàn)象。在深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展過程中具有里程碑的作用。

圖1：ResNet 的殘差模塊示意圖

ResNet 神經(jīng)網(wǎng)絡(luò)普通深度網(wǎng)絡(luò)的基礎(chǔ)上，插入短路連接（如圖1 的右邊箭頭），將網(wǎng)絡(luò)轉(zhuǎn)換為對(duì)應(yīng)的殘差版本。當(dāng)輸入和輸出具有相同的維度時(shí)，可以直接使用恒等短路方式，如公式（1）所示：

其中，W 表示卷積層的權(quán)值。

當(dāng)維度增加時(shí)，ResNet 考慮兩種方式：

（1）短路連接方式仍然執(zhí)行恒等映射，為增加維度填補(bǔ)額外的零；

（2）通過 1*1 卷積的投影方式用于匹配維度，如公式（2）所示：

其中，為了使維度相等，Ws 是一個(gè)方陣。

ResNet 已經(jīng)成功將網(wǎng)絡(luò)深度提高到152 層，也可以根據(jù)需要提高到1000 層以上，并且使圖像識(shí)別錯(cuò)誤率可以達(dá)到低于人眼的水平，一舉榮獲五項(xiàng)世界級(jí)獎(jiǎng)項(xiàng)。

圖1 所示的殘差網(wǎng)絡(luò)結(jié)構(gòu)中，通過短路連接的方式，直接把輸入X 傳到輸出，使輸出結(jié)果為H(x) = F(x) + x?？梢姡词笷(x)=0 時(shí)，則H(x)=x。ResNet 相當(dāng)于將學(xué)習(xí)目標(biāo)改變了，不再是學(xué)習(xí)一個(gè)完整的輸出，而是目標(biāo)值H(X)和x 的差值，也就是所謂的殘差，即F(x) = H(x) - x。因此，這種殘差跳躍式的結(jié)構(gòu)，打破了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)n-1 層的輸出只能給n 層作為輸入的慣例，使某一層的輸出可以直接跨過幾層作為后面某一層的輸入，即通過不同的跳躍層數(shù)，來建立不同的殘差模塊。其意義在于使得整個(gè)深度學(xué)習(xí)模型的性能，隨著層數(shù)的增加出現(xiàn)不升反降的窘境，得到了根本性的解決。ResNet 深度學(xué)習(xí)網(wǎng)絡(luò)在人臉識(shí)別大賽中取得了驕人的成績(jī)，使得人臉識(shí)別技術(shù)逐步趨向了成熟。本文的人臉識(shí)別簽到系統(tǒng)案例就使用了該ResNet 深度學(xué)習(xí)模型作為系統(tǒng)的關(guān)鍵技術(shù)。

2 人臉識(shí)別簽到系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)的總體設(shè)計(jì)

人臉識(shí)別簽到系統(tǒng)中數(shù)據(jù)庫設(shè)計(jì)的E-R（Entity-Relationship，實(shí)體-聯(lián)系）模型，如圖2 所示。E-R 圖可以用來描述現(xiàn)實(shí)世界的概念模型，使用實(shí)體，聯(lián)系與屬性等三種圖例來描述出人臉識(shí)別簽到系統(tǒng)。

圖2：系統(tǒng)的E-R 圖

系統(tǒng)的E-R 圖是描述了人臉簽到的現(xiàn)實(shí)操作的關(guān)系概念模型。E-R 圖的基本圖例是：用“矩形框”表示實(shí)體型，矩形框內(nèi)是實(shí)體名稱；用“橢圓”表示實(shí)體的屬性，并用“實(shí)心線段”將其與相應(yīng)關(guān)系的“實(shí)體型”連接起來；在“實(shí)心線段”的兩端寫明聯(lián)系的類型，即1:1,1:n 或m:n。

系統(tǒng)的頂層流程圖如圖3 所示。數(shù)據(jù)流程圖是通過要素和符號(hào)來描繪數(shù)據(jù)的來源、流動(dòng)和存儲(chǔ)情況。頂層數(shù)據(jù)流程圖可以清晰、直觀地反映出系統(tǒng)信息全貌的一種工具。圖3的人臉識(shí)別簽到系統(tǒng)頂層流程圖客觀直接地反應(yīng)了系統(tǒng)與外部的聯(lián)系。

圖3：系統(tǒng)頂層數(shù)據(jù)流程圖

可見，外部實(shí)體有簽到員、學(xué)生與教師等3 類?；緢?chǎng)景就是簽到員設(shè)置完成簽到系統(tǒng)后，學(xué)生依次刷臉進(jìn)行簽到。最后，簽到員將簽到結(jié)果發(fā)送到教師的郵箱。

系統(tǒng)的人臉簽到總體流程，如圖4 所示。首次使用系統(tǒng)時(shí)，需要先初始化數(shù)據(jù)，包括導(dǎo)入學(xué)生名單、設(shè)置配置文件等；然后，需要采集學(xué)生的人臉數(shù)據(jù)，并將其轉(zhuǎn)化為128 維特征，保存到SqlLite 數(shù)據(jù)庫。以班級(jí)為單位進(jìn)行自動(dòng)簽到的流程如下。

圖4：系統(tǒng)總體流程圖

（1）從攝像頭讀入圖片中的最大人臉，其他人臉忽略不計(jì)；

（2）最大人臉轉(zhuǎn)化為128 維特征；

（3）設(shè)置一個(gè)該班級(jí)所在人臉的內(nèi)存庫的循環(huán)，尋找歐式距離小于0.35 的相似臉，若尋找到相似臉則退出循環(huán)，提示匹配成功，否則提示匹配失??；

（4）將簽到成功的數(shù)據(jù)寫入內(nèi)存的數(shù)據(jù)結(jié)構(gòu)；

（5）依次循環(huán)1-4 部，直到所有學(xué)生都簽到完成；

（6）將內(nèi)存中的簽到數(shù)據(jù)寫入文件；

（7）將文件發(fā)送到教師指定郵箱（郵箱在配置文件中設(shè)置，如圖8 所示）。

2.2 系統(tǒng)實(shí)現(xiàn)

人臉簽到系統(tǒng)的界面簡(jiǎn)要介紹如下。系統(tǒng)主界面分為菜單區(qū)、提示區(qū)與刷臉區(qū)等三個(gè)部分，如圖5 所示，包含初始化、刷臉簽到，手動(dòng)簽到與系統(tǒng)設(shè)置等4 個(gè)菜單。采集簽到與自動(dòng)簽到操作如圖6 所示。當(dāng)所有學(xué)生簽到結(jié)束后，先導(dǎo)出數(shù)據(jù)，再將數(shù)據(jù)發(fā)送到指定郵箱，如圖7 所示。圖8 是配置文件的示例數(shù)據(jù)。

圖5：系統(tǒng)主界面

圖6：人臉簽到菜單

系統(tǒng)登錄時(shí)，默認(rèn)為班級(jí)的自動(dòng)簽到模式，自動(dòng)簽到文本框內(nèi)的班級(jí)。此時(shí)，“開始采集”命令按鈕為不可用，當(dāng)采集簽到時(shí)方才可以啟用。提示框區(qū)域主要是顯示當(dāng)前操作的提示或警告消息。刷臉區(qū)顯示的是人臉的圖片，當(dāng)圖片中出現(xiàn)較多張臉時(shí)，系統(tǒng)將默認(rèn)只選擇最大的人臉進(jìn)行識(shí)別簽到操作。

刷臉簽到菜單，包括采集簽到，自動(dòng)簽到與結(jié)束簽到，如圖6 所示。點(diǎn)擊“采集簽到”菜單（只要點(diǎn)擊一次即可），輸入學(xué)號(hào)，系統(tǒng)將自動(dòng)找到人臉后，顯示在刷臉區(qū)域。點(diǎn)擊“開始采集”按鈕，等待數(shù)秒后提示采集是否成功。最后，簽到結(jié)束點(diǎn)擊“結(jié)束簽到”菜單。

手動(dòng)簽到菜單，包括手動(dòng)簽到，導(dǎo)出數(shù)據(jù)與發(fā)送郵件，如圖7 所示。首先，將數(shù)據(jù)導(dǎo)出到安裝目錄文件夾中，然后將該文件發(fā)送到指定郵箱。

圖7：簽到數(shù)據(jù)處理菜單

系統(tǒng)初始化時(shí)，需要先配置“config.ini”文件。配置文件的示例如圖8所示，其中，dist表示相似臉歐式距離的閾值；picNum 表示人臉采集時(shí)的最大圖片數(shù)；classes 代表自動(dòng)簽到的班級(jí)編號(hào)；receiver 代表發(fā)送的郵件地址；grade 表示簽到年級(jí)。

圖8：系統(tǒng)配置文件示例

2.3 系統(tǒng)使用主要注意點(diǎn)

（1）采集環(huán)境：光線較好，避免有反光等明顯的較差的環(huán)境（采集時(shí)一定要注意質(zhì)量）。

（2）采集方式：坐姿采集，采集時(shí)人臉大小至少為3*3cm。調(diào)整好后，再點(diǎn)擊“開始采集”按鈕。

（3）系統(tǒng)初始化：建立“學(xué)生名單.txt”;修改配置文件“config.ini”。

（4）采集簽到與自動(dòng)簽到，若出現(xiàn)無法識(shí)別時(shí)，需要調(diào)整姿態(tài)（如遠(yuǎn)近、小幅度轉(zhuǎn)動(dòng)臉蛋子等）。

（5）簽到結(jié)束，必須點(diǎn)擊“導(dǎo)出簽到”，得到簽到結(jié)果。

（6）采集簽到完成，需要重新啟動(dòng)才能自動(dòng)簽到。

（7）自動(dòng)簽到時(shí)，若5 秒鐘內(nèi)無法識(shí)別人臉，說明采集時(shí)質(zhì)量不行，需要重新采集。

3 結(jié)語

人工智能與云計(jì)算等先進(jìn)技術(shù)的飛速發(fā)展，引領(lǐng)著第四次科技革命。軟件工程專業(yè)與這些領(lǐng)域之間存在著天然的聯(lián)系，正在為這些產(chǎn)業(yè)輸送著大量的中高端人才。新的實(shí)踐課程培養(yǎng)體系，需要以“三全育人”的基本原則與“新工科”的五大理念等國家級(jí)教育思想為指導(dǎo)。學(xué)生完成復(fù)雜工程問題的實(shí)踐任務(wù)后，教師可以選擇優(yōu)秀案例，讓一位學(xué)生代表講解他們團(tuán)隊(duì)的優(yōu)秀作品，實(shí)施以“學(xué)生為中心”的教學(xué)模式。該案例聚焦ResNet 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，解決了人臉識(shí)別的復(fù)雜工程問題，并作為社會(huì)實(shí)踐課程教學(xué)的大型案例，創(chuàng)新了高階課程的培養(yǎng)體系，可以為社會(huì)輸送合格的高技術(shù)人才，打下堅(jiān)實(shí)基礎(chǔ)，同時(shí)也極大地調(diào)動(dòng)了學(xué)生的主動(dòng)性與積極性。

目前的人臉簽到系統(tǒng)一次只能簽到一位同學(xué)，不能進(jìn)行多人同時(shí)簽到。這是系統(tǒng)以后需要繼續(xù)完善的功能，可以為下一屆學(xué)生提供實(shí)際需要改進(jìn)的內(nèi)容。