李浩 馬曉 周萬(wàn)珍

摘?要：

為了減少因疲勞駕駛而造成的意外交通事故，提出了一種基于改進(jìn)的YOLOv5網(wǎng)絡(luò)模型，對(duì)駕駛員的疲勞狀態(tài)進(jìn)行檢測(cè)。首先，使用輕量型網(wǎng)絡(luò)MobileNetV3替換原YOLOv5主干網(wǎng)絡(luò)；其次，在頸部網(wǎng)絡(luò)各個(gè)C3模塊中融入ECA注意力機(jī)制；最后，通過(guò)檢測(cè)網(wǎng)絡(luò)對(duì)眼睛的開(kāi)合度和嘴巴有無(wú)打哈的狀態(tài)進(jìn)行定位和識(shí)別，使用多指標(biāo)對(duì)駕駛員進(jìn)行疲勞判定，并自建疲勞檢測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。結(jié)果表明：改進(jìn)的YOLOv5模型參數(shù)量、計(jì)算量、體積分別減小至原模型的48%、38%、50%，解決了原模型參數(shù)量、計(jì)算量、體積過(guò)大的問(wèn)題；mAP值由98.6%提升至99.1%，精確率由95.9%提升至96.8%，檢測(cè)速率由115 f/s提升至119 f/s，進(jìn)一步提高了模型的檢測(cè)精度和檢測(cè)速度。改進(jìn)的YOLOv5模型具備輕量化、高精度、高速率的特點(diǎn)，可為疲勞駕駛預(yù)警提供參考。

關(guān)鍵詞：

計(jì)算機(jī)圖像處理；YOLOv5；MobileNetV3；ECA；輕量化；疲勞駕駛

中圖分類(lèi)號(hào)：TP391??文獻(xiàn)標(biāo)識(shí)碼：A

DOI： 10.7535/hbgykj.2024yx01003

Driver fatigue state detection based on improved YOLOv5

LI Hao1， MA Xiao2， ZHOU Wanzhen1

（1School of Information Science and Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China; 2Supervision Office， Cangzhou Open University， Cangzhou， Hebei 061001， China）

[HQK]Abstract：[HJ2.0mm]

In order to reduce the sudden traffic accidents caused by fatigue driving， a network model based on improved YOLOv5 was proposed to detect the fatigue state of drivers. Firstly， the original YOLOv5 backbone network was replaced by the lightweight network MobileNetV3. Secondly， the ECA attention mechanism was incorporated into each C3 module of the neck network. Finally， the degree of eyes opening and closing and mouth with or without snorting were located and identified by the detection network， and then the multiple indexes were used to judge the fatigue state of the driver， and the self-built fatigue detection dataset was used for experiments. The results show that the improved YOLOv5 model′s number of parameters， computations， and volume are reduced to 48%， 38%， 50% of the original model， respectively， which solves the problem of excessive number of parameters， computations and volume of the original model. The mAP value is increased from 98[DK（].[DK）]6% to 99[DK（].[DK）]1%， the accuracy is increased from 95[DK（].[DK）]9% to 96[DK（].[DK）]8%， and the detection rate is increased from 115 f/s to 119 f/s， all of which further improves the detection accuracy and speed of the mode. The improved YOLOv5 model has the characteristics of lightweight， high precision and high speed， which can provide reference for fatigue driving early warning.

Keywords：

computer image processing; YOLOv5; MobileNetV3; ECA; light weight; fatigue driving

隨著人們生活水平的不斷提高，轎車(chē)作為代步工具極大地便利了出行體驗(yàn)，但是隨之而來(lái)的交通事故也越來(lái)越多。通過(guò)對(duì)交通事故統(tǒng)計(jì)分析發(fā)現(xiàn)，因疲勞駕駛而引起的交通事故約占總數(shù)的20%，占特大交通事故的40%以上[1-3]。因此，對(duì)駕駛員的疲勞狀態(tài)進(jìn)行檢測(cè)研究顯得格外重要。

目前駕駛員疲勞狀態(tài)的檢測(cè)方法主要有接觸式和非接觸式[4]。LAL等[5]指出，人在疲勞時(shí)腦電圖中的delta波和theta波活性顯著加強(qiáng)，提出了一種接觸式檢測(cè)方法，是一種用腦電設(shè)備測(cè)量大腦紡錘波的早期疲勞檢測(cè)方法[6]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于視覺(jué)面部特征的非接觸式檢測(cè)方法開(kāi)始興起[7]。YANG等[8]提出通過(guò)Dlib算法獲取眼睛關(guān)鍵點(diǎn)圖像，利用決策網(wǎng)絡(luò)判斷眼睛開(kāi)合度，根據(jù)眼睛開(kāi)合度判斷駕駛員的疲勞狀態(tài)；ANSARI等[9]提出了將ReLU-BiLSTM網(wǎng)絡(luò)與頭部姿態(tài)變化相結(jié)合，通過(guò)ReLU-BiLSTM獲取頭部空間關(guān)鍵點(diǎn)，依據(jù)得出的頭部?jī)A斜角度判斷駕駛員的疲勞狀態(tài)；ADHINATA等[10]提出了將FaceNet算法與K近鄰算法相結(jié)合，其中FaceNet算法用于面部特征器官點(diǎn)的提取，K近鄰算法用于劃定分類(lèi)，該方法的準(zhǔn)確率達(dá)到94.68%，符合疲勞檢測(cè)要求。

然而，以上幾種非接觸式檢測(cè)方法需要進(jìn)行大量特征器官點(diǎn)定位，使得訓(xùn)練過(guò)程中的參數(shù)量和計(jì)算量大大提升，模型體積變大，難以達(dá)到在實(shí)際場(chǎng)景中輕量化部署的要求，且這些算法模型檢測(cè)速度慢，會(huì)降低實(shí)時(shí)疲勞檢測(cè)的效率[11-12]。本文通過(guò)使用YOLOv5模型[13-15]，直接對(duì)眼睛和嘴巴的面部特征器官進(jìn)行定位和識(shí)別，可大幅提高檢測(cè)速度，并對(duì)YOLOv5模型進(jìn)行改進(jìn)，使其在達(dá)到輕量化要求的同時(shí)，提高檢測(cè)精度[16-17]。最后利用基于面部特征器官的多指標(biāo)融合的疲勞判定模式，根據(jù)駕駛員的閉眼幀數(shù)占比、眨眼頻率、打哈頻率綜合實(shí)現(xiàn)對(duì)駕駛員疲勞狀態(tài)的高效檢測(cè)[18]。

1?相關(guān)理論基礎(chǔ)

1.1?YOLOv5-6.1網(wǎng)絡(luò)模型

YOLOv5網(wǎng)絡(luò)模型將求解過(guò)程統(tǒng)一為一個(gè)回歸問(wèn)題，舍棄候選框的選取，直接在輸出層對(duì)目標(biāo)的位置和類(lèi)別進(jìn)行回歸，提高檢測(cè)速度。本文以YOLOv5s為基礎(chǔ)模型，使用YOLOv5-6.1版本對(duì)其進(jìn)行改進(jìn)。YOLOv5s模型結(jié)構(gòu)分為輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）、檢測(cè)網(wǎng)絡(luò)（Head），其模型結(jié)構(gòu)示意圖如圖1所示。

Input輸入端就是圖片或幀圖像的輸入。Backbone主干網(wǎng)絡(luò)用來(lái)對(duì)輸入圖像進(jìn)行特征提取，并不斷縮小特征圖尺寸，包含有Conv模塊、C3模塊、SPPF模塊。其中，Conv模塊的作用是對(duì)特征圖進(jìn)行升維或降維、歸一化等操作；C3模塊則是更為重要的進(jìn)行特征提取模塊；SPPF模塊的主要作用是將同一特征圖不同尺度下的特征表現(xiàn)合并到一起。Neck頸部網(wǎng)絡(luò)用來(lái)將不同層次的特征圖進(jìn)行融合，以獲得更為完整的特征。Head檢測(cè)網(wǎng)絡(luò)僅包含Detect模塊，Detect模塊由3個(gè)1×1卷積構(gòu)成，對(duì)應(yīng)3個(gè)檢測(cè)特征層，用來(lái)確定檢測(cè)目標(biāo)的位置和類(lèi)別。

1.2?MobileNetV3模塊

MobileNetV3模塊（簡(jiǎn)稱(chēng)MNV3模塊）是一種輕量級(jí)模塊，圖2為MNV3模塊結(jié)構(gòu)示意圖[19]。輸入特征先通過(guò)1×1卷積擴(kuò)充通道數(shù)，然后在高維空間上對(duì)特征圖進(jìn)行3×3的深度卷積。接著對(duì)經(jīng)過(guò)深度卷積的輸出特征進(jìn)行全局平均池化操作，以壓縮特征得到通道級(jí)的全局特征。再將全局特征依次輸入激活函數(shù)為ReLU和h-swish的2個(gè)全連接層得到特征向量，對(duì)特征向量進(jìn)行權(quán)重賦值得到輸出特征。最后用1×1卷積對(duì)輸出特征降維從而得到最終特征。整個(gè)過(guò)程中前2個(gè)卷積使用非線(xiàn)性激活函數(shù)，最后1個(gè)卷積使用線(xiàn)性激活函數(shù)。使用線(xiàn)性激活函數(shù)是要確保在最后通道降維輸出后，使特征信息丟失的損失達(dá)到最小。過(guò)程中使用的非線(xiàn)性激活函數(shù)如式（1）—式（3）所示：

h-swishx=xReLU6x+36，（1）

ReLU6x= min6，max0，x，（2）

ReLUx=max0，x，（3）

式中：x表示神經(jīng)元輸入值。

1.3?ECA注意力模塊

有效通道注意力（efficient channel attention，ECA）模塊是針對(duì)SE通道注意力模塊的不足提出的，它解決了通道降維的不利影響，獲取了不同通道間的依賴(lài)性關(guān)系，如圖3所示[20-21]。

首先用全局平均池化方法把輸入特征大小從（H，W，C）轉(zhuǎn)化為（1，1，C），以此得到通道級(jí)的全局特征；然后對(duì)全局特征進(jìn)行一維卷積（1×K卷積）操作，以實(shí)現(xiàn)不同通道間的信息交互，得出不同通道的權(quán)重，其中K值可以自適應(yīng)地由式（4）確定。

K=ψC=log2Cγ+bγodd，（4）

式中：b和γ均表示擬合系數(shù)，一般設(shè)定b值為1，γ值為2；todd表示最接近t的奇數(shù)。接著使用Sigmoid激活函數(shù)將得到的權(quán)重值映射到0～1，權(quán)重值的映射如式（5）所示。

ω=σx=11+e－x，（5）

式中：x表示映射前的權(quán)重值；ω表示映射后得到的權(quán)重值。將重塑后的權(quán)重值與原始輸入特征圖對(duì)應(yīng)元素相乘，得到不同權(quán)重的輸出特征圖。

2?YOLOv5-6.1模型的改進(jìn)

2.1?MobileNetV3輕量型網(wǎng)絡(luò)替換原主干網(wǎng)絡(luò)

在駕駛員疲勞檢測(cè)過(guò)程中，檢測(cè)模型需要部署在嵌入式設(shè)備中，這就使得模型要足夠輕量化。原始主干網(wǎng)絡(luò)雖然可以有效提取到細(xì)節(jié)特征，但在提取過(guò)程中參數(shù)量和計(jì)算量較多，導(dǎo)致模型體積變大，不利于輕量化部署，而使用MobileNetV3網(wǎng)絡(luò)替換原YOLOv5s模型的主干網(wǎng)絡(luò)，可以在不降低模型檢測(cè)精度的前提下，大幅減少模型的參數(shù)量和計(jì)算量，使模型達(dá)到輕量化的效果。

本文使用的MobileNetV3網(wǎng)絡(luò)共包含有12層網(wǎng)絡(luò)結(jié)構(gòu)，由Conv模塊和MNV3模塊組成。Conv模塊用來(lái)對(duì)輸入的圖像進(jìn)行3×3的標(biāo)準(zhǔn)卷積操作，以此得到特征圖并擴(kuò)充特征圖通道數(shù)；MNV3模塊則用來(lái)對(duì)特征圖進(jìn)行特征提取操作，同時(shí)有效減少提取過(guò)程中的參數(shù)量和計(jì)算量；輸入圖像經(jīng)Input端輸入，然后到達(dá)MobileNetV3組成的主干網(wǎng)絡(luò)，其中MobileNetV3網(wǎng)絡(luò)包含了多個(gè)MNV3模塊，以達(dá)到提取更多詳細(xì)特征信息的目的，每個(gè)特征層的MNV3模塊依次進(jìn)行連接，最后將得到的特征輸出到頸部網(wǎng)絡(luò)。所采用的MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)的具體配置如表1所示，其中逆殘差擴(kuò)張通道數(shù)表示MNV3模塊中第1個(gè)1×1卷積的輸出通道數(shù)；深度卷積部分的卷積核大小表示MNV3模塊中進(jìn)行深度卷積操作的卷積核大小。

2.2?頸部C3模塊里添加ECA注意力機(jī)制

原始頸部網(wǎng)絡(luò)共有4個(gè)C3模塊，每個(gè)C3模塊由Conv模塊、Bottleneck模塊、Concat模塊組成。其中，Conv模塊為1×1卷積，用來(lái)對(duì)特征圖進(jìn)行升維或降維操作；Bottleneck模塊起到特征提取的作用； Concat模塊則將特征圖的不同尺度合并融合到一起。原始C3模塊結(jié)構(gòu)如圖4所示。

輸入特征圖經(jīng)原始C3模塊雖能提取到特征，但對(duì)這些特征沒(méi)有主次之分，而將ECA有效通道注意力機(jī)制融入到頸部網(wǎng)絡(luò)各個(gè)C3模塊的Bott-leneck層里面，構(gòu)成C3ECA模塊，可以做到在沒(méi)有進(jìn)行通道降維的前提下，達(dá)到強(qiáng)化有用特征、抑制不重要特征的效果。同時(shí)，由于在特征融合階段進(jìn)行了注意力調(diào)整，這樣可以有效提高模型的檢測(cè)精度。ECA注意力機(jī)制的具體添加位置如圖5所示。

2.3?改進(jìn)的網(wǎng)絡(luò)模型

本文對(duì)YOLOv5s模型進(jìn)行改進(jìn)，使用有12層結(jié)構(gòu)的MobileNetV3輕量型網(wǎng)絡(luò)代替原YOLOv5s模型的主干網(wǎng)絡(luò)，并將MobileNetV3網(wǎng)絡(luò)中的第3個(gè)MNV3模塊和第8個(gè)MNV3模塊分別和頸部網(wǎng)絡(luò)中對(duì)應(yīng)的Concat模塊進(jìn)行連接;將最后1個(gè)MNV3模塊和頸部網(wǎng)絡(luò)中的第1個(gè)Conv模塊進(jìn)行連接，同時(shí)在頸部網(wǎng)絡(luò)各個(gè)C3模塊的瓶頸層中添加ECA注意力機(jī)制，構(gòu)成C3ECA模塊。如圖6所示，圖像首先經(jīng)Input端輸入；然后由MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)組成的主干網(wǎng)絡(luò)對(duì)其進(jìn)行特征提取，將得到的特征圖傳遞到Neck頸部網(wǎng)絡(luò)進(jìn)行特征融合；最后由Head檢測(cè)網(wǎng)絡(luò)確定待檢測(cè)目標(biāo)的位置和類(lèi)別。

3?疲勞狀態(tài)識(shí)別方法

3.1?基于面部特征多指標(biāo)融合的疲勞判定模式

當(dāng)人出現(xiàn)疲勞時(shí)，會(huì)在面部器官上產(chǎn)生一些疲勞特征，例如眨眼頻率增加、持續(xù)閉眼時(shí)間延長(zhǎng)、頻繁打哈等。根據(jù)這些面部疲勞特征，通過(guò)多指標(biāo)融合對(duì)駕駛員進(jìn)行疲勞（perclos）判定[22]。perclos標(biāo)準(zhǔn)是指眼睛閉合時(shí)間占某一特定時(shí)間的百分比。通常選用P80作為眼部疲勞判別標(biāo)準(zhǔn)，P80指眼皮蓋過(guò)眼球的面積超過(guò)80%時(shí)為眼睛閉合狀態(tài)，然后計(jì)算在一定時(shí)間內(nèi)眼睛閉合狀態(tài)所占的時(shí)間比例?？梢砸罁?jù)P80準(zhǔn)則，轉(zhuǎn)換為使用閉眼幀數(shù)占比來(lái)判斷眼部狀態(tài)。當(dāng)閉眼幀數(shù)占比大于0.4時(shí)，認(rèn)為是疲勞狀態(tài)，如式（6）所示：

perclos=閉眼幀數(shù)檢測(cè)時(shí)間段總幀數(shù)。（6）

人體在處于正常狀態(tài)下的眨眼頻率大概是每20 s眨3～10次眼睛，以20 s為一個(gè)周期，若在一個(gè)周期內(nèi)眨眼頻率不在正常取值范圍，則判定為疲勞狀態(tài)。駕駛員在正常駕駛中，很少會(huì)出現(xiàn)打哈的情況，頻繁打哈則意味著駕駛員處于疲勞狀態(tài)，打哈頻率按照每分鐘不超過(guò)3次為正常標(biāo)準(zhǔn)，超過(guò)這個(gè)頻率則判定為疲勞狀態(tài)。以上3種判定方式若因某一指標(biāo)出現(xiàn)失效現(xiàn)象時(shí)，依據(jù)其余指標(biāo)依然可以正確判斷疲勞狀態(tài)。

3.2?疲勞檢測(cè)流程

疲勞檢測(cè)流程如圖7所示。首先，通過(guò)攝像頭等設(shè)備實(shí)時(shí)獲取駕駛員面部幀圖像，模型對(duì)輸入圖像進(jìn)行預(yù)處理操作后，直接在輸出層定位和識(shí)別出眼睛和嘴巴的狀態(tài)[23]，包括眼睛的睜閉和嘴巴有無(wú)打哈的狀態(tài)。然后，根據(jù)perclos標(biāo)準(zhǔn)下的閉眼幀數(shù)占比、眨眼頻率、打哈頻率對(duì)駕駛員進(jìn)行多指標(biāo)疲勞判定，當(dāng)閉眼幀數(shù)占比>0.4時(shí)，判定為疲勞。否則繼續(xù)看眨眼頻率是否<（3/20），或者>（10/20），若是，則為疲勞；否則繼續(xù)看打哈頻率是否>（3/60），若是則為疲勞，否則輸出為清醒狀態(tài)，即以上3種情況都不滿(mǎn)足。

4?實(shí)驗(yàn)與結(jié)果分析

4.1?實(shí)驗(yàn)環(huán)境及訓(xùn)練參數(shù)

實(shí)驗(yàn)環(huán)境配置和訓(xùn)練過(guò)程中的具體參數(shù)如表2及表3所示。

4.2?數(shù)據(jù)集采集與預(yù)處理

通過(guò)采用將開(kāi)源的打哈檢測(cè)數(shù)據(jù)集YawDD、閉眼數(shù)據(jù)集CEW，以及自采集數(shù)據(jù)集相融合的方式，來(lái)構(gòu)建疲勞檢測(cè)數(shù)據(jù)集Fatigue_add，其中Fatigue_add包含了在不同照明、不同種族、不同人臉偏轉(zhuǎn)角度，以及駕駛員有無(wú)戴眼鏡條件下的共計(jì)5 500張圖片。

YawDD數(shù)據(jù)集包含駕駛者在正常駕駛（不說(shuō)話(huà)）、開(kāi)車(chē)時(shí)說(shuō)話(huà)、開(kāi)車(chē)時(shí)打哈欠3種狀態(tài)下的視頻。由于YawDD數(shù)據(jù)集為視頻數(shù)據(jù)集，從中選擇需要的視頻，然后以30 f/s的幀率進(jìn)行分幀截取操作，最終獲取所需的關(guān)鍵幀圖片；CEW數(shù)據(jù)集為不同人臉閉眼的圖片數(shù)據(jù)集，可用于檢測(cè)眼睛的睜閉狀態(tài)；自采集數(shù)據(jù)集是通過(guò)2位男性駕駛者，分別采集人臉有大角度偏轉(zhuǎn)動(dòng)作時(shí)的圖片數(shù)據(jù)。

首先，使用labelImg標(biāo)注工具對(duì)Fatigue_add數(shù)據(jù)集中的眼睛目標(biāo)和嘴巴目標(biāo)進(jìn)行一一標(biāo)注，標(biāo)注格式為voc格式，標(biāo)注類(lèi)別及對(duì)應(yīng)序號(hào)為open_eyes（0）、close_eyes（1）、have_yawn（2）、no_yawn（3），每張圖片標(biāo)注完成后的標(biāo)簽文件名要與數(shù)據(jù)集中的圖片文件名一一對(duì)應(yīng)。然后，將Fatigue_add數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集4 400張圖片，驗(yàn)證集550張圖片，測(cè)試集550張圖片。最后，由于YOLO系列算法只能處理txt格式的標(biāo)簽，所以還需把所有voc格式的標(biāo)簽轉(zhuǎn)化為YOLO的txt格式。

4.3?評(píng)測(cè)指標(biāo)

目標(biāo)檢測(cè)中常選用精確率（precision，P）、召回率（recall，R）、平均精度均值（mean average precision，mAP）作為評(píng)判模型性能的指標(biāo)。具體如式（7）—式（10）所示：

P=TPTP+FP，（7）

R=TPTP+FN，（8）

mAP=∑Ci=1APiC，（9）

AP=∫10P（R）dR。（10）

式中：TP表示正樣本被模型正確識(shí)別的數(shù)量；FP表示負(fù)樣本被模型錯(cuò)誤地識(shí)別為正樣本的數(shù)量；FN表示正樣本被模型錯(cuò)誤地識(shí)別為負(fù)樣本的數(shù)量；C為類(lèi)別數(shù)目；APi為第i個(gè)類(lèi)別的平均精度。

為了降低模型的復(fù)雜度，使模型足夠輕量化，選用參數(shù)量、計(jì)算量、模型體積作為評(píng)判指標(biāo)，同時(shí)因?yàn)轳{駛員的疲勞檢測(cè)對(duì)實(shí)時(shí)性也有較高要求，所以把檢測(cè)速率也加入到指標(biāo)中。

4.4?實(shí)驗(yàn)結(jié)果分析

4.4.1?不同輕量型網(wǎng)絡(luò)對(duì)原模型的影響

本文分別使用3種不同的輕量型網(wǎng)絡(luò)替換原YOLOv5s的主干網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，并在測(cè)試集上評(píng)測(cè)指標(biāo)。從表4中可以看出，GhostNet網(wǎng)絡(luò)的平均精度最高，但其參數(shù)量、計(jì)算量、體積較大，沒(méi)有其他2種網(wǎng)絡(luò)輕量化效果明顯，且其檢測(cè)速率最慢；PP-LCNet的輕量化效果最好，但其檢測(cè)精度的各項(xiàng)指標(biāo)不如MobileNetV3；只有MobileNetV3網(wǎng)絡(luò)在保證各種精度指標(biāo)的前提下，達(dá)到了比較好的輕量化效果，同時(shí)又保持著較高的檢測(cè)速率，故選用MobileNetV3網(wǎng)絡(luò)對(duì)原YOLOv5s模型進(jìn)行輕量化處理。

4.4.2?不同注意力機(jī)制對(duì)原模型的影響

本文分別將4種不同的注意力機(jī)制加入到原YOLOv5s模型頸部網(wǎng)絡(luò)的各個(gè)C3模塊中進(jìn)行實(shí)驗(yàn)，并在測(cè)試集上評(píng)測(cè)指標(biāo)。從表5可以看出，4種注意力機(jī)制在輕量化效果方面沒(méi)有差別，它們的參數(shù)量、計(jì)算量和體積基本一致；在檢測(cè)精度方面，ECA注意力機(jī)制的mAP值為99.0%，是所有注意力機(jī)制中最高的；在召回率R方面，雖然ECA注意力機(jī)制沒(méi)有CA注意力機(jī)制高，但其召回率仍然達(dá)到了97.4%，優(yōu)于SE和CBAM注意力機(jī)制。同時(shí)在檢測(cè)速度方面，ECA注意力機(jī)制也是最優(yōu)秀的，達(dá)到了104 f/s。故選用ECA注意力機(jī)制對(duì)原YOLOv5s模型進(jìn)行改進(jìn)。

4.4.3?消融實(shí)驗(yàn)

為驗(yàn)證改進(jìn)模型的有效性，在自建數(shù)據(jù)集Fatigue_add上進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表6所示。從表6可以看出，在YOLOv5s原模型的基礎(chǔ)上加入MobileNetV3輕量型網(wǎng)絡(luò)后，平均精度有小幅提高，模型的參數(shù)量、計(jì)算量和體積大幅縮減，同時(shí)檢測(cè)速度有所提高；在YOLOv5s原模型頸部網(wǎng)絡(luò)的C3模塊中融入ECA注意力機(jī)制后，在召回率保持不變的前提下，精確率和平均精度

均有提高，但沒(méi)有使模型輕量化；而將這兩者均加入到Y(jié)OLOv5s原模型中，最終使得改進(jìn)模型參數(shù)量縮減為原模型的48%，計(jì)算量縮減為原來(lái)的38%，體積變?yōu)樵瓉?lái)的50%，精確率提高了0.9個(gè)百分點(diǎn)，召回率提高了0.2個(gè)百分點(diǎn)，平均精度均值提高了0.5個(gè)百分點(diǎn)，達(dá)到了99.1%，檢測(cè)速率也有小幅提高，達(dá)到了119 f/s。這使得改進(jìn)后的YOLOv5s模型既實(shí)現(xiàn)了在嵌入式設(shè)備上輕量化部署的目的，又提高了檢測(cè)精度，同時(shí)兼顧了檢測(cè)實(shí)時(shí)性。

4.4.4?改進(jìn)模型與基礎(chǔ)模型對(duì)比

改進(jìn)模型與原始YOLOv5s模型的平均精度均值和分類(lèi)損失的對(duì)比如圖8、圖9所示。從圖8可以看出，在迭代50輪之后，改進(jìn)模型的mAP開(kāi)始與原模型持平，并在迭代100輪左右時(shí)，改進(jìn)模型的mAP開(kāi)始逐漸優(yōu)于原模型。從圖9可以看出，在訓(xùn)練達(dá)到50輪左右時(shí)，在測(cè)試集上的分類(lèi)損失性能開(kāi)始比原模型更加優(yōu)越。

4.4.5?不同模型對(duì)比

本文將改進(jìn)的YOLOv5s模型與其他主流目標(biāo)檢測(cè)模型進(jìn)行比較，從表7可以看出，改進(jìn)的YOLOv5s模型的體積是所有對(duì)比模型中最小的，僅有6.83 MB；在召回率方面，改進(jìn)的YOLOv5s模型的召回率也是最高的，達(dá)到了97.6%，均優(yōu)于其他模型；在平均精度均值方面，雖然改進(jìn)的[CM（22]YOLOv5s模型的mAP值低于YOLOv7模型和[CM）]YOLOv8模型，但仍然達(dá)到了99.1%，保持著較高的檢測(cè)精度，滿(mǎn)足疲勞檢測(cè)精度上的要求。同時(shí)改進(jìn)的YOLOv5s模型的檢測(cè)速率雖略低于YOLOv7，但強(qiáng)于其他所有對(duì)比模型，達(dá)到了119 f/s，表現(xiàn)出良好的檢測(cè)實(shí)時(shí)性。綜上，改進(jìn)的YOLOv5s模型的性能總體優(yōu)于其他對(duì)比模型。

4.5?疲勞狀態(tài)判定結(jié)果

如圖10所示，若眨眼頻率為每20 s眨3～10次眼睛且打哈頻率為每分鐘不超過(guò)3次時(shí)，則被判定為清醒狀態(tài)，左上角會(huì)顯示有“Awake”字樣，圖10－圖12中“per 20 seconds blink_count”表示每20 s的眨眼次數(shù)，“per 60 seconds yawn_count”表示每60 s的打哈次數(shù)。當(dāng)處于閉眼狀態(tài)時(shí)，由于此時(shí)的perclos閉眼幀數(shù)占比大于0.4，所以被判定為疲勞狀態(tài)，左上角會(huì)顯示“Fatigue”字樣，如圖11所示。當(dāng)處于打哈狀態(tài)時(shí)，若打哈頻率超過(guò)每分鐘3次時(shí)，則也會(huì)被判定為疲勞狀態(tài)，同樣會(huì)顯示“Fatigue”字樣，如圖12所示。

5?結(jié)?語(yǔ)

本文提出了一種基于改進(jìn)YOLOv5的網(wǎng)絡(luò)模型對(duì)駕駛員的疲勞狀態(tài)進(jìn)行檢測(cè)，以減少因疲勞駕駛而造成的交通事故，對(duì)疲勞駕駛預(yù)警技術(shù)的應(yīng)用有一定參考價(jià)值。

1）通過(guò)探討不同輕量型網(wǎng)絡(luò)對(duì)原模型的影響，得出MobileNetV3網(wǎng)絡(luò)在保證精確率、召回率和平均精度的前提下，具有較好的輕量化效果；使用MobileNetV3網(wǎng)絡(luò)替換原模型的主干網(wǎng)絡(luò)，替換后模型的參數(shù)量、計(jì)算量、體積分別縮減至原來(lái)的48%、38%、50%，輕量化效果明顯。

2）通過(guò)探討不同注意力機(jī)制對(duì)原模型的影響，得出將ECA注意力機(jī)制加入到原模型頸部網(wǎng)絡(luò)的各個(gè)C3模塊中后，使得模型的mAP值為99%，檢測(cè)速率為104 f/s，是所有對(duì)比注意力機(jī)制中表現(xiàn)最好的。

3）使用MobileNetV3網(wǎng)絡(luò)替換原模型的主干網(wǎng)絡(luò)，同時(shí)將ECA注意力機(jī)制加入到頸部網(wǎng)絡(luò)各個(gè)C3模塊中后，使得改進(jìn)模型的召回率達(dá)到了97.6%，精確率達(dá)到了96.8%，平均精度均值達(dá)到了99.1%，分別較原模型提高了0.2、0.9和0.5個(gè)百分點(diǎn)，同時(shí)模型體積縮小至6.83 MB，檢測(cè)速率也由115 f/s提升至119 f/s；且經(jīng)實(shí)驗(yàn)對(duì)比，改進(jìn)后的YOLOv5模型性能優(yōu)于目前主流的目標(biāo)檢測(cè)模型。

本文改進(jìn)的YOLOv5模型雖然可以高效地對(duì)駕駛員進(jìn)行疲勞檢測(cè)，但當(dāng)人臉面部特征器官被實(shí)物遮擋時(shí)，由于無(wú)法判斷特征器官狀態(tài)，使得檢測(cè)效果欠佳。今后將致力于提升模型對(duì)實(shí)物遮擋特征器官時(shí)的檢測(cè)性能，以便能夠完成更加復(fù)雜的疲勞檢測(cè)任務(wù)。

參考文獻(xiàn)/References：

[1]

朱永鵬.道路交通事故成因分析及預(yù)防措施[J].交通企業(yè)管理，2015，30（4）：59-60.

ZHU Yongpeng.Cause analysis and preventive measures of road traffic accidents[J].Transportation Enterprise Management，2015，30（4）：59-60.

[2]?李都厚，劉群，袁偉，等.疲勞駕駛與交通事故關(guān)系[J].交通運(yùn)輸工程學(xué)報(bào)，2010，10（2）：104-109.

LI Douhou，LIU Qun，YUAN Wei，et al.Relationship between fatigue driving and traffic accident[J].Journal of Traffic and Transportation Engineering，2010，10（2）：104-109.

[3]?劉秀，王長(zhǎng)君，何慶.疲勞駕駛交通事故的特點(diǎn)分析與預(yù)防[J].中國(guó)安全生產(chǎn)科學(xué)技術(shù)，2008，4（1）：128-131.

LIU Xiu，WANG Changjun，HE Qing.Characteristic analysis and prevention of traffic accidents by fatigue driving[J].Journal of Safety Science and Technology，2008，4（1）：128-131.

[4]?張瑞，朱天軍，鄒志亮，等.駕駛員疲勞駕駛檢測(cè)方法研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（21）：53-66.

ZHANG Rui，ZHU Tianjun，ZOU Zhiliang，et al.Review of research on driver fatigue driving detection methods[J].Computer Engineering and Applications，2022，58（21）：53-66.

[5]?LAL S K L，CRAIG A.Driver fatigue：Electroencephalography and psychological assessment[J].Psychophysiology，2002，39（3）：313-321.

[6]?ZHANG Yongqi，ZHENG Weilong，LU Baolu.Transfer compo-nents between subjects for EEG-based driving fatigue detection[C]//Neural Information Processing：22nd International Conference，ICONIP 2015.Cham：Springer，2015：61-68.

[7]?廖明明，趙波.基于面部特征融合的駕駛員疲勞檢測(cè)[J].智能計(jì)算機(jī)與應(yīng)用，2021，11（10）：77-81.

LIAO Mingming，ZHAO Bo.Driver fatigue detection based on facial feature fusion[J].Intelligent Computer and Applications，2021，11（10）：77-81.

[8]?YANG Zhuangqian，ZHANG Kehua，WANG Jiayi，et al.Driver fatigue detection method based on eye states with pupil and iris segmentation[J].IEEE Access，2020，8：173440-173449.

[9]?ANSARI S，NAGHDY F，DU H P，et al.Driver mental fatigue detection based on head posture using new modified ReLU-BiLSTM deep neural network[J].IEEE Transactions on Intelligent Transportation Systems，2022，23（8）：10957-10969.

[10]ADHINATA F D，RAKHMADANI D P，WIJAYANTO D.Fatigue detection on face image using facenet algorithm and k-nearest neighbor classifier[J].Journal of Information Systems Engineering and Business Intelligence，2021，7（1）：22-30.

[11]婁平，楊欣，胡輯偉，等.基于邊緣計(jì)算的疲勞駕駛檢測(cè)方法[J].計(jì)算機(jī)工程，2021，47（7）：13-20.

LOU Ping，YANG Xin，HU Jiwei，et al.Fatigue driving detection method based on edge computing[J].Computer Engineering，2021，47（7）：13-20.

[12]史瑞鵬，錢(qián)屹，蔣丹妮.一種基于卷積神經(jīng)網(wǎng)絡(luò)的疲勞駕駛檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究，2020，37（11）：3481-3486.

SHI Ruipeng，QIAN Yi，JIANG Danni.Fatigue driving detection method based on CNN[J].Application Research of Compu-ters，2020，37（11）：3481-3486.

[13]李孟成，羅甜，張琰，等.基于YOLOv5的疲勞與危險(xiǎn)駕駛行為檢測(cè)系統(tǒng)研究[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2023（6）：107-110.

LI Mengcheng，LUO Tian，ZHANG Yan，et al.Research on fatigue and dangerous driving behavior detection system based on YOLOv5[J].Inner Mongolia Science Technology and Economy，2023（6）：107-110.

[14]張上，陳益方，王申濤，等.基于YOLOv5的改進(jìn)艦船目標(biāo)檢測(cè)算法[J].電光與控制，2023，30（12）：66-72.

ZHANG Shang，CHEN Yifang，WANG Shentao，et al.An improved ship target detection algorithm based on YOLOv5[J].Electronics Optics & Control，2023，30（12）：66-72.

[15]李然.基于改進(jìn)YOLOv5模型的安全帽佩戴檢測(cè)[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2022.

LI Ran.Helmet Wear Detection Base on Improved YOLOv5[D].Harbin：Northeast Agricultural University，2022.

[16]程澤，林富生，靳朝，等.基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的疲勞駕駛檢測(cè)[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2022，36（2）：142-150.

CHENG Ze，LIN Fusheng，JIN Chao，et al.Fatigue driving detection method based on lightweight convolutional neural network[J].Journal of Chongqing University of Technology （Natural Science），2022，36（2）：142-150.

[17]李光明，弓皓斌，袁凱.基于輕量化YOLOv5s的花椒簇檢測(cè)研究[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2023，44（4）：153-158.

LI Guangming，GONG Haobin，YUAN Kai.Research on lightweight pepper cluster detection based on YOLOv5s[J].Journal of Chinese Agricultural Mechanization，2023，44（4）：153-158.

[18]韓翠英，張翠青.基于PERCLOS的疲勞駕駛檢測(cè)系統(tǒng)的實(shí)現(xiàn)[J].內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，33（4）：202-206.

HAN Cuiying，ZHANG Cuiqing.Fatigue driving detection system implement based on PERCLOS[J].Journal of Inner Mongolia Agricultural University（Natural Science Edition），2012，33（4）：202-206.

[19]張鵬飛，王淑青，王年濤，等.基于改進(jìn)MobileNetV3的PCB裸板缺陷檢測(cè)[J].湖北工業(yè)大學(xué)學(xué)報(bào)，2023，38（1）：27-32.

ZHANG Pengfei，WANG Shuqing，WANG Niantao，et al.PCB bare board defect detection based on improved MobileNetV3[J].Journal of Hubei University of Technology，2023，38（1）：27-32.

[20]宋懷波，李嶸，王云飛，等.基于ECA-YOLO v5s網(wǎng)絡(luò)的重度遮擋肉牛目標(biāo)識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（3）：274-281.

SONG Huaibo，LI Rong，WANG Yunfei，et al.Recognition method of heavily occluded beef cattle targets based on ECA-YOLOv5s[J].Transactions of the Chinese Society for Agricultural Machinery，2023，54（3）：274-281.

[21]皇甫曉瑛，錢(qián)惠敏，黃敏.結(jié)合注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)綜述[J].計(jì)算機(jī)與現(xiàn)代化，2023（2）：40-49.

HUANGFU Xiaoying，QIAN Huimin，HUANG Min.A review of deep neural networks combined with attention mechanism[J].Computer and Modernization，2023（2）：40-49.

[22]呂秀麗，劉希鳳，白永強(qiáng).基于SSD的多因素融合的駕駛疲勞檢測(cè)研究[J].電子測(cè)量技術(shù)，2022，45（15）：138-143.

LYU Xiuli，LIU Xifeng，BAI Yongqiang.Research on driving fatigue detection based on SSD muti-factor fusion[J].Electronic Measurement Technology，2022，45（15）：138-143.

[23]鄒昕彤，王世剛，趙文婷，等.基于眼睛與嘴部狀態(tài)識(shí)別的疲勞駕駛檢測(cè)[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2017，35（2）：204-211.

ZOU Xintong，WANG Shigang，ZHAO Wenting，et al.Fatigue driving detection based on state recognition of eyes and mouth[J].Journal of Jilin University （Information Science Edition），2017，35（2）：204-211.

李浩，馬曉，周萬(wàn)珍.基于改進(jìn)YOLOv5的駕駛員疲勞狀態(tài)檢測(cè)

［J］.河北工業(yè)科技，2024，41（1）：17-26.LI Hao， MA Xiao， ZHOU Wanzhen.

Driver fatigue state detection based on improved YOLOv5

［J］. Hebei Journal of Industrial Science and Technology，2024，41（1）：17-26.