閆凱航 石巖松 鄧炬鑫 李汶翰 龐志穎 翁明珠 潘志廣 孫修澤

關鍵詞：疲勞檢測；YOLOv4卷積神經(jīng)網(wǎng)絡模型；面部識別；ECG；特征融合

0 引言

隨著現(xiàn)代化城市的發(fā)展，交通出行已經(jīng)成為人們日常生活中不可缺少的一部分。然而，在長時間開車或夜間開車過程中，駕駛員容易產生疲勞，導致大腦反應遲鈍，降低對道路發(fā)生意外情況的應變速度，從而導致交通事故的發(fā)生。據(jù)統(tǒng)計，我國每年因交通事故造成的人員傷亡人數(shù)約有23.19萬人，平均每八分鐘就有一人在交通事故中傷亡。更為嚴重的是，由疲勞駕駛引發(fā)的重特大交通事故所占比例達到了40%以上，疲勞駕駛已成為造成交通事故的第二大原因。這樣的數(shù)據(jù)在國外尤其是美國則更為突出。

目前國內外對于疲勞駕駛檢測技術主要有以下幾種方式：1） 基于腦電信號圖（EEG）、肌電信號圖（EMG）、心率圖（HR）、眼電圖（EOG）、心電圖（ECG） 等生理信號信息來檢測駕駛員的疲勞駕駛狀態(tài)。王致堯[1]利用了神念科技研發(fā)的BMD101心電采集開發(fā)板，將其嵌入在汽車的方向盤上，位于方向盤兩側包裹著的導電布作為電極，通過雙手接觸電極片，產生電位差，進而采集人體的ECG信號。張鴻[2]使用了光電容積脈搏波描記法檢測生理信號，該方法通過檢測動脈血液容積，利用動脈血液對光的吸收量隨動脈搏動而變化，進而反映出人體吸收光量的大小，再由光電接收器將光信號轉換成電信號，最后經(jīng)放大器放大后得到光電容積脈搏波，該方式具有無創(chuàng)傷、檢測簡單等特點。2） 通過車載傳感器檢測車輛行駛狀態(tài)，從而判斷駕駛員是否處于疲勞狀態(tài)。孫香梅[3]通過Fuzzy綜合判斷方法，以模糊集合論為基礎，考慮車輛行駛狀態(tài)軌跡的狀況，對車輛運行軌跡的狀況做出綜合評估，在對車輛側向加速度進行分析并細化出車輛運行軌跡的疲勞參數(shù)，得到車輛側向加速度疲勞駕駛控制模型，確定疲勞評價的指標集和評判集，將車輛行駛的結果通過疲勞駕駛控制模型模式得到駕駛員的狀態(tài)。然而，這種模式對路況的要求較高，且檢測精確度較差，容易引起誤判。3） 基于機器視覺和圖像處理技術，通過計算機視覺采集駕駛員駕駛時的視頻圖像信息，提取圖像中面部的疲勞特征，利用采集到的圖像信息進行疲勞檢測。這類方法操作簡單，所做裝置實用性也很好，有很大的應用市場。

基于以上背景，本課題旨在研究一種基于卷積神經(jīng)網(wǎng)絡與ECG信息的多模態(tài)疲勞駕駛檢測的疲勞駕駛異常檢測技術的系統(tǒng)。僅當兩個檢測結果都超出預設的閾值時，系統(tǒng)才會判定駕駛員為疲勞駕駛，進一步提高了疲勞駕駛識別的準確度，具有廣闊的應用前景。

1 系統(tǒng)構架與系統(tǒng)工作原理

1.1 系統(tǒng)框架

基于卷積神經(jīng)網(wǎng)絡與ECG信息[4]的多模態(tài)疲勞駕駛檢測系統(tǒng)可分為三個子系統(tǒng)，即駕駛員面部信息行為監(jiān)控子系統(tǒng)、生理信息監(jiān)控子系統(tǒng)和軟件管理子系統(tǒng)。生理信息監(jiān)控系統(tǒng)為一個終端，而駕駛員面部信息行為監(jiān)控系統(tǒng)和軟件管理系統(tǒng)則為另一個終端。用戶可通過微信小程序或App通過藍牙對設備進行綁定和解除綁定。系統(tǒng)結構圖如圖1所示：

1.2 系統(tǒng)工作原理

首先需要一個訓練好的模型（具體操作步驟見本文2.1小節(jié)）：在Mx-yolo 中使用疲勞駕駛時的生理特征數(shù)據(jù)集進行模型訓練，獲得一個tflite 初始模型文件，然后通過tensflower 盡可能減少模型轉換時的精度損失。將tflite模型轉換成h5模型，再轉換為k210可加載運行的kmodel 模型文件，從而訓練出駕駛員疲勞駕駛的卷積神經(jīng)網(wǎng)絡YOLOv4模型。

基于卷積神經(jīng)網(wǎng)絡與ECG信息的多模態(tài)疲勞駕駛檢測系統(tǒng)[5]深度利用計算機視覺、YOLOv4卷積神經(jīng)網(wǎng)絡以及傳感器等技術。通過攝像頭和ECG傳感器進行數(shù)據(jù)采集，將采集到的圖像數(shù)據(jù)實時傳送到K210芯片主控板上。通過特征臉（Eigenfaces） 算法實時檢測和識別出所拍攝到的人臉，再將預設行為提取的特征與模型進行對比得到預警結果。利用CNN-LEST對結果進行等級分類，若擬合度達到預設值則判斷駕駛員駕駛狀態(tài)為疲勞。為了達到較高的置信度和識別精確度，結合同步的ECG生理信號對駕駛員疲勞狀態(tài)進行進一步的分析，對輸出值再次進行等級分類并再次進行與門判斷。只有當所拍攝到的圖片與ECG信號都被判斷為疲勞駕駛時，系統(tǒng)才會發(fā)出警報，從而大大提高了檢測的精確率。系統(tǒng)工作原理圖如圖2所示。

2 功能實現(xiàn)

該部分主要分為面部識別的算法實現(xiàn)、智能穿戴設備ECG生理信息采集、模塊通信與系統(tǒng)軟件管理三部分。

2.1 面部識別的算法實現(xiàn)

1） 使用的芯片及算法。使用芯片為K210，算法為YOLOv4卷積神經(jīng)網(wǎng)絡。

2） 網(wǎng)絡結構。采用Darknet-19網(wǎng)絡結構，包括19 個卷積層和5個max pooling層。主要使用3×3卷積和1×1卷積，其中1×1卷積用于壓縮特征圖通道數(shù)，以降低模型的計算量和參數(shù)。每個卷積層后使用BN層加快模型收斂同時防止過擬合。

3） 數(shù)據(jù)集來源。本文使用的數(shù)據(jù)集包含訓練集1 500張、驗證集300張、測試集100張。

4） 模型訓練流程。由于數(shù)據(jù)集較大，訓練時可將數(shù)據(jù)分為多個批次。首先將數(shù)據(jù)集經(jīng)過處理后的標簽文件轉換為Mx-yolo訓練所需的標記格式，然后將收集到的圖片數(shù)據(jù)進行轉碼，轉為224×224像素的格式。對每張圖片進行拉框、標注數(shù)據(jù)，在電腦上利用Mx-yolo進行本地訓練得到模型，將所得的kmodel模型文件存入TF卡中并將TF卡轉換為FAT32格式。再將處理好的TF 卡插入最小系統(tǒng)板的TF 卡槽中，由K210進行硬件初始化后通過SPI通信協(xié)議即可讀取。模型訓練過程圖如圖3～圖6所示。

2.2 智能穿戴設備ECG 生理信息采集

ECG信息采集方式為通過ECG手環(huán)采集。ECG手環(huán)上的傳感器由多個電極組成，這些電極貼在手腕上，傳感器會檢測和記錄心臟的電活動。傳感器將心臟的電信號轉化為數(shù)字信號，并通過無線網(wǎng)絡技術傳輸數(shù)據(jù)到K210設備上。利用K210強大的AI計算能力，在K210上使用相應的算法和應用程序對手環(huán)傳來的數(shù)字信號進行數(shù)據(jù)處理和分析。使用離散卡爾曼濾波算法去除噪聲，屏蔽異常信號對控制系統(tǒng)的干擾。將提取出的信號繪制成心電圖波形顯示在屏幕上，根據(jù)靜息頻率區(qū)間判斷駕駛員是否處于疲勞駕駛狀態(tài)，起到預警作用。

2.3 模塊通信與系統(tǒng)軟件管理

1） 模塊通信。K210通過串口通信將實時檢測數(shù)據(jù)發(fā)送給ESP8266[6]。ESP8266 接收一幀數(shù)據(jù)后，通過Wi-Fi 無線傳輸協(xié)議將數(shù)據(jù)遠程傳輸至云端。用戶可以通過移動端實時查看這些數(shù)據(jù)。

2） 軟件系統(tǒng)管理。該系統(tǒng)設有后臺應用管理系統(tǒng)和用戶應用界面，可以通過編寫程序實現(xiàn)用戶與設備的正常交互，有利于提高用戶使用設備的便捷性。

3 總結

通過研究與實驗，成功設計并實現(xiàn)了基于機器學習與生理特征提取的疲勞駕駛檢測裝置。該裝置具備檢測駕駛員閉眼、低頭、打哈欠、注意力不集中等異常駕駛行為，并能實時對駕駛員進行提醒。該系統(tǒng)的優(yōu)勢在于能對駕駛員的狀態(tài)進行多特征融合判斷，增強裝置對駕駛員狀態(tài)識別的準確度?？梢詫ρb置識別的敏感度進行手動調節(jié)，有效減小駕駛員對裝置的排斥心理。通訊方面使用ESP8266主控板加Wi-Fi模塊，不僅能實時傳輸數(shù)據(jù)，還可以實現(xiàn)物聯(lián)網(wǎng)功能?；跈C器學習與生理特征提取的疲勞駕駛檢測裝置在駕駛員安全駕駛方面擁有很高的應用價值。未來通過對該裝置不斷的優(yōu)化，相信該裝置可以為駕駛員提供安全可靠的駕駛服務和更多的功能體驗。