覃忠浩,周少銳,陳 健,黃欣龍,彭顯為,何文秀,王 偉
(1.中山大學(xué)智能工程學(xué)院,廣東 深圳 518107;2.深圳北理莫斯科大學(xué)工程系,廣東深圳 518172;3.浙江大學(xué)國際教育學(xué)院,浙江 杭州 310058;4.香港科技大學(xué)工學(xué)院土木及環(huán)境工程系,香港 999077;5.浙江工業(yè)大學(xué)之江學(xué)院,浙江杭州 310014)
隨著5G 通信、大數(shù)據(jù)分析等技術(shù)的發(fā)展,萬物互聯(lián)正在成為現(xiàn)實。而通過車車交互、車路通信、車與行人交互等所構(gòu)建的人車路協(xié)同系統(tǒng)是物聯(lián)網(wǎng)在交通領(lǐng)域的一個典型應(yīng)用。但是在目前的協(xié)同系統(tǒng)中,對駕駛員的關(guān)注明顯偏少。而作為交通中的主要因素,駕駛員的行為對所有交通參與者都可能造成極大的影響。同時,駕駛員突發(fā)心血管疾病已經(jīng)成為了交通安全的重要威脅。心血管疾病是世界范圍內(nèi)死亡的主要原因之一[1],其中心房顫動是最常見的心律失常。房顫(AF)的患病率正在增加,估計占人口的1%,65 歲以上人群的5%[2]。
雖然房顫本身并不代表一種致命的疾病,但由于房顫相關(guān)并發(fā)癥,它與高發(fā)病率和死亡率相關(guān)[3]。在交通過程中,駕駛員若在行駛時突發(fā)房顫,不僅危及自身生命安全,而且還將對車上的乘客造成傷害,近年來由于突發(fā)心血管疾病引發(fā)的交通事故屢見不鮮。
近些年來對于汽車駕駛員的狀態(tài)監(jiān)測研究大致可以分為兩類,一種是基于攝像機和圖像處理及圖像識別技術(shù),另一種是基于生理傳感器和信號處理及模式識別技術(shù),當然兩者也可以結(jié)合使用。大多數(shù)早期研究都使用商業(yè)設(shè)備或系統(tǒng)來監(jiān)測心電圖,而缺點是這些設(shè)備或系統(tǒng)很少永久安裝在汽車上。在汽車結(jié)構(gòu)中使用ECG 電極可以追溯到2007 年。此后,心電檢測電極經(jīng)常出現(xiàn)在汽車方向盤、汽車座椅等結(jié)構(gòu)中[4]。Gao 等[5]使用攝像頭獲取面部信息,并將數(shù)據(jù)輸入監(jiān)督學(xué)習(xí)進行情緒檢測。在生物信號方面,Choi 等[6]采用原理動態(tài)模型預(yù)測了兩種自主神經(jīng)分支(交感神經(jīng)和副交感神經(jīng))對情緒應(yīng)激的激活水平。文獻[7]討論了一種用于監(jiān)控駕駛員面部特征的視覺系統(tǒng)。首先,在輸入的視頻序列中定位駕駛員的面部。隨后的圖像被跟蹤。在人臉跟蹤過程中,連續(xù)檢測眼睛、嘴巴和頭部的面部特征;特征檢測和跟蹤并行進行,提高了精度。張廣元等[8]提出了一種基于Hu 不變矩支持向量機(SVM)的實時眼部檢測方法。文獻[9]提出了一種用于駕駛員警覺性實時監(jiān)控的計算機視覺系統(tǒng)原型,其關(guān)鍵部件包括遠程視頻CCD 攝像機、專門用于實時圖像采集的硬件系統(tǒng)、照明燈控制等。文獻[10]提出了一種新的駕駛員疲勞檢測方法,該紅外圖像采集系統(tǒng)采用AdaBoost 和核相關(guān)濾波相結(jié)合的方法采集駕駛員的面部圖像,隨后對面部進行檢測和跟蹤。
對于心率采集方向盤系統(tǒng)近些年來的研究,Abu-Faraj 等[11]設(shè)計了一種心臟病檢測方向盤,包括單導(dǎo)聯(lián)心電檢測器、溫度傳感器、皮膚阻抗傳感器,并利用Arduino 大型2560 單片機承載基于Crisp Logic 的算法分析各種傳感器的數(shù)據(jù)流,且該系統(tǒng)能夠連接至蜂窩網(wǎng)絡(luò),通過儲藥倉提供心臟病藥物供給以及呼救等功能。Babusiak 等[12]利用3D 打印設(shè)計了一個集成有心率、血氧檢測功能和慣性單元的方向盤,并在實際駕駛環(huán)境下對其采集到的數(shù)據(jù)進行了商業(yè)設(shè)備對比驗證,確認了數(shù)據(jù)的正確性和準確性。Cassani 等[13]在駕駛模擬器的方向盤上放置了8 個電極。Babusiak 等[14]開發(fā)了一種帶有兩個集成ECG 電極的新型方向盤設(shè)計,該設(shè)計需要更換方向盤。文獻[15]提出了一種新的無線系統(tǒng)來執(zhí)行快速短期ECG 采集和心率監(jiān)測,旨在非技術(shù)用戶易于使用。該系統(tǒng)使用放置在塑料方向盤上的干電極,因此只需將手放在方向盤上,就可以在監(jiān)控模式下獲取Lead I 心電圖信號。
在近些年有關(guān)單導(dǎo)聯(lián)房顫檢測算法研究現(xiàn)狀,文獻[16]提出了一種結(jié)合數(shù)據(jù)增強方法的雙通道卷積神經(jīng)網(wǎng)絡(luò)從單導(dǎo)聯(lián)短心電記錄中檢測心房顫動。在文獻[17]的研究中,作者探討了兩種潛在的訓(xùn)練策略來解決AF 檢測中的過擬合問題。Weimann 等[18]利用遷移學(xué)習(xí)解決了訓(xùn)練CNN 進行心電分類時需要大量標記樣本的問題。此外,近年來也提出了將卷積神經(jīng)網(wǎng)絡(luò)(CNN)與循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)相結(jié)合的深度學(xué)習(xí)模型[19-20]。Andersen等[21]以RR 區(qū)間為輸入,開發(fā)了CNN 和LSTM(長短期記憶)相結(jié)合的深度學(xué)習(xí)分類模型。
綜合上述的研究,未有完整的研究包含了ECG檢測方向盤以及特異性指標的檢測算法全流程的系統(tǒng)實現(xiàn)。所以本文希望建立一個用于房顫檢測的方向盤,并基于實際駕駛數(shù)據(jù)以及深度互學(xué)習(xí)結(jié)合濾波群算法的神經(jīng)網(wǎng)絡(luò)模型,完成一個數(shù)據(jù)流產(chǎn)生、傳輸、存儲、運用的系統(tǒng)。從而實現(xiàn)在交通環(huán)境下,對駕駛員的全程生理信號進行監(jiān)控,并利用相關(guān)監(jiān)測數(shù)據(jù)進行緊急情況檢測、疾病管理和健康狀況反饋。同時對駕駛員的心率進行實時監(jiān)測,對房顫進行識別預(yù)警,因此有效降低因司機突發(fā)心血管疾病造成交通事故的風(fēng)險。
論文第一部分介紹了本系統(tǒng)的設(shè)計原理與工作流程,第二部分闡述了系統(tǒng)中使用的神經(jīng)網(wǎng)絡(luò)算法,第三部分給出了實驗結(jié)果與分析,最后第四部分進行了總結(jié)并指出為了未來深入研究的方向。
本節(jié)對房顫智能檢測方向盤系統(tǒng)的設(shè)計原理和工作流程,以及相關(guān)硬件進行介紹。
本文設(shè)計了一種基于深度互學(xué)習(xí)結(jié)合濾波群算法的智能方向盤及其配套云系統(tǒng)。該裝置屬于智能輔助駕駛設(shè)備,方案的完整設(shè)計流程如圖1 所示:該裝置通過安裝在方向盤上的傳感器,能夠在駕駛環(huán)境下實時收集駕駛員的心率數(shù)據(jù),通過通信模塊將數(shù)據(jù)上傳至云平臺,時頻圖以及龐加萊圖的生成均在云平臺上完成,之后再利用房顫識別算法進行實時的分類,從而進行房顫異常檢測,一旦檢測到房顫則可以進行報警,提供醫(yī)療介入或輔助制動。
圖1 系統(tǒng)整體設(shè)計流程
本文設(shè)計的智能房顫檢測方向盤,包括:
①方向盤主體:家用轎車通用方向盤,安裝傳感器模塊、主控模塊等;
②心電傳感器:Pulsesensor 傳感器,用以心率數(shù)據(jù)采集;采集原理:光電容器法,即利用人體組織在血管搏動時造成透光率不同來進行脈搏測量。工作原理如圖2 所示;
圖2 Pulsesensor 傳感器工作原理
③處理器:ESP32 模塊,作為主控模塊,連接傳感器模塊與數(shù)據(jù)傳輸模塊;
④通信模塊:1ML302 4G 模塊,傳輸心率數(shù)據(jù)至云平臺;2WIFI 無線連接;
⑤云平臺:阿里云服務(wù)器;
⑥數(shù)據(jù)庫:MySQL 數(shù)據(jù)庫;
⑦房顫檢測程序:基于深度互學(xué)習(xí)和判別濾波群算法的Resnet 神經(jīng)網(wǎng)絡(luò);
⑧報警模塊:目前為警告消息彈窗,可選擇性擴充120 呼救、應(yīng)急聯(lián)系人呼叫。
部分裝置如圖3 所示。
圖3 部分硬件裝置
以下將說明該方向盤及云平臺系統(tǒng)的詳細結(jié)構(gòu)和工作流程:
本項目的房顫檢測方向盤系統(tǒng),包括1-方向盤主體、2-心電傳感器、3-處理器、4-通信模塊、5-個人服務(wù)器、6-云端數(shù)據(jù)庫、7-房顫檢測軟件、8-報警模塊。
駕駛員在車輛行駛過程中,通過握緊1-方向盤主體,使得手掌與2-心電傳感器緊密結(jié)合。此時2-心電傳感器通過手掌進行心率數(shù)據(jù)的采集,通過數(shù)據(jù)線傳輸至3-處理器。處理器進行初步數(shù)據(jù)處理獲得格式化心電圖數(shù)據(jù)流,利用短距離藍牙傳輸發(fā)送至4-通信模塊。4-通信模塊具有極強的網(wǎng)絡(luò)通信能力,能夠?qū)⑿碾妶D數(shù)據(jù)流傳輸至5-個人服務(wù)器中。5-個人服務(wù)器中包括6-云端數(shù)據(jù)庫、7-房顫檢測程序,6-云端數(shù)據(jù)庫提供心電圖的存儲與下載,7-房顫檢測程序可以通過智能房顫檢測算法對駕駛員心電圖數(shù)據(jù)進行處理,檢測是否發(fā)生房顫。當7-房顫檢測程序檢測到房顫發(fā)生,反饋報警信息至車輛上的8-報警模塊發(fā)出警報,警示駕駛員及乘客,使其采取相應(yīng)措施、安全停車,同時可以協(xié)助撥打120,將車輛實時位置通過車聯(lián)網(wǎng)發(fā)布,為駕駛員提供醫(yī)療幫助。數(shù)據(jù)傳輸流程如圖4 所示。
圖4 數(shù)據(jù)傳輸流程圖
該框架各組成部分在實物方向盤上的位置如圖5所示。
圖5 各硬件裝置在方向盤上的位置
為了確保心率傳感器采集數(shù)據(jù)的準確性,將傳感器采集到的數(shù)據(jù)與心率帶采集到的數(shù)據(jù)進行相似程度的分析,結(jié)果如圖6 所示。
圖6 傳感器和心率帶采集到的心電圖
通過式(1)計算數(shù)據(jù)相似度,計算結(jié)果約等于90%,可以得出,心率傳感器采集到的數(shù)據(jù)是十分準確的。
式中:xi表示心率帶采集到的對比數(shù)據(jù)點,yi表示為傳感器采集到的實驗數(shù)據(jù)點。
本方向盤系統(tǒng)可以實現(xiàn)離線模式和在線模式,LTE 模塊是否使用依據(jù)車輛所處的網(wǎng)絡(luò)環(huán)境進行判斷。在線的模式下,獲取的數(shù)據(jù)從系統(tǒng)中的LTE 模塊通過蜂窩網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)器,之后的所有操作均在云端服務(wù)器完成;而離線的模式下,得到的數(shù)據(jù)通過數(shù)據(jù)線傳輸?shù)杰囕dPC 端,在PC 端中進行數(shù)據(jù)預(yù)處理、房顫檢測算法的運行等等工作,整體流程如圖7 所示。
圖7 工作原理流程
本節(jié)主要闡述系統(tǒng)中使用到的基于深度互學(xué)習(xí)和判別濾波群算法的Resnet 神經(jīng)網(wǎng)絡(luò)以及之前的數(shù)據(jù)除噪和預(yù)處理等過程。
本文使用的房顫檢測算法共有兩個階段,即數(shù)據(jù)預(yù)處理階段和數(shù)據(jù)分類階段。
2.1.1 數(shù)據(jù)預(yù)處理
通過本文的方向盤系統(tǒng)獲取到駕駛員的心電信號數(shù)據(jù)后,第一步要對數(shù)據(jù)進行預(yù)處理:
①在得到駕駛員心電圖信號的相關(guān)數(shù)據(jù)后,先是通過心電信號的基線Baseline 和增益Gain 對數(shù)據(jù)進行歸一化,目的是將信號的振幅控制在[-1,1]區(qū)間內(nèi),歸一化公式如(2)所示:
式中:Baseline 和Gain 分別為心電信號的基線和增益,InputSignal為輸入信號的數(shù)據(jù),OutSignal為輸出信號數(shù)據(jù)。
歸一化前后的對比圖見圖8,可以看到歸一化后信號的振幅全部集中在[-1,1]。
圖8 歸一化前后的心電圖
②使用截止頻率為35 Hz 的6 階巴特沃斯低通濾波器對信號進行濾波,除去心電信號中夾雜的高頻噪聲,使得心電信號數(shù)據(jù)更加平滑。巴特沃斯低通濾波器的公式如式(3)所示:
式中:n為濾波器的階數(shù),ωc為截止頻率,ωp為通頻帶邊緣頻率。
③對信號數(shù)據(jù)質(zhì)量進行評估。由于心電信號的周期性較強,各心動周期之間相應(yīng)波形的差異較小,所以可以將QRS 波群近似認為單獨的固定模板。對于固定模板的信號,按幅值歸一化的幅頻分量值可以表示該模板在這一頻率范圍內(nèi)的能量集中情況。心電信號中各模板在特定頻率上的能量分布是不同的,幅頻分量又不含信號的相位信息,所以可通過信號幅頻值與特定幅頻值比較的方法來檢測QRS 模板。通過把心電信號周期與QRS 波群進行比對得到模板,之后通過計算得出模板與每個信號周期間的相關(guān)聯(lián)系數(shù),計算出其平均值作為信號質(zhì)量指數(shù)(SQI)[22]。如果SQI 小于設(shè)定閾值0.6,則使用1 階的巴特沃斯低通濾波器繼續(xù)對信號進行除噪,一直循環(huán)至所有信號的SQI 都大于閾值0.6 結(jié)束。
④對于降噪后的信號,采用MATLAB 自帶的WFDB 工具箱中的GQRS 算法進行R 峰檢測:在經(jīng)過先前的基線漂移消除以及低通濾波的操作后,就到了高通濾波步驟,即將低通濾波后的ECG 信號通過一個高通濾波器,以消除低頻干擾信號。然后是導(dǎo)數(shù)濾波步驟,即對高通濾波后的ECG 信號進行差分濾波,接著是方框濾波步驟,即對導(dǎo)數(shù)濾波后的ECG 信號進行方框濾波,以增強QRS 波群的幅值,最后是峰值檢測步驟,即通過動態(tài)閾值來檢測QRS波群的峰值,即R 峰值。該算法輸出ECG 信號序列中所有代表R 峰的數(shù)據(jù)點的序號。其中方框濾波與差分濾波的公式如式(4)、式(5)所示:
式(4)中,當normalize =true 時,α=1/width×height;當normalize =false 時,α=1。
式(5)為差分濾波矩陣,即使用兩元素之間的差值進行中心點賦值,符號代表相減,得到差值。
⑤完成上述數(shù)據(jù)處理過程后,采用短時傅里葉變換方法對信號進行時頻轉(zhuǎn)換,輸出信號的時間-頻率關(guān)系圖。短時傅里葉變換是時頻分析的經(jīng)典方法,也是處理心臟異常動態(tài)的有效方法,它是通過在傅里葉變換的基礎(chǔ)之上添加信號窗口,把時間尺度的信息和傅里葉變換結(jié)合在一起。公式如(6)所示:
式中:w(τ-t)為分析窗函數(shù),x(τ)為輸入信號。STFT(t,w)是時間t和頻率w的二維函數(shù),它將信號的時域和頻域聯(lián)系起來,我們可以據(jù)此對信號進行時頻分析。
⑥另一方面,根據(jù)④中所獲得的R 峰位置求解出相鄰R 峰的間隔RR,以RR(i)為x軸,RR(i+1)為y軸(i=1,2,…,n-1,n為RR 間隔的個數(shù))繪制散點圖,所獲得的圖像就是ECG 信號的龐加萊圖。龐加萊圖是一種分析顯示周期性或準周期性行為的動態(tài)系統(tǒng)分析技術(shù),其依賴于對正在研究的系統(tǒng)活動的事件進行同步、離散時間觀察。dn1 和dn2 分別表示從第n點(RR(n),RR(n+1))到長軸和短軸的距離。如式(7)所示:
一維ECG 信號經(jīng)過上述5,6 步驟后所得到的時頻圖以及龐加萊圖見圖9。
圖9 時頻圖和龐加萊圖
2.1.2 數(shù)據(jù)分類
預(yù)處理結(jié)束之后,是數(shù)據(jù)分類階段:
將預(yù)處理輸出的時頻圖和龐加萊圖作為輸入,采用基于深度互學(xué)習(xí)結(jié)合濾波群算法的神經(jīng)網(wǎng)絡(luò)進行信號分類,判斷該信號屬于NSR(正常竇律)、AF(房顫)、O(其他心電信號)和I(噪聲)中的哪一類。具體的網(wǎng)絡(luò)和特點細節(jié)如圖10 所示。
圖10 基于深度互學(xué)習(xí)和判別濾波群算法的神經(jīng)網(wǎng)絡(luò)示意圖
①網(wǎng)絡(luò)有兩個通道,通道1 以時頻圖作為網(wǎng)絡(luò)的輸入,通道2 以龐加萊圖作為輸入。
②每一個通道的基礎(chǔ)框架是經(jīng)典CNN 網(wǎng)絡(luò)Resnet18。
③每一個通道使用非對稱多流結(jié)構(gòu),一共有三個分支:以logit1 為輸出的分支1 保留了神經(jīng)網(wǎng)絡(luò)的整個結(jié)構(gòu)。這樣做的目的是關(guān)注全局信息;以logit2 為輸出的分支2 將發(fā)揮其作為網(wǎng)絡(luò)判別補丁流的作用,通過檢查鑒別補丁檢測器的響應(yīng)來進行預(yù)測;以logit3 作為輸出的分支3 作為分支2 的一部分,接在GMP 層后面,通過引入跨通道池化層,直接對1×1 濾波器施加監(jiān)督。目的是為了使框架能夠?qū)W習(xí)特定類別的判別patch 檢測器。
④為了共享權(quán)重和減少參數(shù)數(shù)量,網(wǎng)絡(luò)使用位置信息,并將所有FC 層替換為1×1 conv。
⑤為了兩個通道之間的信息能夠相互利用,引入了深度互學(xué)習(xí)策略,使用Kullback Leibler(KL)散度來量化兩個網(wǎng)絡(luò)預(yù)測值之間的匹配。通過將KL模仿?lián)p失和監(jiān)督損失LC 相加,使得每個網(wǎng)絡(luò)不僅從訓(xùn)練實例的真實標簽中學(xué)習(xí)正確的知識,還可以參考其同行的概率估計。
為了檢驗該裝置的實用性,我們進行了模擬駕駛環(huán)境下的實驗。
Euro Truck Simulator 2(歐洲卡車2)、基于本文介紹裝置所搭建的智能方向盤總成、心率檢測儀(用來驗證方向盤采集的心電圖(ECG)數(shù)據(jù)準確率),實驗人員為一名駕齡2 年駕駛員。其中《歐洲卡車2》是一款交通工具場景仿真游戲,由SCS Software 公司開發(fā),配合游戲方向盤具有仿真度極高的駕駛操作體驗。
首先將本研究提出的方向盤系統(tǒng)連接至預(yù)先下載好《Euro Truck Simulator 2》的筆記本電腦,然后由駕齡2 年的駕駛員進行駕駛操作,便成功搭建起了模擬駕駛場景,如圖11 所示。
圖11 模擬駕駛圖(測試環(huán)境下)
我們在同一環(huán)境下,采集了8 組數(shù)據(jù)進行實驗,得到方向盤性能指標如表1 所示。其中,ECG準確率為同時使用心率帶測量得到的對比數(shù)據(jù)和實驗結(jié)果計算得到的數(shù)據(jù)相似度;算法預(yù)測準確率為程序?qū)υ胍簟⒄P穆?、房顫、其他心率四種分類的識別準確度。
表1 實驗結(jié)果
在8 次的實驗中,網(wǎng)絡(luò)延遲最高為75 ms,最低為65 ms,平均延遲為70.375 ms,由上述結(jié)果可以看出,本裝置在正常網(wǎng)絡(luò)環(huán)境下有著良好的響應(yīng)時間;對于ECG 準確率方面,8 次實驗中的最高ECG 準確率為90%,最低為86%,平均值為87.875%,說明本實驗裝置獲取的數(shù)據(jù)與心率帶測量得到的對比數(shù)據(jù)誤差很小,精確度很高;運算時間在進行的8 次實驗之中,最長為0.51 s,最短為0.45 s,平均運算時間為0.497 5 s,體現(xiàn)了本實驗裝置的高運算效率和計算能力;最后在算法分類識別準確率方面,8 次實驗中最高為95.0%,最低為91.6%,平均值為92.85%,說明識別效果很優(yōu)秀。8 組實驗數(shù)據(jù)的網(wǎng)絡(luò)延遲、ECG 準確率、運算時間和預(yù)測準確率的方差和標準差都很小,說明8 組實驗間的實驗結(jié)果離散程度很小,體現(xiàn)出本實驗裝置有著優(yōu)秀的實驗穩(wěn)定性。
本文設(shè)計了一個可以進行實時心電數(shù)據(jù)采集,并智能檢測房顫的方向盤系統(tǒng),該系統(tǒng)彌補了可穿戴設(shè)備、專業(yè)醫(yī)療設(shè)備在駕駛場景上的不足,這一系統(tǒng)的工作流程可以作為其他駕駛輔助的參照以及基礎(chǔ)。同時,該裝備具有良好的工控屬性、兼容性以及可移植性,成本低廉,效果明顯。方向盤設(shè)備均使用工控機,在惡劣信號條件、復(fù)雜環(huán)境條件下均能良好運行,保證了該系統(tǒng)的工作穩(wěn)定性和魯棒性。
該裝置未來可結(jié)合機器視覺方式進行交叉驗證,提升房顫檢測準確率與實時性。同時,在該智能方向盤及云平臺系統(tǒng)的基礎(chǔ)上,可以添加多種不同的傳感器和檢測算法,可以實現(xiàn)多功能的全方位駕駛員狀態(tài)感知,疲勞檢測、情緒識別都可以基于該平臺實現(xiàn),具有極強的模塊化能力和拓展性。
該裝置可以融合正在迅速發(fā)展的車聯(lián)網(wǎng)系統(tǒng),做到以通訊模塊警示周圍車輛并求助;同時利用車聯(lián)網(wǎng)向周圍車輛及交通信號設(shè)施發(fā)出求助信息,或者聯(lián)系醫(yī)院、駕駛員家屬和交警中心,共享該車輛當前位置信息,對駕駛員進行緊急救助。
該裝置可以優(yōu)先部署在校車、公交車等重要交通工具上,避免因駕駛員突發(fā)心血管疾病所導(dǎo)致的重大交通事故,保護司機、乘客以及其他交通參與者的生命安全。
隨著對交通安全的重視,駕駛員安全也必將成為關(guān)注點,該裝置未來將在駕駛員安全方面具有良好的市場前景。