周 敏
(深圳市智云誠品科技有限公司,廣東深圳 518000)
城市化進(jìn)程的加快使得我國的交通基礎(chǔ)設(shè)施逐步實(shí)現(xiàn)了全面覆蓋,盡管近年來鐵路安全形勢大幅向好,但鐵路安全仍是鐵路運(yùn)輸管理的重中之重。當(dāng)今中國機(jī)車的規(guī)模日益巨大,帶來的交通安全性問題也日益受到關(guān)注,傳統(tǒng)單一的監(jiān)督模式已經(jīng)無法滿足需求。針對這種情況,結(jié)合視頻檢測技術(shù),構(gòu)建交通安全預(yù)警系統(tǒng),對于改善道路交通安全狀況意義重大。如何準(zhǔn)確高效地監(jiān)控機(jī)車乘務(wù)員行駛中的精神狀態(tài),對不規(guī)范值乘行為做出合理監(jiān)測與警示,是減少事故、保護(hù)行車安全的重要手段。
隨著鐵路運(yùn)輸企業(yè)管理水平的進(jìn)步,對安全監(jiān)管日益重視,鐵路安全形勢大幅向好。2021年,全國(不含港澳臺,下同)鐵路交通事故死亡人數(shù)同比大幅下降23.1%,全年未發(fā)生鐵路交通特別重大、重大事故,發(fā)生較大事故僅1件,比上年減少12件。國家鐵路局自2013年成立以來,共發(fā)布了7次“鐵路安全情況公告”(2020年后不再發(fā)布)。全國鐵路交通事故死亡人數(shù)從2013年的1336人,下降至2021年的518人,9年間下降了61.23%,運(yùn)輸安全形勢持續(xù)向好。但對安全監(jiān)管并不能放松,仍需進(jìn)一步提升,特別是依托新技術(shù)對乘務(wù)員進(jìn)行強(qiáng)化管理勢在必行,可持續(xù)推動現(xiàn)有的安全管理體系的進(jìn)一步提升。隨著技術(shù)的進(jìn)步,傳統(tǒng)的干部監(jiān)督和下載車載音視頻方法已經(jīng)不能對機(jī)車乘務(wù)員做出合理監(jiān)測與警示,因此怎樣合理監(jiān)測機(jī)車乘務(wù)員行為,從而減少嚴(yán)重事故的發(fā)生成為當(dāng)前亟待解決的主要問題。
機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析預(yù)警報(bào)警系統(tǒng),通過特制的攝像機(jī),采用人臉特征及動態(tài)識別,即時(shí)監(jiān)測機(jī)車乘務(wù)員在行車過程中的狀況,同時(shí)采取動態(tài)評估并進(jìn)行語言警告提醒。機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析預(yù)警報(bào)警系統(tǒng)投入使用后,監(jiān)測更加精準(zhǔn),并能實(shí)時(shí)開啟自動提醒功能。如果發(fā)現(xiàn)仍有機(jī)車乘務(wù)員不規(guī)范的行為,將反復(fù)播放語音提醒,促使乘務(wù)員及時(shí)加以糾正,提高乘務(wù)員主動規(guī)范行為的自覺性。本系統(tǒng)主要具備如下價(jià)值:①提前提醒和指導(dǎo),減輕乘務(wù)員作業(yè)壓力;②實(shí)時(shí)檢查和預(yù)警,督促乘務(wù)員標(biāo)準(zhǔn)化作業(yè);③實(shí)時(shí)回傳和打分,對乘務(wù)員一次值乘行為進(jìn)行評估;④持續(xù)統(tǒng)計(jì)和分析,建立乘務(wù)員安全作業(yè)數(shù)據(jù)庫。
復(fù)雜運(yùn)動目標(biāo)辨識技術(shù)由于具有極其廣泛的應(yīng)用前景,目前一直是計(jì)算機(jī)視覺、模式識別、人機(jī)感知交互等眾多研究領(lǐng)域的熱點(diǎn)和難點(diǎn)。對于復(fù)雜運(yùn)動目標(biāo)物的檢測和辨識,常用的技術(shù)主要有基于圖像數(shù)據(jù)的方法,以及基于色彩分布、運(yùn)動規(guī)律、對稱性的知識模型方法等。
由于人臉改變十分復(fù)雜,這給對人臉的特點(diǎn)描繪和特點(diǎn)提煉都帶來了重重困難。機(jī)車乘務(wù)員工作是在一個(gè)復(fù)雜的環(huán)境中,線路、光照方向和光源的變化以及得到的機(jī)車乘務(wù)員臉部圖像并不是正面對的(由于機(jī)車乘務(wù)員面前的各種操作儀表和設(shè)備是已經(jīng)固定了的不可能在正面安裝攝像機(jī)并且工作中機(jī)車乘務(wù)員的頭不要擺動),這些都給機(jī)車乘務(wù)員的工作狀態(tài)識別造成了困難。機(jī)車乘務(wù)員值乘狀態(tài)預(yù)警提醒裝置包括人臉檢測、人臉識別和語音報(bào)警三部分。
這部分主要包含了特制的鏡頭和圖片采集卡。攝像頭對機(jī)車乘務(wù)員影像進(jìn)行現(xiàn)場收集,并進(jìn)行光電變換,將模擬信號傳送給圖像采集卡,進(jìn)行模數(shù)轉(zhuǎn)換。
攝像機(jī)采集的視頻流通過圖像處理卡轉(zhuǎn)換成數(shù)字信息,然后通過DSP 電路進(jìn)行預(yù)處理。預(yù)處理工作主要完成人臉和眼睛的圖像定位和分割,分離出的圖像信息交給FPGA 識別系統(tǒng)進(jìn)行識別。一旦確定處于間歇觀看狀態(tài)(判斷間歇觀看狀態(tài)有兩個(gè)標(biāo)準(zhǔn),一個(gè)是閉眼或明顯減退的持續(xù)時(shí)間超過閾值時(shí)間,第二個(gè)是面部朝向非運(yùn)行方向時(shí)間超過閾值時(shí)間),即引發(fā)電子報(bào)警系統(tǒng)告警,否則提交反饋信息給DSP 圖像預(yù)處理控制系統(tǒng),以完成下一幀處理。
車載乘務(wù)員值乘行為實(shí)時(shí)分析裝置由車載邊緣計(jì)算主機(jī)和機(jī)車乘務(wù)員室前端、機(jī)車乘務(wù)員室右后、側(cè)后方等位置的數(shù)字高清攝像頭組成。其中前視視頻采集裝置主要采集機(jī)車乘務(wù)員面部表情、行為姿勢視頻,前視攝像頭采集視頻的算法主要集中于值乘狀態(tài)檢測、行為動作分析。由于前視攝像頭安裝位置距離機(jī)車乘務(wù)員較近,從側(cè)后方攝像頭采集的圖像可以彌補(bǔ)前視攝像頭視場不足,能夠采集整個(gè)機(jī)車乘務(wù)員室的圖像,供視頻分析主機(jī)分析。視頻主機(jī)分析后,對違規(guī)行為、精神不振行為,通過車載顯示終端進(jìn)行語音提醒。車載智能視頻主機(jī)本身帶4G 無線傳輸功能,可以將實(shí)時(shí)檢測結(jié)果以及對應(yīng)的音視頻文件同步至地面管理系統(tǒng)。
實(shí)時(shí)提示當(dāng)前報(bào)警的機(jī)車信號,并以聲、光、電告警引起執(zhí)勤工作人員注意,同時(shí)也在熒屏上展示出該機(jī)車的有關(guān)資料,包含機(jī)車編號、駕駛員個(gè)人信息、機(jī)車狀況(行車定位運(yùn)行速度、持續(xù)時(shí)間)等信息內(nèi)容,以協(xié)助執(zhí)勤工作人員進(jìn)行處理。
2.5.1 車載軟件部分
先由圖像采集卡讀一幀圖片,由時(shí)間序列預(yù)測計(jì)算(幀間關(guān)系),依據(jù)前幾幀眼球的情況對當(dāng)前幀眼球情況做出估計(jì),來定位目標(biāo)人眼,進(jìn)而判別定位目標(biāo)后的圖片是否為人眼。判定通過3種方法協(xié)同完成:①對定位目標(biāo)的眼球做出輪廓提取,依據(jù)幾何特征判定是否為眼球;②將人眼圖片輸入已訓(xùn)練好的人工神經(jīng)網(wǎng)絡(luò)判定機(jī)器,完成判定;③利用人眼虹膜的反射特性做出診斷。因?yàn)椴捎昧酥鲃邮郊t外線照射系統(tǒng),且人眼虹膜反射特性非常明顯,所以系統(tǒng)對眼部的診斷十分精確。
2.5.2 地面軟件部分
(1)信息檢索軟件通過數(shù)據(jù)導(dǎo)入功能把每天值乘時(shí)產(chǎn)成的報(bào)警數(shù)據(jù)保存到數(shù)據(jù)庫里,可以通過日期、車次檢索找到關(guān)心的數(shù)據(jù)。可以顯示和打印具體一趟列車運(yùn)行時(shí)的全程記錄。
(2)記錄導(dǎo)入把"數(shù)據(jù)記錄傳送裝置"里生成的報(bào)警數(shù)據(jù)記錄轉(zhuǎn)儲到U 盤后,用導(dǎo)入全程記錄的功能導(dǎo)入到軟件數(shù)據(jù)庫中。
(3)統(tǒng)計(jì)分析統(tǒng)計(jì)值乘人員的報(bào)警記錄,可以列出機(jī)務(wù)段內(nèi)每個(gè)車間的所有機(jī)車乘務(wù)員的報(bào)警記錄次數(shù)。
本系統(tǒng)基于既有車載無線傳輸裝置和行車安全數(shù)據(jù)終端,部署車載乘務(wù)員值乘行為實(shí)時(shí)分析裝置,包含邊緣計(jì)算主機(jī)+乘務(wù)員狀態(tài)攝像機(jī)+手勢攝像機(jī),利用人工智能算法和深度學(xué)習(xí)技術(shù),實(shí)現(xiàn)對機(jī)車乘務(wù)員室音視頻的自動化分析。
(1)采用近紅外窄帶或非可見光主動照明光源照明,以減少外部光源的影響,從而能夠全天候獲取亮度平穩(wěn)的視頻流圖像,同時(shí)能夠得到較強(qiáng)的眼部虹膜反射特征,極大改善了眼球位置與辨認(rèn)過程,提高了鑒定的準(zhǔn)確性,錯誤率低于1%。由于墨鏡主要阻斷紫外線波段,所以通過主動紅外線等照明光源照射時(shí),對墨鏡的通透度超過了80%,因此能夠有效降低墨鏡的干擾。
(2)一定的攝影焦距,能夠得到理想寬度的視場,可以有效減少背景物影響,并增加了后期圖像處理的速度與穩(wěn)定性。
機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析預(yù)警報(bào)警系統(tǒng)裝置很好地解決了制約人員疲勞狀況及現(xiàn)場監(jiān)測技術(shù)研發(fā)與推廣中的3個(gè)關(guān)鍵問題。①當(dāng)車內(nèi)環(huán)境光照變化過大,怎樣即時(shí)獲取真實(shí)、清晰的臉部特點(diǎn);②無須預(yù)先完成圖像注冊,就能夠準(zhǔn)確定位人臉和眼球,即時(shí)地獲取人臉的各項(xiàng)動態(tài)參數(shù)并予以正確識別;③識別率非常精確。這是一個(gè)全新的解決機(jī)車行車問題與嘹望狀況的特殊的檢測方式。通過非可見光源,能全天候收集機(jī)車乘務(wù)員面部狀態(tài)的視頻流影像,比應(yīng)用傳統(tǒng)非接觸式檢測方法更為人性化。
音頻、視頻、LKJ 三合一智能分析:利用深度學(xué)習(xí)技術(shù),實(shí)現(xiàn)了音視頻分析的智能化和自動化,在傳統(tǒng)音視頻整合的基礎(chǔ)上跨越式地實(shí)現(xiàn)了視頻的行為分析、音頻的內(nèi)容分析。實(shí)現(xiàn)了AI 產(chǎn)業(yè)在鐵路行業(yè)的落地應(yīng)用。機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析預(yù)警報(bào)警系統(tǒng)利用了人臉特征與眼神識別技術(shù),增強(qiáng)了系統(tǒng)的準(zhǔn)確性;對視覺特征和眼神狀況的判定,采用了三個(gè)并行判定方式(虹膜特點(diǎn)判定、幾何特征判定、神經(jīng)網(wǎng)絡(luò)判定),有效降低了誤警概率,預(yù)警成功率達(dá)95%以上,對眼部特點(diǎn)的定位成功率也達(dá)到了100%;通過幀之間聯(lián)系對眼睛進(jìn)行定向,極大縮短了系統(tǒng)工作的時(shí)間,收集和處理視覺圖像的速率超過了15幀/s。并且還可以保存提醒時(shí)間的視頻數(shù)據(jù),同時(shí)具備機(jī)車乘務(wù)員間斷嘹望圖像的跟蹤分析等功能。
3.4.1 圖像采集器
使用整體屏蔽技術(shù),很好地解決了抗干擾能力問題;攝像頭的安全防護(hù)罩使用導(dǎo)電玻璃,克服了鏡頭端電氣屏障的技術(shù)難點(diǎn);電纜屏蔽層和收集器外殼連接使用了雙層壓接,提高了連接的安全性。
3.4.2 主機(jī)
高度電磁兼容性,不與其他裝置相互影響。抗振設(shè)計(jì),抗振功能較強(qiáng)。在上下機(jī)箱連接使用銅箔嵌入方式,有效克服了機(jī)箱接縫處的電氣遮蔽問題。對全部信號引出線路設(shè)有雙磁芯電感,對電源設(shè)置了雙重濾波器,大大增強(qiáng)了系統(tǒng)抗干擾、防破壞的能力。
(1)收集器使用全屏蔽構(gòu)造。
(2)收集器的調(diào)節(jié)軸使用齒牙咬合構(gòu)造。
(3)主機(jī)散熱片為金屬材料機(jī)殼和導(dǎo)熱單元緊密配合的構(gòu)造,使整體機(jī)箱具有良好散熱效應(yīng)。使用的全金屬外殼,內(nèi)在構(gòu)造穩(wěn)固簡潔;容積小、體重輕,安置和使用都方便。
(1)設(shè)備自查:設(shè)備接通后即進(jìn)行自查,時(shí)限20~30s。
(2)嘹望監(jiān)控:設(shè)備自檢后自動進(jìn)入監(jiān)控、警報(bào)狀態(tài)。
(3)監(jiān)控速度:以15幀/s 即時(shí)監(jiān)控。
(4)預(yù)警提示:當(dāng)機(jī)車乘務(wù)員發(fā)生間斷嘹望狀況時(shí),發(fā)出提醒話音,只要機(jī)車乘務(wù)員不能回復(fù)投入嘹望狀況,則警告聲便繼續(xù)不停,警告聲音強(qiáng)度超過100 db。
(5)警報(bào)解除:機(jī)車乘務(wù)員在收到提醒,回復(fù)正視行駛方向,告警聲自行解除。
(6)機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析預(yù)警報(bào)警系統(tǒng)的辨識率:95%。
(1)對機(jī)車乘務(wù)員值乘行為實(shí)時(shí)監(jiān)視,根據(jù)車載設(shè)備技術(shù)標(biāo)準(zhǔn),完成車載乘務(wù)員值乘行為實(shí)時(shí)分析裝置開發(fā)。
(2)對前方線路周圍情況進(jìn)行實(shí)時(shí)監(jiān)視錄像,為事故分析提供視頻資料。
(3)對機(jī)車乘務(wù)員操縱情況進(jìn)行實(shí)時(shí)監(jiān)視錄像,針對乘務(wù)員語音進(jìn)行算法研究,研究行車過程中是否進(jìn)行語音對話。
(4)開發(fā)乘務(wù)員值乘行為人工智能算法數(shù)據(jù)庫,智能識別違規(guī)行為實(shí)時(shí)報(bào)警,自動發(fā)出報(bào)警信號,并傳送到機(jī)車乘務(wù)員室,及時(shí)發(fā)現(xiàn)事故、減小事故損失。
(5)機(jī)車乘務(wù)員室監(jiān)視器可同時(shí)顯示各種監(jiān)視畫面,也可以分別放大顯示。
(6)監(jiān)控錄像實(shí)時(shí)保存。
(7)具備回放電氣間錄像和機(jī)車乘務(wù)員室、前方線路周圍情況錄像的功能。
(8)系統(tǒng)設(shè)備抗干擾性強(qiáng)、抗振性好。
(9)設(shè)備供電采用獨(dú)立供電電路和安全低電壓,不影響機(jī)車設(shè)備的正常工作。
(10)建立地面管理系統(tǒng),可實(shí)現(xiàn)高效管理。
綜上所述,本文提供了一個(gè)基于鐵路機(jī)車乘務(wù)員值乘行為數(shù)據(jù)語音視頻同步分析的交通安全預(yù)警系統(tǒng)方法,能夠運(yùn)用無線通信技術(shù)、圖像識別技術(shù)以及視頻監(jiān)測技術(shù)等,進(jìn)行機(jī)車與路面信號的實(shí)施收集,并利用信號交換,從而實(shí)現(xiàn)了機(jī)車與路面的智能協(xié)調(diào)和配合,從而能夠在較大程度上提高了機(jī)車乘務(wù)員行駛的穩(wěn)定性,從而降低了交通安全事故產(chǎn)生的概率,達(dá)到了道路自主管理,進(jìn)而改善了鐵路網(wǎng)的交通能力,促進(jìn)了機(jī)車安全行駛。