段仕浩
基于人工智能的駕駛行為分析系統(tǒng)的設(shè)計與實現(xiàn)
段仕浩
(南寧職業(yè)技術(shù)學院,廣西 南寧 530007)
文章介紹了人工智能技術(shù)在車輛駕駛行為分析中的應用,并利用軟件研發(fā)、人工智能、物聯(lián)網(wǎng)等技術(shù),對車輛駕駛?cè)藛T的駕駛行為進行研究和分析,并開發(fā)一套對車輛駕駛行為分析的軟件系統(tǒng),對駕駛?cè)藛T的駕駛行為及駕駛環(huán)境進行分析、識別、預警,從而降低事故發(fā)生率,保障人身財產(chǎn)安全。
人工智能;物聯(lián)網(wǎng);行為分析;駕駛行為分析
隨著科學技術(shù)的發(fā)展,人工智能正在越來越多地進入并改變著人類的認知與生活。人工智能已成為了科技革命和產(chǎn)業(yè)變革的核心驅(qū)動力,是我國未來發(fā)展的戰(zhàn)略核心技術(shù),對我國各個領(lǐng)域都有深遠的影響。人工智能技術(shù)快速迭代,正經(jīng)歷從云端到終端的過程,人工智能終端化能夠更好更快地幫助我們處理信息,解決問題。駕駛行為分析技術(shù)是將AI算法應用于汽車終端設(shè)備上,它將在城市智慧交通的應用過程中,不斷優(yōu)化、提升駕駛安全系數(shù)以及給城市交通減輕壓力的同時,也給用戶帶來越來越多的良好駕車體驗[1,2]。
基于人工智能的駕駛行為分析系統(tǒng)是利用軟件研發(fā)、人工智能、物聯(lián)網(wǎng)等技術(shù),設(shè)計和開發(fā)一個智慧的駕駛行為分析系統(tǒng)。該系統(tǒng)針對各類營運車輛的駕駛行為進行實時監(jiān)控,對車輛駕駛員進行檢測和駕駛行為進行識別,并利用軟件研發(fā)、人工智能、物聯(lián)網(wǎng)等技術(shù),對車輛駕駛?cè)藛T的駕駛行為進行研究和分析,并開發(fā)一套對車輛駕駛行為分析的軟件系統(tǒng),對駕駛?cè)藛T的駕駛行為及駕駛環(huán)境進行分析、識別、預警[3-5],從而降低事故發(fā)生率,保障人身財產(chǎn)安全。
本系統(tǒng)在物理上采用車載端、手機端、管理端加上數(shù)據(jù)引擎和AI智慧引擎等服務進行構(gòu)建,其中車載端、手機端和管理端是針對用戶進行操作的應用程序,數(shù)據(jù)引擎和AI智慧引擎為整個系統(tǒng)提供數(shù)據(jù)和人工智能分析服務。車載端是一個智能物聯(lián)網(wǎng)設(shè)備,它安裝在車輛內(nèi)部,主要用于采集駕駛數(shù)據(jù)和車輛環(huán)境數(shù)據(jù),通過數(shù)據(jù)引擎和AI智慧引擎服務進行數(shù)據(jù)分析,以實現(xiàn)對駕駛員駕駛行為進行識別和分析、及時預警等功能。手機端是一款手機APP程序,它可用于車載端的綁定、參數(shù)的設(shè)置、日常業(yè)務處理等功能,是駕駛員對車載端的輔助應用。管理端為車輛運營管理部門提供了一個強大的管理平臺,可進行車輛管理、駕駛員管理、駕駛行為數(shù)據(jù)分析和預警等。這三個終端通過微服務進行數(shù)據(jù)交互,融合了人工智能、物聯(lián)網(wǎng)等技術(shù),其架構(gòu)如圖1所示。
圖1 系統(tǒng)架構(gòu)圖
系統(tǒng)基于“微服務”的開發(fā)架構(gòu)進行系統(tǒng)的整體設(shè)計,將系統(tǒng)功能分解到各個離散的微服務中以實現(xiàn)對系統(tǒng)的解耦。系統(tǒng)將后臺服務拆分為數(shù)個微服務,它們既相互獨立,又相互協(xié)作,從而滿足服務等級協(xié)議。整個系統(tǒng)圍繞業(yè)務功能來創(chuàng)建微服務,這些微服務可獨立地進行開發(fā)、管理和迭代,并使用云架構(gòu)和平臺式部署、管理和微服務功能。
系統(tǒng)圍繞業(yè)務功能將系統(tǒng)后臺服務拆分為智慧分析微服務、數(shù)據(jù)采集微服務、預警微服務、數(shù)據(jù)分析微服務等10多個微服務,車載端、手機端和管理端通過一個API Gateway調(diào)用相關(guān)的微服務,完成相關(guān)業(yè)務功能。API Gateway提供一個統(tǒng)一的服務接口,系統(tǒng)在實現(xiàn)相應功能是通過API Gateway來確定調(diào)用哪個微服務。微服務架構(gòu)如圖2所示。
圖2 微服務架構(gòu)圖
本系統(tǒng)有三個終端,分別是手機APP端、智慧車載端、PC管理端,其中智慧車載端負責采集駕駛員的行駛數(shù)據(jù),通過人工智能技術(shù)實時對所采集的數(shù)據(jù)進行分析,并對違規(guī)行為提示預警。手機APP端提供給駕駛員查看違規(guī)信息,并進行申訴等處理。管理端為車輛運營管理方進行管理、行為分析、監(jiān)測和預警等日常業(yè)務的處理。其功能架構(gòu)如圖3所示。
圖3 功能模塊圖
手機APP端主要利用Android技術(shù)開發(fā)一款手機APP,該APP通過調(diào)用微服務提供的API接口獲取“智慧車載端”及“AI行為分析引擎”的分析結(jié)果進行展示。
3.1.1 車載互聯(lián)模塊
車載互聯(lián)模塊主要提供用戶手機與智慧車載端進行互聯(lián),并綁定。車輛駕駛員通過車載互聯(lián)模塊的掃碼功能與智慧車載端進行綁定,綁定后可以進行相關(guān)設(shè)置及車輛定位。用戶可以通過手機APP設(shè)置車載端的參數(shù),例如采集數(shù)據(jù)類型、時間間隔、靈敏度等。用戶也可以通過手機APP實時對車輛進行定位,遠程監(jiān)控車內(nèi)情況。
3.1.2 違規(guī)申訴模塊
違規(guī)申訴模塊主要提供兩個子功能模塊,分別是駕駛行為查閱和違規(guī)申訴功能。當用戶被檢測到出現(xiàn)了危險駕駛行為時,系統(tǒng)會發(fā)出提醒,并將該危險駕駛行為進行記錄,駕駛員可以通過該模塊查看駕駛行為的分析結(jié)果。如果駕駛員對該危險駕駛行為有異議的話,可以通過申訴功能請求相關(guān)車輛運營管理部門進行介入,從而對該危險駕駛行為進行申訴處理。
3.1.3 政策公告模塊
政策公告模塊用于查看車輛運營部門的相關(guān)政策及公告信息。駕駛員可以通過該模塊實時了解車輛運營部分發(fā)布的相關(guān)政策及公告信息。為了不影響駕駛員的駕駛,該模塊還提供了語言播報功能,駕駛員可以在駕駛過程中通過“聽”的方式去獲取信息。
3.1.4 個人中心模塊
個人中心模塊是對個人信息的設(shè)置及車載端的相關(guān)參數(shù)的設(shè)置和查看。該模塊集成了系統(tǒng)的通用功能及個性化的功能,例如:登錄、個人信息設(shè)置和綁定、語言播報設(shè)置等。
智慧車載端是基于V3S Linux開發(fā)板定制開發(fā)的車載物聯(lián)網(wǎng)設(shè)備。該開發(fā)板具有車規(guī)級的ARM Coretx A7 CPU芯片和集成了64MB DDR2 RAM,搭載了面向汽車數(shù)字視頻記錄(DVR)和IP攝像機(IPC)監(jiān)控系統(tǒng)、4G路由模塊、WiFi聯(lián)網(wǎng)模塊等,主要用于物聯(lián)網(wǎng)、人臉識別、車牌識別、智能交互等基礎(chǔ)開發(fā)。
3.2.1 數(shù)據(jù)采集模塊
智慧車載端通過內(nèi)置的攝像頭將駕駛員的實時駕駛情況傳輸?shù)紸I智慧引擎,AI智慧引擎通過對采集的視頻及圖像形象進行分析,并結(jié)合歷史分析數(shù)據(jù)得出分析結(jié)果。AI智慧引擎如果判定當前駕駛員處于危險駕駛行為時,會將分析結(jié)果傳輸?shù)较到y(tǒng)后臺進行記錄,同時發(fā)信息至手機APP及智慧車載端,并通過內(nèi)置的語音播報系統(tǒng)提示駕駛員規(guī)范自己的駕駛行為。
3.2.2 語言播報及煙霧采集模塊
智慧車載端在V3S Linux開發(fā)板的基礎(chǔ)上定制了語言提示系統(tǒng)和煙霧感應器。煙霧感應器會采集車輛內(nèi)部的煙霧機溫度數(shù)據(jù),發(fā)送至AI智慧引擎,并結(jié)合AI智慧引擎的分析將分析結(jié)果進行語言播報。智慧車載端的分析結(jié)果將同步記錄到后臺系統(tǒng),以便作為駕駛員違規(guī)駕駛的證據(jù)進行存儲。
PC管理端提供車輛運營管理部門進行綜合管理的平臺,它采用分布式部署,集成了AI智慧引擎和數(shù)據(jù)引擎,包含了行為分析模塊、違規(guī)申訴模塊、預警模塊、車輛管理、公司管理、人員管理等功能模塊。它面向的三類用戶分別是平臺管理員、運營管理人員和公司管理人員。
3.3.1 行為分析及預警模塊
行為分析模塊主要是輔助識別駕駛員的危險駕駛行為,該模塊通過大數(shù)據(jù)技術(shù)分析駕駛員的歷史駕駛數(shù)據(jù),為AI智慧引擎提供輔助判斷依據(jù)。該模塊使用了Hadoop大數(shù)據(jù)處理技術(shù)進行開發(fā),形成一個大數(shù)據(jù)分析處理的微服務,對駕駛員的歷史駕駛數(shù)據(jù)進行分析,與AI智慧引擎和違規(guī)申訴模塊協(xié)同完成駕駛員危險駕駛行為的判定。預警模塊主要識別行為分析模塊的分析數(shù)據(jù)、對車輛運營公司、駕駛員和車輛運營管理部門進行預警,將危險駕駛行為帶來的危險降到最低。
3.3.2 違規(guī)申訴及政策公告模塊
違規(guī)申訴模塊主要針對駕駛員及對應運營公司提供違規(guī)申訴功能。該功能模塊記錄了駕駛員的所有危險駕駛記錄,并提供違規(guī)申訴及違規(guī)處理功能。駕駛員對該危險駕駛行為有異議的話,可以通過申訴功能請求相關(guān)車輛運營管理部門進行介入,從而對該危險駕駛行為進行申訴處理。車輛運營管理部門通過該模塊對相關(guān)運營公司及駕駛員進行處理。政策公告模塊用于發(fā)布相關(guān)政策及公告信息。
3.3.3 公司管理及人員管理模塊
公司管理模塊用于對各車輛運營公司進行管理,可以添加、修改和暫停運營公司,并對公司的運營計劃、排班進行審批等。人員管理主要是針對整個系統(tǒng)進行人員的管理,包括車輛運營管理部門、公司、駕駛員等人員進行統(tǒng)一管理,為不同類別的用戶設(shè)置權(quán)限和信息維護等。
3.3.4 車輛管理及駕駛員管理模塊
車輛管理及駕駛員管理模塊是針對車輛運營公司的功能模塊,車輛運營公司通過這兩個功能模塊可以對本公司的運營車輛、駕駛員及駕駛行為進行管理和信息維護。
AI智慧引擎是系統(tǒng)的大腦,它通過人工智能分析的算法,可以識別駕駛?cè)藛T的危險駕駛行為,并能通過深度學習技術(shù)對駕駛行為進行預警。AI智慧引擎通過Yolov3檢測網(wǎng)絡來定位駕駛員身體關(guān)鍵部位,結(jié)合駕駛室環(huán)境及相應的規(guī)則,進行實時駕駛動作分析,確定是否是危險駕駛行為,例如:使用手機、抽煙、不系安全帶、未佩戴口罩、閉眼、打哈欠、雙手離開方向盤、視線偏離、疲勞等動作姿態(tài)。AI智慧引擎的工作過程如下:智慧車載端通過攝像頭和煙霧采集器,采集駕駛室內(nèi)的駕駛視頻、圖片和煙霧等數(shù)據(jù),通過網(wǎng)絡傳輸?shù)紸I智慧引擎;AI智慧引擎通過人工智能技術(shù)對接收的數(shù)據(jù)進行分析,得到分析結(jié)果,如果判定為異常駕駛行為,則將分析結(jié)果傳輸給數(shù)據(jù)引擎,由數(shù)據(jù)引擎進行后續(xù)處理。
AI智慧引擎分為兩個模塊,一個是決策(Decision)模塊,一個是行為(Behavior)模塊,決策模塊負責通過人工智能算法去識別駕駛員的異常行為及車內(nèi)環(huán)境,行為模塊負責根據(jù)決策模式的分析結(jié)果與數(shù)據(jù)引擎進行交互,指揮數(shù)據(jù)引擎進行相應操作。
數(shù)據(jù)引擎是系統(tǒng)的心臟,負責處理數(shù)據(jù)及數(shù)據(jù)的交互,它分為兩個核心模塊,分別是數(shù)據(jù)庫引擎和數(shù)據(jù)服務引擎。數(shù)據(jù)庫引擎用于存儲、處理和保護駕駛員的行為數(shù)據(jù)的服務。利用數(shù)據(jù)庫引擎,系統(tǒng)可控制訪問權(quán)限及事務,從而滿足本系統(tǒng)數(shù)據(jù)的存儲、交換等需求。
數(shù)據(jù)服務引擎是由一個個的微引擎組成,它們運行在不同微服務中,主要用于處理不同微服務的數(shù)據(jù)處理及微服務之間的數(shù)據(jù)交互等操作。數(shù)據(jù)服務引擎采用服務組的模式進行架構(gòu),它由多個微服務組成,形成一個微服務組,當這個微服務組被調(diào)用時,則通過API Gateway來管理和組合服務,以實現(xiàn)各微服務之間的數(shù)據(jù)交換及協(xié)同。
該系統(tǒng)的AI引擎基于深度學習技術(shù),駕駛行為識別算法采用YOLO v3目標檢測網(wǎng)絡識別駕駛員的危險行為,將智慧車載端獲取的視頻流轉(zhuǎn)換為相應的圖片,通過網(wǎng)格的方式去檢測出駕駛員身體關(guān)鍵部位,并通過與相關(guān)規(guī)則進行比對,識別出駕駛員當前是否處于危險駕駛中。
智慧車載端是連接到互聯(lián)網(wǎng)的智能設(shè)備組成,它使用處理器、傳感器和通信硬件等集成系統(tǒng)來發(fā)送所采集的數(shù)據(jù)。車載端使用了V3S Linux開發(fā)板的4G路由模塊和WiFi聯(lián)網(wǎng)模塊與服務器進行通信。車載端根據(jù)車輛現(xiàn)有聯(lián)網(wǎng)方式首選WiFi的方式接入網(wǎng)絡,同時也提供了4G移動通信的方式接入。
系統(tǒng)采用微服務架構(gòu),根據(jù)業(yè)務功能開發(fā)一個個的微服務,每個微服務實現(xiàn)一個獨立的功能,在自己的進程中運行,微服務之間通過輕量級通信機制進行協(xié)作。系統(tǒng)微服務統(tǒng)一通過API Gateway接口對外一同服務功能,做到了解耦和輕量化的服務集成。
系統(tǒng)在V3S Linux開發(fā)板中內(nèi)置了一個語音播報系統(tǒng),它是以STM32為核心的嵌入式語音播報系統(tǒng),其核心處理器選用的是以ARM Cortex-M3內(nèi)核的32位處理器STM32F103C8T6。系統(tǒng)的處理器接收上位機指令,解析得到文本信息,通過科大訊飛的中文語音合成板卡XF-S4240將文本信息轉(zhuǎn)換為語音信息,并使用語音的方式傳遞給駕駛員,該方式安全保密、及時有效。
系統(tǒng)采用了多項安全技術(shù),通過加密、平臺安全強化和身份驗證等方面,來為用戶提供更高的安全性。對于系統(tǒng)的安全,主要采用了以下技術(shù)。
(1)存儲加密:該系統(tǒng)使用了HASH算法加密用戶數(shù)據(jù);系統(tǒng)為了提高加密效率。
(2)使用SSH加密協(xié)議:使用SSH加密協(xié)議,保障了系統(tǒng)在數(shù)據(jù)傳輸過程中,數(shù)據(jù)就算被截獲也不會泄露。
(3)平臺安全強化:系統(tǒng)平臺對一些關(guān)鍵區(qū)域,進行了安全強化功能,保障了用戶及平臺數(shù)據(jù)的安全。
(4)權(quán)限管理系統(tǒng):擁有一套強大的權(quán)限控制系統(tǒng),能對系統(tǒng)訪問權(quán)限進行精細化的訪問控制,從而保證了系統(tǒng)的安全性。
本系統(tǒng)采用軟件研發(fā)、物聯(lián)網(wǎng)、人工智能等技術(shù),對車輛駕駛員的駕駛行為進行檢測和分析,并利用軟件研發(fā)、人工智能、物聯(lián)網(wǎng)等技術(shù),對車輛駕駛?cè)藛T的駕駛行為進行研究和分析,并開發(fā)一套對車輛駕駛行為分析的軟件系統(tǒng),對駕駛?cè)藛T的駕駛行為及駕駛環(huán)境進行分析、識別、預警,從而降低事故發(fā)生率,保障人身財產(chǎn)安全。該項目的研究,也對城市智慧交通建設(shè)進行了有效的補充。
[1] 王暢,蔣思琦,韓依洋. 運輸車輛安全駕駛行為分析[J].現(xiàn)代商貿(mào)工業(yè),2020,41(15): 194.
[2] 謝豆,陳曉鳳,鄭嘉怡,等. 基于機器視覺的疲勞駕駛檢測系統(tǒng)[J]. 物聯(lián)網(wǎng)技術(shù),2020,10(11): 18-20.
[3] 黃麗蓉,潘雨青. 基于深度信念網(wǎng)絡的駕駛行為研究[J].計算機與數(shù)字工程,2020,48(8): 1958-1964.
[4] 王婧雯. 機動車駕駛?cè)说湫筒涣捡{駛行為分析及干預方法研究[D]. 合肥: 合肥工業(yè)大學,2020.
[5] 屈晨昕. 汽車駕駛行為遠程監(jiān)控分析系統(tǒng)的研究及應用[J]. 信息通信,2017(12): 43-45.
Design and Implementation of Driving Behavior Analysis System Based on Artificial Intelligence
This paper introduces the application of artificial intelligence technology in vehicle driving behavior analysis, studies and analyzes the driving behavior of vehicle drivers by using software research and development, artificial intelligence, Internet of things and other technologies, and develops a software system for vehicle driving behavior analysis to analyze, identify and warn the driving behavior and driving environment of drivers, so as to reduce the accident rate and ensure the safety of personal and property.
artificial intelligence; Internet of things; behavior analysis; driving behavior analysis
TP18; TP31
A
1008-1151(2022)05-0005-04
2022-02-15
廣西高校中青年教師(科研)基礎(chǔ)能力提升“基于人工智能的駕駛行為分析系統(tǒng)的研究”(2020KY30010)。
段仕浩(1982-),男,廣西南寧人,南寧職業(yè)技術(shù)學院信息系統(tǒng)項目管理師,研究方向為計算機軟件技術(shù)、人工智能技術(shù)、物聯(lián)網(wǎng)技術(shù)。