周前飛 慶光蔚

南京市特種設(shè)備安全監(jiān)督檢驗(yàn)研究院 南京 210000

0 引言

目前，基于物聯(lián)網(wǎng)的電梯遠(yuǎn)程視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)了視頻圖像的遠(yuǎn)距離傳輸、存儲與監(jiān)視等功能，但智能化程度低、實(shí)時性差，不具備扒門、擋門、困人、蹦跳、超載等電梯異常事件及制動器、控制柜等關(guān)鍵部件故障自動檢測報警功能，普遍存在視頻資源利用率低、視頻資源共享率低、視頻大數(shù)據(jù)關(guān)聯(lián)分析率低，視頻圖像應(yīng)用效能不足等問題，難以滿足電梯動態(tài)監(jiān)管和精準(zhǔn)監(jiān)管要求。隨著5G、人工智能等新技術(shù)的發(fā)展，基于AI、邊緣計算、霧計算、云計算的嵌入式視頻物聯(lián)網(wǎng)(Internet of Video Things)技術(shù)為電梯智慧監(jiān)管提供了新手段[1]。

岳彬等[2]提出一種基于智能視覺物聯(lián)網(wǎng)的油庫人員行為識別與監(jiān)測系統(tǒng)，首先建立智能視覺物聯(lián)網(wǎng)監(jiān)測系統(tǒng)架構(gòu)，滿足信號采集、傳輸、處理與反饋需求，然后提出一種視頻語義分析模型，將人體行為識別與人臉識別進(jìn)行協(xié)同分析，實(shí)現(xiàn)對油庫作業(yè)人員行為的分析與監(jiān)測；陳智雄[3]提出了一種智慧管廊中基于視頻的異常事件預(yù)警系統(tǒng)設(shè)計與實(shí)現(xiàn)方案，該方案采用了FFmpeg（Fast Forward MPEG）、邊緣計算、深度學(xué)習(xí)和物體檢測技術(shù)，將監(jiān)控攝像頭視頻數(shù)據(jù)進(jìn)行接入和物體檢測，根據(jù)設(shè)置規(guī)則對檢測結(jié)果進(jìn)行過濾，降低了誤報的概率，實(shí)現(xiàn)了異常事件智能預(yù)警；Singla D等[4]提出一種神經(jīng)形態(tài)視覺傳感器(Neuromorphic vision sensors)，像素以異步方式觸發(fā)，從而提供更高的傳輸速率，時間分辨率和動態(tài)范圍，以及低延遲和功率；Nikita A等[5]提出一種以邊緣為中心的物聯(lián)網(wǎng)中對攝像機(jī)的并發(fā)訪問方法，設(shè)計一種適用于高效編碼視頻監(jiān)控系統(tǒng)(H.265/HEVC)的運(yùn)動估計協(xié)處理器；Perala S S N等[6]提出一種試圖平衡物聯(lián)網(wǎng)環(huán)境下相機(jī)的內(nèi)容生成率方法，例如在本地存儲、網(wǎng)絡(luò)利用和計算約束下的視頻監(jiān)控人臉識別，同時實(shí)現(xiàn)最高可能的準(zhǔn)確性；Yang S W等[7]通過協(xié)同使用視頻物聯(lián)網(wǎng)中的邊緣設(shè)備、中間網(wǎng)關(guān)、服務(wù)器或云計算平臺來高效處理連續(xù)視頻流，闡述了可視化霧計算框架的需求，并對可視化霧計算框架的實(shí)例化提出了有前景的研究方向。

紅外熱成像技術(shù)是一種非接觸式的檢測/監(jiān)測方法，不受強(qiáng)電磁干擾，不對電氣、電路設(shè)備造成損傷，可用于電氣設(shè)備故障或者運(yùn)動部件的磨損嚴(yán)重情況檢測。黃四彬[8]采用紅外熱成像儀對電梯制動器的制動器電氣回路進(jìn)行紅外熱成像分析，發(fā)現(xiàn)電梯的制動器抱閘線圈的溫度相對于相同型號和相同工況下溫度明顯過高，對電梯抱閘回路的各個因素進(jìn)行分析，以避免因電梯制動器失效引發(fā)的危險；鄭強(qiáng)[9]結(jié)合多年來電梯故障診斷經(jīng)驗(yàn)，介紹紅外熱成像技術(shù)在電梯故障診斷中的常見應(yīng)用，并重點(diǎn)分析一起電梯電腦板故障的原因，確定電腦板中的故障器件；鄭祥盤[10]闡述了基于紅外熱成像技術(shù)的電梯電氣控制系統(tǒng)檢測一般方法，并對電梯電氣系統(tǒng)元件故障紅外熱成像缺陷診斷的分析判斷方法作了研究。

紅外熱成像技術(shù)在電梯設(shè)備檢測中的應(yīng)用還處于較為初級階段，在監(jiān)測方面應(yīng)用幾乎為空白，對紅外圖像的分析診斷多依賴人工，而紅外檢測/監(jiān)測人員較少且無法滿足對海量紅外圖像的分析工作，再加上部分檢測/監(jiān)測人員的專業(yè)知識水平和監(jiān)測經(jīng)驗(yàn)積累不足，因此對缺陷的分析判斷能力較差，這大大制約了設(shè)備狀態(tài)監(jiān)測智能化水平的提升。

當(dāng)前電梯設(shè)備紅外圖像分析存在人為因素影響大、圖像分析效率低等缺點(diǎn)，單純的紅外檢測技術(shù)已經(jīng)不能滿足電梯設(shè)備檢測/監(jiān)測需求，將紅外技術(shù)與圖像處理技術(shù)、深度學(xué)習(xí)方法的結(jié)合成為了突破口。因此，本文設(shè)計了基于AI+云邊協(xié)同+5G的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，提出基于深度學(xué)習(xí)的電梯轎廂多目標(biāo)復(fù)雜模式嵌入式在線識別方法、基于紅外圖譜分析的制動器和控制柜故障預(yù)警方法，對電梯運(yùn)行狀態(tài)進(jìn)行可視化監(jiān)測和故障分析預(yù)警，降低不安全乘梯行為和關(guān)鍵部件故障引起的電梯安全隱患，實(shí)現(xiàn)報警聯(lián)動與可視化應(yīng)急指揮，避免電梯困人時自救不當(dāng)引發(fā)的次生傷害，提高電梯運(yùn)行安全性。

1 系統(tǒng)設(shè)計思想與技術(shù)路線

本文研發(fā)一套融合物聯(lián)網(wǎng)、AI、邊緣計算、云計算、5G技術(shù)的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，實(shí)現(xiàn)視頻監(jiān)控、困人故障識別、報警聯(lián)動、可視化救援、電動車進(jìn)電梯識別、不安全乘梯行為識別、開關(guān)門狀態(tài)識別、制動器和控制柜故障預(yù)警、視頻檢索、統(tǒng)計分析、態(tài)勢分析等多維功能，系統(tǒng)設(shè)計思想與技術(shù)路線如圖1所示。

圖1 系統(tǒng)設(shè)計思想與技術(shù)路線

通過電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)設(shè)計與研發(fā)，實(shí)現(xiàn)對電梯領(lǐng)域大量前端已安裝可見光攝像機(jī)及新裝紅外熱像儀的圖像采集、聯(lián)網(wǎng)傳輸、智能分析與自動報警，實(shí)現(xiàn)跨網(wǎng)絡(luò)(有線網(wǎng)、5G無線網(wǎng))的信息采集和遠(yuǎn)程管理系統(tǒng)，盡量減少對已投資的前端視頻系統(tǒng)的干擾或重構(gòu)，同時減少對后端(云平臺)的存儲和訪問壓力，可以通過軟件分析算法模型的升級和快速分發(fā)不斷適應(yīng)各種智能分析應(yīng)用要求的變化。

研究電梯場景異常事件識別與故障預(yù)警算法，并將算法移植到邊緣計算設(shè)備的嵌入式系統(tǒng)中，實(shí)現(xiàn)嵌入式視頻分析功能。建立電動車、人、制動器、轎門等目標(biāo)的圖像數(shù)據(jù)庫，構(gòu)建基于深度學(xué)習(xí)的電梯場景視頻語義分析模型，用于視頻中復(fù)雜事件的檢測和分析，主要研究內(nèi)容包括電梯困人故障識別、電動車進(jìn)電梯識別、不安全乘梯行為識別、電梯開關(guān)門狀態(tài)識別、制動器故障識別、控制柜故障識別等，并采取相關(guān)處置措施，及時排除事故隱患，減少困人故障自救不當(dāng)引起的次生傷害，將故障信息和樓層信息傳輸?shù)胶蠖嗽破脚_，并反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在萌芽狀態(tài)。

將本項(xiàng)目研究的算法、方法工具化和云化，并基于中臺理念將數(shù)據(jù)、AI算法、基礎(chǔ)業(yè)務(wù)能力進(jìn)行中臺化封裝，以實(shí)現(xiàn)功能的有效整合和匯聚，建設(shè)面向?qū)嶋H應(yīng)用的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，作為NJ智慧電梯平臺的視頻AI模塊。其中，數(shù)據(jù)中臺功能是構(gòu)建原始視頻數(shù)據(jù)庫、人體數(shù)據(jù)庫、電動車數(shù)據(jù)庫、以及制動器、控制柜紅外熱像數(shù)據(jù)庫等圖像數(shù)據(jù)庫；業(yè)務(wù)中臺對所有視頻智能分析網(wǎng)關(guān)設(shè)備進(jìn)行統(tǒng)一配置、策略統(tǒng)一分發(fā)，能對各個網(wǎng)關(guān)運(yùn)行狀態(tài)實(shí)時監(jiān)控，能接收并存儲報警信息，并提供觸發(fā)報警場景的圖片和短視頻，為事后取證提供依據(jù)，包含視頻檢索、數(shù)據(jù)挖掘、可視化分析等算法，實(shí)現(xiàn)視頻大數(shù)據(jù)的云端處理；AI中臺具有AI智能算法調(diào)度功能，包括系統(tǒng)加載具體哪種類型的AI智能算法、前端感知設(shè)備植入具體哪種類型的AI智能算法、遠(yuǎn)程設(shè)置算法模型參數(shù)等。

2 關(guān)鍵技術(shù)

2.1 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)

如圖2所示，通過設(shè)計邊緣智能分析網(wǎng)關(guān)，實(shí)現(xiàn)電梯領(lǐng)域大量前端已安裝攝像機(jī)及新裝紅外熱像儀視頻數(shù)據(jù)采集，同時加載深度學(xué)習(xí)AI識別算法，通過邊緣計算進(jìn)行AI智能分析，從視頻、圖片中提取人員、物（轎門、電動車、制動器、控制柜）、行為（扒門、蹦跳等）、特征（如控制柜的異常發(fā)熱點(diǎn)）等結(jié)構(gòu)化數(shù)據(jù)，識別電梯場景下的各種異常事件或故障信息進(jìn)行在線實(shí)時報警，并將檢測結(jié)果（文本形式結(jié)構(gòu)化數(shù)據(jù)）、圖片以及小視頻經(jīng)5G通信網(wǎng)絡(luò)傳輸至后端云平臺，極大程度上減小了后端云平臺的傳輸、訪問、處理和存儲負(fù)擔(dān)，有效降低網(wǎng)絡(luò)延遲與視頻數(shù)據(jù)的傳輸量，為視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸?shù)於嘶A(chǔ)。涉及智能視頻分析網(wǎng)關(guān)的硬件配置、算法的嵌入式移植、Agent(代理)程序設(shè)計、智能化聯(lián)網(wǎng)方法等內(nèi)容。

圖2 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)硬件配置

在網(wǎng)關(guān)上設(shè)計一個Agent(代理)程序，對網(wǎng)關(guān)的分析能力及分析策略進(jìn)行遠(yuǎn)程管理和調(diào)度，與后端云平臺通信進(jìn)行分析模型的遠(yuǎn)程更新、分析策略和參數(shù)統(tǒng)一配置、視頻源與分析運(yùn)算調(diào)度、分析結(jié)果和監(jiān)控數(shù)據(jù)存儲管理和上傳等；具有視頻質(zhì)量檢測功能，將攝像機(jī)不在線、網(wǎng)絡(luò)不通、信號丟失、黑屏等異常情況實(shí)時記錄。為適應(yīng)已安裝攝像頭的各種前端網(wǎng)絡(luò)情況，根據(jù)國標(biāo)GB/T 28181—2016《公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》、Onvif（開放型網(wǎng)絡(luò)視頻接口）協(xié)議以及設(shè)備SDK（軟件開發(fā)工具包）開發(fā)接口和協(xié)議，采用單設(shè)備接入和智能化網(wǎng)絡(luò)接入等多種接入手段，實(shí)現(xiàn)跨網(wǎng)絡(luò)(有線網(wǎng)、5G無線網(wǎng)、Wi fi等)的信息采集?；谶吘売嬎?、AI技術(shù)實(shí)現(xiàn)終端設(shè)備視頻數(shù)據(jù)的嵌入式在線智能分析，結(jié)合5G Mmtc高帶寬、低延時、大規(guī)模低功耗聯(lián)網(wǎng)特性，通過全新的智能化聯(lián)網(wǎng)設(shè)計，在嵌入式在線數(shù)據(jù)處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸難題。

2.2 電梯場景異常事件識別與故障預(yù)警算法研究

研究與電梯安全直接相關(guān)的異常乘梯行為和故障狀態(tài)智能識別算法，實(shí)現(xiàn)電梯困人故障識別、電動車進(jìn)電梯識別、不安全乘梯行為識別、電梯開關(guān)門狀態(tài)識別、制動器和控制柜故障識別等，并進(jìn)行自動報警、語音提示等相關(guān)處置措施，主要包括幾個方面內(nèi)容：

1）乘客不安全乘梯行為及困人故障監(jiān)測與識別研究雙流CNN網(wǎng)絡(luò)、3D卷積、LSTM網(wǎng)絡(luò)、SSD、YOLOv3、Faster R-CNN、R-FCN等深度神經(jīng)卷積網(wǎng)絡(luò)算法，利用電梯場景關(guān)鍵目標(biāo)數(shù)據(jù)集對算法網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測試，實(shí)現(xiàn)電梯困人故障、電動車進(jìn)電梯行為以及乘客扒門、蹦跳、異常倒地（摔倒）、小朋友單獨(dú)乘梯等不安全乘梯行為在線識別；通過人臉、人形的區(qū)域計數(shù)算法和絆線統(tǒng)計人流量算法，捕捉電梯載客流量、載客人數(shù)，識別電梯超載行為。

當(dāng)識別出困人故障或人員異常倒地時，自動連通96333應(yīng)急處置平臺進(jìn)行報警呼救，傳輸視頻數(shù)據(jù)到96333平臺，自動啟動雙向語音對講，以便工作人員進(jìn)行語音安撫和救援調(diào)度，提高應(yīng)急處置與救援能力；當(dāng)識別出乘客扒門行為時，進(jìn)行語音勸阻，防止扒門引起的墜落事故發(fā)生，起到事故預(yù)防作用；當(dāng)識別出超載和蹦跳行為時，進(jìn)行語音勸阻，降低安全隱患；當(dāng)識別出電動車進(jìn)電梯或小朋友單獨(dú)乘梯時，自動進(jìn)行語音阻攔警告，并實(shí)時將檢測結(jié)果反饋給后臺，方便物業(yè)監(jiān)督管理，加強(qiáng)電梯使用監(jiān)管。

2）電梯開關(guān)門狀態(tài)監(jiān)測與故障識別 通過背景減法、形態(tài)學(xué)膨脹和腐蝕、閾值分割等圖像處理方法，實(shí)時檢測電梯開關(guān)門運(yùn)行狀態(tài)，考慮開關(guān)門過程時間因素，識別開關(guān)門失靈、物體或人長期擋門、門區(qū)逗留、非平層區(qū)域開門等故障。例如當(dāng)識別出電梯非平層區(qū)域開門時，第一時間進(jìn)行語音提醒和自動報警，防止人員從轎廂與井道之間間隙墜入井道；同時，提取樓層顯示屏區(qū)域圖像，通過支持向量機(jī)模型識別所在樓層信息，將故障信息和樓層信息傳輸?shù)胶蠖嗽破脚_，并反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在初始狀態(tài)。

3）制動器紅外監(jiān)測與故障預(yù)警 采用數(shù)值模擬的方法對曳引式電梯制動熱機(jī)耦合過程進(jìn)行分析，建立不同類型制動摩擦導(dǎo)致的閘瓦溫度變化理論計算模型；采用紅外熱成像技術(shù)對制動器摩擦部件、電磁線圈進(jìn)行發(fā)熱量方面的監(jiān)測，提取帶閘運(yùn)行、制動力不足（制動閘瓦磨損導(dǎo)致抱閘間隙變大、制動摩擦面表面油污等因素引起）、制動器卡阻等故障的紅外熱圖特征，建立不同結(jié)構(gòu)形式電梯制動器的典型故障特征圖譜，采用特征圖譜聚類法對帶閘運(yùn)行、制動力不足、制動器卡阻等故障進(jìn)行預(yù)警。

4）電梯控制柜紅外監(jiān)測與故障預(yù)警 利用紅外熱像儀對機(jī)房控制柜進(jìn)行監(jiān)測，研究相對溫差判斷法、同類比較判斷法和圖像特征判斷法等故障診斷方法，對控制柜接線端子接觸不良、繼電器觸點(diǎn)粘連、變頻器過壓故障、電路板元器件故障等電氣設(shè)備缺陷和異常情況進(jìn)行識別和預(yù)警，例如通過監(jiān)測門鎖回路接線端子發(fā)熱量對層門或轎門異物卡阻、門鎖繼電器粘連等故障進(jìn)行識別等，實(shí)現(xiàn)電梯門控制系統(tǒng)故障的檢測、診斷和預(yù)判。

2.3 電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)設(shè)計與構(gòu)建

考慮開放性、擴(kuò)展性和兼容性原則，采用基礎(chǔ)設(shè)施層、平臺層、應(yīng)用層、交互層的分層架構(gòu)模式，設(shè)計高可靠性的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，實(shí)現(xiàn)困人故障識別、報警聯(lián)動、可視化應(yīng)急指揮救援、電動車進(jìn)電梯識別、不安全乘梯行為識別、開關(guān)門狀態(tài)識別、制動器和控制柜故障預(yù)警，以及視頻檢索、統(tǒng)計分析、態(tài)勢分析等多維功能，系統(tǒng)總體架構(gòu)如圖3所示。

圖3 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)硬件配置

1）基礎(chǔ)設(shè)施層 基礎(chǔ)設(shè)施層是系統(tǒng)的物理層，包括用于轎廂監(jiān)控的可見光攝像機(jī)、用于制動器、控制柜監(jiān)測的紅外熱像儀等終端感知設(shè)備，邊緣計算智能視頻分析網(wǎng)關(guān)、云計算設(shè)備、5G通信網(wǎng)絡(luò)、安全設(shè)備、存儲設(shè)備及其虛擬化、資源池、云服務(wù)器等基礎(chǔ)設(shè)施，以及數(shù)據(jù)機(jī)房、應(yīng)急處置指揮控制中心等配套設(shè)施。

2）平臺層 將數(shù)據(jù)、AI算法、基礎(chǔ)業(yè)務(wù)能力進(jìn)行中臺化封裝，為應(yīng)用層和交互層等提供服務(wù)。數(shù)據(jù)中臺包括數(shù)據(jù)源、數(shù)據(jù)引擎、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)、數(shù)據(jù)運(yùn)維監(jiān)控等模塊。業(yè)務(wù)中臺為系統(tǒng)的基礎(chǔ)業(yè)務(wù)智能管理中心，包括網(wǎng)關(guān)管理、用戶管理、權(quán)限管理、日志管理、報警聯(lián)動、電視墻控制、視頻點(diǎn)播、視頻預(yù)覽、錄像回放、視頻檢索、統(tǒng)計分析、態(tài)勢分析等功能模塊。AI中臺包括算法倉庫和調(diào)度引擎等功能模塊，打造視頻智能解析、乘客行為識別、電梯故障預(yù)警等業(yè)務(wù)。

3）應(yīng)用層 應(yīng)用層依托平臺層，作為系統(tǒng)應(yīng)用功能的統(tǒng)一入口，為電梯安全監(jiān)管部門、應(yīng)急處置中心、檢驗(yàn)機(jī)構(gòu)、使用和維保單位，提供基于視頻、圖片和人體、電動車、轎門、制動器、控制柜結(jié)構(gòu)化數(shù)據(jù)及模型數(shù)據(jù)的視頻智能應(yīng)用服務(wù)，開發(fā)電梯困人故障識別、電動車進(jìn)電梯識別、不安全乘梯行為識別、開關(guān)門狀態(tài)識別、制動器故障識別、控制柜故障識別、可視化應(yīng)急救援指揮調(diào)度等功能模塊。

4）交互層 開發(fā)與電梯使用單位、維保作業(yè)人員、檢驗(yàn)檢測人員、應(yīng)急處置人員、安全監(jiān)管人員進(jìn)行交互的智能終端，包括PC網(wǎng)絡(luò)平臺終端、大屏展示終端、應(yīng)急處置指揮控制終端，用于展示電梯的運(yùn)行狀態(tài)、監(jiān)測預(yù)警和可視化應(yīng)急指揮。

基于J2EE開發(fā)平臺和開源框架springMVC，配置Apache Tomcat服務(wù)器，選用Echarts，GIS等開源工具，利用Java開發(fā)語言完成電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)研發(fā)。研究視頻大數(shù)據(jù)統(tǒng)計分析與檢索方法，基于 AI 智能化分析技術(shù)，從視頻資源中提取人、車、物、行為等結(jié)構(gòu)化數(shù)據(jù)，通過大數(shù)據(jù)平臺關(guān)聯(lián)分析處理，形成可視化結(jié)果進(jìn)行呈現(xiàn)。云平臺檢索視頻錄像信息時，向視頻云存儲子系統(tǒng)管理服務(wù)器發(fā)送文字檢索指令，管理服務(wù)器查詢本地數(shù)據(jù)庫后直接將檢索信息發(fā)送到云平臺。支持對接入的大量視頻數(shù)據(jù)資源進(jìn)行存儲和管理，對音視頻錄像進(jìn)行分類并設(shè)計高效存儲格式，主要分為：實(shí)時視頻數(shù)據(jù)云存儲、異常行為和設(shè)備故障視頻云存儲、重要數(shù)據(jù)云存儲。

3 結(jié)語

本文提出了基于AI+云邊協(xié)同+5G的電梯高可靠性視頻物聯(lián)網(wǎng)智能雙光監(jiān)測方法，基于邊緣計算、AI技術(shù)實(shí)現(xiàn)終端可見光、紅外視頻數(shù)據(jù)的嵌入式在線智能分析，結(jié)合5G Mmtc高帶寬、低延時、大規(guī)模低功耗聯(lián)網(wǎng)特性，通過全新的智能化聯(lián)網(wǎng)設(shè)計，在嵌入式在線數(shù)據(jù)處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸難題。提出了基于深度學(xué)習(xí)的電梯轎廂多目標(biāo)復(fù)雜模式嵌入式在線識別方法，包含人、電動車、轎門等多種目標(biāo)的復(fù)雜模式類型，在線識別出電梯轎廂場景下的各種不安全行為和故障狀態(tài)，包括電動車進(jìn)電梯、扒門、超載、蹦跳、摔倒（異常倒地）、小朋友單獨(dú)乘梯等不安全乘梯行為識別，電梯困人、轎廂開關(guān)門失靈、長期擋門、門區(qū)逗留、非平層區(qū)域開門等異常事件識別，實(shí)現(xiàn)報警聯(lián)動和可視化應(yīng)急救援指揮。提出了基于紅外圖譜分析的制動器和控制柜故障預(yù)警方法，分析曳引式電梯制動熱機(jī)耦合過程，建立不同結(jié)構(gòu)形式電梯制動器的典型故障特征圖譜，采用特征圖譜聚類法對帶閘運(yùn)行、制動力不足、制動器卡阻等故障進(jìn)行預(yù)警；采用相對溫差判斷法、同類比較判斷法和圖像特征判斷法，對控制柜接線端子接觸不良、繼電器觸點(diǎn)粘連、變頻器過壓故障、電路板元器件故障等電氣設(shè)備缺陷和異常情況進(jìn)行識別和預(yù)警。設(shè)計了電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，可以在線識別不安全乘梯行為和困人故障進(jìn)行自動報警，并采取相關(guān)處置措施，減少困人故障自救不當(dāng)引起的次生傷害，同時將故障信息反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在初始狀態(tài)，可以全面提升本區(qū)域電梯安全防范處置能力、使用與維保管理質(zhì)量，為高層次、全局性的分析決策提供數(shù)據(jù)支撐。