王建玲
(河南工學院 電子信息工程學院,河南 新鄉(xiāng) 453003)
關(guān)鍵字:塔式起重機;圖像識別;深度學習;異常預警
在房屋建筑、橋梁隧道等工程領(lǐng)域,塔式起重機作為重要的材料轉(zhuǎn)運設(shè)備,所發(fā)揮的關(guān)鍵作用非常大,在實際應(yīng)用中具有不可替代的作用[1-5]。
在實際的轉(zhuǎn)運過程中,塔式起重機非常容易受到各種因素的影響,例如各種類型的環(huán)境、起重機構(gòu)件的受力情況[6-11]、操作人員的熟練程度[12-15]等等。當塔式起重機缺乏有效的預警方法時,由于管理和維護不足、檢查不到位,甚至是違規(guī)作業(yè),非常容易造成嚴重的安全事故。因此,如何利用現(xiàn)有的圖像智能化技術(shù)建立有效的塔式起重機異常預警[16-22],時刻檢測塔式起重機的安全運行狀態(tài)已經(jīng)成為亟待解決的問題。
應(yīng)用圖像識別技術(shù)[23-31]可對起重機的超速、運動異常、結(jié)構(gòu)受力過大等情況進行有效的監(jiān)控和預警。本文主要針對塔式起重機違規(guī)作業(yè)、故障診斷、運行狀態(tài)檢測等問題,利用圖像識別技術(shù)來采集起重機運行圖像,智能化評估起重機的運行狀態(tài),構(gòu)建起重機預警網(wǎng)絡(luò),以增加起重機的安全性和可靠性。
圖像識別是人工智能的重要領(lǐng)域,是指利用計算機技術(shù)對圖像進行處理、分析和理解,用來識別不同類型的目標和對象的技術(shù)。智能化圖像識別技術(shù)的應(yīng)用范圍非常廣泛,例如姿態(tài)估計、人物識別、車輛識別、圖像分類等領(lǐng)域。圖像識別在實際工程中可以識別出物體運動軌跡、位置、速度、物體變形情況,在人體識別中可以通過識別人體姿態(tài)檢測人體疲勞狀況等,在檢測環(huán)境方面可以有效識別外界環(huán)境如霧雨雪天氣等。圖像識別應(yīng)用場景廣泛,成本低,效果好,可以進一步推廣到建筑設(shè)備當中,以提高設(shè)備的智能化程度和水平。
為了實現(xiàn)塔式起重機的結(jié)構(gòu)安全,基于塔式起重機的安全檢測參數(shù)選取與布置檢測點,利用實時數(shù)據(jù)采集與安全風險分類識別模型,可構(gòu)建塔式起重機的安全檢測預警模型[16-19]。通過人工巡檢獲取構(gòu)件磨損情況,使用性能損傷信息,同時利用傳感器設(shè)備獲取檢測點的實時信息,可分析得到檢測點、斷面以及整體結(jié)構(gòu)的損傷情況,并且可劃分為不同的預警等級[20-22]。塔式起重機安全檢測內(nèi)容主要有最大應(yīng)力、最大變形、溫度、載荷等。塔式起重機結(jié)構(gòu)系統(tǒng)的數(shù)值分析可以確定檢測點的分布,結(jié)合實際經(jīng)驗以及傳感器安裝可行性確定關(guān)鍵參數(shù)點布置位置。在塔式起重機的使用中,通過對應(yīng)力檢測點的檢測數(shù)值與有限元分析結(jié)果進行對比確定塔式起重機異常預警的等級。
塔式起重機的頂升是塔機施工的必要過程。受到不同負載的影響,塔機頂升時候受力情況復雜,對工作人員的技術(shù)要求較高。多數(shù)情況下,安全事故主要是由于工作人員在頂升時候操作不當和鋼架結(jié)構(gòu)受力過大造成的。
本文主要依據(jù)起重機的事故分析統(tǒng)計選取了較為合適的安全檢測點,對事故多發(fā)的位置和機構(gòu)進行視頻數(shù)據(jù)采集和實時監(jiān)控,主要分為起重機構(gòu)件圖像、環(huán)境圖像和操作人員圖像三類,如圖1所示。
圖1 塔式起重機圖像采集點分布方案
為了方便快捷地判斷塔式起重機的安全性,需要動態(tài)顯示其運行狀態(tài)參量的變化趨勢,例如起升高度、回轉(zhuǎn)角度等數(shù)據(jù)。通過統(tǒng)計塔式起重機參數(shù)運行的正常范圍,確定檢測程序中其實際參數(shù)變化閾值,變化幅度在設(shè)定的閾值內(nèi)表示安全,反之表示危險,并提出預警。
起升力矩由多個檢測參數(shù)復合表示,需要確定塔機的起升特定曲線,表達式如下:
(Q+q)×(X-r)=M
(1)
式中:Q為最大幅度的額定起重量,q為吊具系統(tǒng)重量,X為當前幅度,r為吊臂根部鉸點至回轉(zhuǎn)中心距離。
塔式起重機的金屬構(gòu)件在負載較大的作用下,關(guān)鍵部位容易產(chǎn)生疲勞損傷,甚至產(chǎn)生疲勞裂紋。為了對塔式起重機金屬構(gòu)件部位進行實時檢測,通過現(xiàn)有的損傷理論和計算的局部疲勞損傷,得到塔式起重機的安全服務(wù)年限。在忽略載荷間相互作用前提下,利用線性積累損傷理論計算當量損傷,公式如下:
(2)
基于神經(jīng)網(wǎng)絡(luò)的深度學習模型廣泛應(yīng)用于文本、圖像、視頻、語音等領(lǐng)域,具有較高的預測精度和較快的推理速度,目前已經(jīng)被擴展到很多的應(yīng)用任務(wù)當中[32]。環(huán)境圖像和操作人員圖像的處理都屬于圖像分類問題。圖像分類是計算機視覺的核心,涌現(xiàn)出許多模型,如LeNet、GooLeNet、ResNet等,在不同的階段和側(cè)面有優(yōu)秀表現(xiàn)。
模型設(shè)計包括三個步驟:模型假設(shè)、評價函數(shù)和優(yōu)化算法。模型假設(shè)是選擇一個模型結(jié)構(gòu)來在輸入和輸出之間建立聯(lián)系,參數(shù)待定。評價函數(shù)是服務(wù)于尋找最優(yōu)參數(shù)的判斷好壞的指標。優(yōu)化算法就是獲得使評價指標最優(yōu)的參數(shù)的方法。深度學習模型網(wǎng)絡(luò)參數(shù)眾多,從零開始確定參數(shù)需要海量數(shù)據(jù)和強大算力支持,這對普通用戶來講是使用優(yōu)秀模型解決問題的障礙。經(jīng)過公共海量數(shù)據(jù)庫調(diào)優(yōu)的模型參數(shù)就用來解決這個問題,在此基礎(chǔ)上,用戶只需要小批量的私有數(shù)據(jù)、普通算力就可以獲得適用的模型。
殘差網(wǎng)絡(luò)ResNet是實踐中應(yīng)用較為有效的處理圖像的網(wǎng)絡(luò)結(jié)構(gòu),常做為baseline模型使用。在本文中,以經(jīng)過ImageNet數(shù)據(jù)集訓練的ResNet50為基礎(chǔ),輸入和輸出分別為圖像和類別標簽的格式,方便網(wǎng)絡(luò)結(jié)構(gòu)進行預測和學習。
模型生成過程如圖2所示,包括六個步驟。數(shù)據(jù)處理是將收集的用戶數(shù)據(jù)分割為訓練集、驗證集和測試集,并生成各數(shù)據(jù)集的包含圖片路徑和標簽的文本文件。模型設(shè)計中導入經(jīng)過公共數(shù)據(jù)集訓練的ResNet50參數(shù)模型。訓練配置指定訓練策略。訓練過程中循環(huán)進行前向計算、損失函數(shù)計算和后向傳播計算,尋求最優(yōu)參數(shù)解。模型保存是將訓練好的模型保存成文件,在模型預測中使用,從而使訓練和預測不必在同一個設(shè)備上實現(xiàn)。
圖2 圖像分類模型生成步驟[32]
為了實現(xiàn)有效的預警,在圖像處理中,本文主要做了三方面的工作。首先是起重機構(gòu)件圖像,主要是檢測圖像中物體的變形程度、運動的速度和位置,根據(jù)檢測數(shù)據(jù)計算起重機的構(gòu)件受力情況,并且設(shè)置一個向量表示起重機構(gòu)件的狀態(tài)。其次是環(huán)境圖像,通過目前的圖像算法實現(xiàn)風力狀態(tài)、濕度和霧霾的分類與檢測,并且設(shè)置狀態(tài)參數(shù)作為網(wǎng)絡(luò)模型學習的輸入。最后是操作人員圖像,通過姿態(tài)估計算法、目標識別算法和疲勞檢測算法識別操作人員的狀態(tài),并且將這些整理好的數(shù)據(jù)輸入網(wǎng)絡(luò)進行預警歸類。由于本文中使用的圖像處理算法較多,因此我們以開源的算法為基礎(chǔ),對網(wǎng)絡(luò)模型和算法進行了改進,以更好地適用于預警任務(wù)。
圖3 圖像數(shù)據(jù)采集
為了實現(xiàn)實時監(jiān)測塔式起重機結(jié)構(gòu)安全,基于其安全監(jiān)測參數(shù)點選取與布置,利用視頻監(jiān)測數(shù)據(jù)采集與安全分析模塊,構(gòu)建塔式起重機結(jié)構(gòu)安全監(jiān)測預警模型如圖4所示。通過圖像傳感器實時獲取監(jiān)測點的信息,以這些采集圖像為輸入,對各個監(jiān)測點的狀況進行分類,得到塔式起重機構(gòu)件、環(huán)境和人員方面的分類結(jié)果。包括構(gòu)件損傷狀況、連接狀態(tài)、受力情況、連接界面、牢固性等方面的量化結(jié)果,天氣的風力、霧霾、雨雪等情況的類別,以及人員的操作狀態(tài)的分類結(jié)果。三類結(jié)果作為一個經(jīng)過學習的全連接層網(wǎng)絡(luò)的輸入,獲得對應(yīng)的預警等級。工作人員根據(jù)這些數(shù)據(jù)信息進行檢查和維修,保障設(shè)備的正常運行。
圖4 塔式起重機異常預警系統(tǒng)
預警等級包括I—IV級4個級別,整體層次劃分取決于數(shù)據(jù)變化狀況。安全人員可以根據(jù)不同的預警等級制定不同類型的應(yīng)急預案,及時排除風險。如整體預警等級達到III級時,應(yīng)立即停止作業(yè),并報安全主管部門,及時安排專業(yè)維修人員采取緊急措施,重點排查監(jiān)測數(shù)據(jù)異常區(qū)域,直至排除風險后等級穩(wěn)定到I級方可繼續(xù)作業(yè)。
本文基于深度學習網(wǎng)絡(luò)模型進行分類預測。以經(jīng)過海量公共數(shù)據(jù)集訓練的網(wǎng)絡(luò)模型為baseline,運用小批量的用戶數(shù)據(jù)對模型進行微調(diào),使之經(jīng)過小規(guī)模的訓練就可以生成適用的網(wǎng)絡(luò)模型。
如天氣狀況的分類中,以小型的五類天氣分類數(shù)據(jù)集作為輸入,采用Adam優(yōu)化器,學習率10-3,訓練遍歷5次準確率就穩(wěn)定到0.95以上。充分顯示出基于大型數(shù)據(jù)集訓練的模型經(jīng)過小批量數(shù)據(jù)調(diào)優(yōu)在確定模型參數(shù)中的效率。
疲勞壽命指具有特定材料和結(jié)構(gòu)的物體從開始到最終破壞所經(jīng)受的循環(huán)負載的次數(shù)或者是時間。一般來說,物體的疲勞壽命主要與材料的力學特性、結(jié)構(gòu)特點、施加應(yīng)力程度相關(guān)。通常來說,材料的彈性形變越好、施加的應(yīng)力越低、物體結(jié)構(gòu)越穩(wěn)定,則這種物體構(gòu)件的使用壽命越長。目前在材料領(lǐng)域,廣泛采用S-N曲線來反應(yīng)外加應(yīng)力S和疲勞壽命N之間的關(guān)系,通常曲線分為三個部分,分別是低疲勞區(qū)(LCF)、高疲勞區(qū)(HCF)和亞疲勞區(qū)(SF),曲線如圖5所示。
描述材料S-N曲線的經(jīng)驗公式:
σmN=C
(3)
mlgσ+lgN=lgC
(4)
σ=σ/KfKs
(5)
lgN=-4.04·lgσ+13.8,σ≥47.5
(6)
lgN=-5.26·lgσ+15.12,σ≤47.5
(7)
從圖6中,可以觀察到塔式起重機在重復性位移時對起重機構(gòu)件的影響。在重復性運動時,對于起重機構(gòu)件的影響始終是動態(tài)變化的過程,對應(yīng)的受力情況呈現(xiàn)周期性的變化。在小車的速度發(fā)生變化時,對應(yīng)的塔式起重機的構(gòu)件受力情況也會隨著發(fā)生變化,有隨著速度增大變大的趨勢。
圖5 材料的S-N曲線
圖6 位移和速度對起重機構(gòu)件的影響
圖7表示起重機兩構(gòu)件連接處的應(yīng)力變化趨勢,顏色越深表示受到的應(yīng)力越大。從圖中可以清楚觀察到A、C兩構(gòu)件的受力從中心向邊緣不斷減弱。
圖7 構(gòu)件連接處應(yīng)力變化情況
圖8表示模型根據(jù)收集和分類的數(shù)據(jù)進行預測的預警等級,預警等級越高說明塔式起重機的情況越差,正常情況下在I和II等級下均能正常運轉(zhuǎn)??紤]到模型最終輸出的數(shù)據(jù)為熱力圖,因此我們在標注數(shù)據(jù)時也采用熱力圖作為標簽標注模型的預警等級,設(shè)定不同類型的閾值范圍,并在超過某個范圍后進行預警提示,以便進行檢修和維護。
圖8 I—IV預警等級熱力圖
本文研究了將圖像識別技術(shù)應(yīng)用于塔式起重機預警的方法,在實驗數(shù)據(jù)上,能夠獲得精確的預警等級。本文采用了基于海量公共數(shù)據(jù)集學習的深度學習圖像分類模型作為baseline,再通過小批量用戶數(shù)據(jù)進行微調(diào),以快速獲取適用的模型進行預測。其次,本文以深度學習網(wǎng)絡(luò)模型為基礎(chǔ),根據(jù)三類圖像數(shù)據(jù)分類處理過的標簽數(shù)據(jù)來預測塔式起重機的預警等級,以提高塔式起重機的綜合效益。該工作基于國內(nèi)的開源AI平臺進行,在后續(xù)的工作中,應(yīng)將更多的深度學習技術(shù)成果運用到實際的生產(chǎn)環(huán)境中,以提高社會效益和經(jīng)濟效益。
(責任編輯王 磊)