陳 彥,李 樊,王 治,王 輝
(中國鐵道科學(xué)研究院 電子計算技術(shù)研究所,北京 100081)
在動車組檢修作業(yè)過程中,檢修人員需要掌握眾多的信息才能進行作業(yè),如被維修部件內(nèi)部結(jié)構(gòu)、維修方法及標(biāo)準(zhǔn)等。由于動車組結(jié)構(gòu)復(fù)雜,部件設(shè)備精密,單純依靠維修培訓(xùn)不能解決員工“學(xué)時不能用,用時不能學(xué)”和“遺忘曲線”的困境。檢修人員也無法記住每個操作細(xì)節(jié)或認(rèn)識每個零部件,即使記憶超強,也不能保證持續(xù)規(guī)范操作,因此需要借助檢修作業(yè)指導(dǎo)加以引導(dǎo)。
目前,動車組管理信息系統(tǒng)實現(xiàn)了動車組檢修作業(yè)指導(dǎo)電子化管理,檢修人員可以通過工位機、智能手持終端查詢作業(yè)指導(dǎo)書等相關(guān)信息,但這種方式不能解放檢修人員雙手,無法邊作業(yè)邊查看指導(dǎo)信息。同時,現(xiàn)有的檢修作業(yè)指導(dǎo)主要依靠文字和圖片作為展示手段,不夠直觀生動。為此,需要研究新方法和新技術(shù)來解決現(xiàn)有作業(yè)指導(dǎo)方式存在的問題。
增強現(xiàn)實技術(shù)(AR,Augmented Reality Technique),是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的新技術(shù),這種技術(shù)是在屏幕上把虛擬信息疊加在現(xiàn)實世界并進行互動。它能夠?qū)⒂嬎銠C生成的虛擬物體、場景或提示等信息疊加到真實場景中,從而實現(xiàn)對現(xiàn)實世界的“增強”。同時,由于其與真實世界的聯(lián)系并未被切斷,因此交互方式也就顯得更加真實、自然[1]。增強現(xiàn)實用戶可以佩戴智能眼鏡,透過它能夠看到整個真實的世界,由計算機生成的虛擬信息投射到智能眼鏡上,給人造成一種真實世界與虛擬世界相結(jié)合的增強現(xiàn)實環(huán)境。這種增強的信息可以是在真實環(huán)境中與之共存的虛擬物體,也可以是實際存在物體的相關(guān)信息(文字、圖片等)。
增強現(xiàn)實技術(shù)已在多個領(lǐng)域得到了應(yīng)用,文獻[2]對虛擬現(xiàn)實技術(shù)在數(shù)字營銷、數(shù)字出版、移動導(dǎo)覽、設(shè)計與仿真、物聯(lián)網(wǎng)等領(lǐng)域的應(yīng)用進行了綜述;文獻[3]對增強現(xiàn)實技術(shù)在智慧城市導(dǎo)覽的應(yīng)用進行了研究;文獻[4]將增強現(xiàn)實技術(shù)應(yīng)用于軍事裝備維修和模擬訓(xùn)練中,對增強現(xiàn)實技術(shù)在軍事裝備和模擬訓(xùn)練中的軍事需求、應(yīng)用前景、實現(xiàn)方法和關(guān)鍵環(huán)節(jié)進行了分析。
本文對動車組檢修作業(yè)指導(dǎo)需求進行分析,提煉需要展示的信息;設(shè)計基于增強現(xiàn)實技術(shù)的動車組檢修作業(yè)系統(tǒng)。對于利用文字圖片展示復(fù)雜檢修工序不夠直觀的問題,提出利用增強現(xiàn)實技術(shù)進行展示的方案。
(1)部件信息
部件信息包括基本信息、結(jié)構(gòu)信息和三維模型?;拘畔ú考男蛄刑?、類型、生產(chǎn)廠家、生產(chǎn)日期和走行里程等,結(jié)構(gòu)信息包括子部件位置名稱、各位置對應(yīng)子部件序列號、走行時間和走行里程信息。
通過部件基本信息,檢修人員可以識別部件的身份,并根據(jù)每日的檢修作業(yè)安排進行作業(yè),生產(chǎn)日期和走行里程可以幫助檢修人員確認(rèn)部件需要執(zhí)行哪些維修項目。結(jié)構(gòu)信息幫助檢修人員了解部件的子部件信息,并通過子部件的運用情況判斷是否需要更換子部件。部件三維模型幫助檢修人員更為直觀地了解部件的內(nèi)部結(jié)構(gòu),便于檢修人員進行部件的拆卸和組裝作業(yè)。
目前動車組管理信息系統(tǒng)實現(xiàn)了部件信息的管理,因此可以通過與動車組管理信息系統(tǒng)的接口獲取部件信息并進行展示。
(2)作業(yè)任務(wù)
車間調(diào)度制定當(dāng)日的作業(yè)計劃后,檢修人員需要查看今天的作業(yè)任務(wù),以便于按照計劃進行作業(yè)。
(3)工藝卡片
工藝卡片是檢修工序的作業(yè)標(biāo)準(zhǔn),用于指導(dǎo)檢修人員進行規(guī)范作業(yè),也稱之為作業(yè)指導(dǎo)書。每道檢修工序均有對應(yīng)的工藝卡片,主要包括各作業(yè)步驟的作業(yè)標(biāo)準(zhǔn)、注意事項和相應(yīng)的圖示。動車組交互式電子技術(shù)手冊管理系統(tǒng)已實現(xiàn)了工藝卡片的標(biāo)準(zhǔn)化管理,系統(tǒng)應(yīng)將動車組管理信息系統(tǒng)與動車組交互式電子技術(shù)手冊管理系統(tǒng)的相關(guān)信息進行結(jié)合,根據(jù)檢修進度顯示當(dāng)前檢修工序的工藝卡片,提高作業(yè)指導(dǎo)的便捷性。
目前,檢修作業(yè)指導(dǎo)工作使用的筆記本電腦、工位終端、智能手機、平板電腦等傳統(tǒng)硬件平臺,檢修人員需要查詢相關(guān)信息時,必須停下檢修工作,無法做到邊檢修邊看指導(dǎo)信息的目的,為此需要采用新的硬件平臺。
智能眼鏡像智能手機一樣,具有獨立的操作系統(tǒng),可以安裝軟件,通過語音和手勢識別進行交互。與傳統(tǒng)的工位機、智能手持終端相比,檢修人員可以佩戴智能眼鏡,在進行檢修作業(yè)的同時查看作業(yè)指導(dǎo)信息,提高作業(yè)指導(dǎo)的效率和便捷性。
基于增強現(xiàn)實技術(shù)的動車組檢修作業(yè)指導(dǎo)系統(tǒng)架構(gòu)如圖1所示。
(1)基礎(chǔ)設(shè)施層。基礎(chǔ)設(shè)施層主要是系統(tǒng)運行所需的各類基礎(chǔ)軟硬件,硬件包括服務(wù)器、存儲設(shè)備、前端設(shè)備等;軟件包括操作系統(tǒng)、存儲管理軟件等。
(2)數(shù)據(jù)層。數(shù)據(jù)層主要功能是數(shù)據(jù)的存儲,與動車組管理信息系統(tǒng)、動車組交互式電子技術(shù)手冊的數(shù)據(jù)接口獲取需要展示的信息。
(3)應(yīng)用中間件層。應(yīng)用中間件層包括支撐系統(tǒng)應(yīng)用功能而開發(fā)的或者第三方的組件,主要有3D引擎,計算機視覺組件,基礎(chǔ)類庫。3D引擎實現(xiàn)部件3D模型以及虛擬3D動畫的展示,計算機視覺組件實現(xiàn)圖片識別,基礎(chǔ)類庫包括系統(tǒng)開發(fā)所需的一些常用組件。
(4)系統(tǒng)應(yīng)用層。根據(jù)需求分析,系統(tǒng)應(yīng)用層主要由部件信息、作業(yè)任務(wù)和作業(yè)指導(dǎo)3個功能組成,用于指導(dǎo)檢修人員進行作業(yè)。
圖1 系統(tǒng)架構(gòu)
基于檢修作業(yè)指導(dǎo)需求分析,圍繞檢修作業(yè)指導(dǎo)所需要的部件信息、作業(yè)任務(wù)和工藝卡片信息,設(shè)計以下應(yīng)用功能:
(1)部件信息。系統(tǒng)通過掃描二維碼來識別部件的身份信息,利用部件身份信息(部產(chǎn)品標(biāo)識碼和序列號),通過與動車組管理信息系統(tǒng)接口獲取部件的基本信息和結(jié)構(gòu)信息,并進行展示。根據(jù)部件類型,調(diào)取相應(yīng)三維模型進行展示。
(2)作業(yè)任務(wù)。通過與動車組管理信息系統(tǒng)的接口,根據(jù)工位ID獲取工位當(dāng)日的作業(yè)任務(wù)信息,并進行展示。工位ID可通過智能眼鏡MAC地址與工位的對應(yīng)關(guān)系獲得。
(3)作業(yè)指導(dǎo)。系統(tǒng)通過掃描部件二維碼,獲取部件身份信息后,根據(jù)部件身份信息利用與動車組管理信息系統(tǒng)(EMIS)的接口,獲取部件正在執(zhí)行的檢修工序ID,通過檢修工序ID可從動車組交互式電子技術(shù)手冊管理系統(tǒng)(IETM)獲取對應(yīng)的工藝卡片,將工藝卡片按作業(yè)步驟順序,顯示各作業(yè)步驟的作業(yè)標(biāo)準(zhǔn)、注意事項和相關(guān)圖示信息。其實現(xiàn)流程如圖2所示。
2.3.1 與動車組管理信息系統(tǒng)的接口
圖2 工藝卡片展示實現(xiàn)流程
通過部件序列號和產(chǎn)品標(biāo)識碼,從動車組管理信息系統(tǒng)獲取部件的類型、生產(chǎn)日期、生產(chǎn)廠家、子部件名稱及對應(yīng)的部件序列號、正在執(zhí)行的檢修工序信息。根據(jù)需求,分為獲取部件基本信息、結(jié)構(gòu)信息、檢修工序3個方法,并通過WebService方式實現(xiàn)。
2.3.2 與動車組交互式電子技術(shù)手冊管理系統(tǒng)的接口
動車組交互式電子技術(shù)手冊管理系統(tǒng)按S1000D標(biāo)準(zhǔn)以XML形式管理工藝卡片。通過檢修工序ID從動車組交互式電子技術(shù)手冊管理系統(tǒng)中獲取工藝卡片,有兩種實現(xiàn)方式:
(1)同步方式。通過檢修工序ID從動車組交互式電子技術(shù)手冊管理系統(tǒng)中查找相關(guān)的工藝卡片XML文件,解析XML文件提取、作業(yè)步驟、作業(yè)標(biāo)準(zhǔn)、注意事項和相關(guān)圖示信息,然后傳輸給系統(tǒng)進行展示。這種方式需要進行XML文件檢索、解析、信息傳輸,效率不高,響應(yīng)速度不快,影響用戶體驗。
(2)異步方式。在系統(tǒng)數(shù)據(jù)庫中建立工藝卡片相關(guān)數(shù)據(jù)表,當(dāng)工藝卡片有新版本時,由動車組交互式電子技術(shù)手冊管理系統(tǒng)按照約定的規(guī)則,從工藝卡片XML文件中提取相關(guān)信息后,推送到系統(tǒng)相關(guān)數(shù)據(jù)表中。展示時系統(tǒng)直接從數(shù)據(jù)庫中提取數(shù)據(jù),這種方式相較于同步方式,避免了重復(fù)的XML文件檢索、解析、信息傳輸?shù)?,效率更高,響?yīng)速度更快。
對于復(fù)雜的檢修工序,提出基于圖片標(biāo)識的工藝卡片增強現(xiàn)實展示方案。將檢修工序圖片作為圖片標(biāo)識(稱為marker),通過實時獲取攝像頭的圖像并與檢修工序圖片進行特征對比進行圖像識別,在完成圖像識別后,通過計算攝像頭的位置和朝向,確定在攝像頭圖像上繪制檢修作業(yè)三維虛擬動畫的空間坐標(biāo),利用3D引擎將檢修作業(yè)三維虛擬動畫疊加到真實的維修部件上,并配以相關(guān)文字說明,實現(xiàn)基于增強現(xiàn)實的檢修作業(yè)指導(dǎo)。通過該功能,用戶可以從智能眼鏡中看到檢修工序各作業(yè)步驟的三維動畫以及相關(guān)文字說明,較傳統(tǒng)方式更為直觀。
具體實現(xiàn)流程如圖3所示。
圖3 工藝卡片增強現(xiàn)實展示實現(xiàn)流程
本文對增強現(xiàn)實技術(shù)在動車組檢修作業(yè)指導(dǎo)中的應(yīng)用進行研究,對動車組檢修過程中的作業(yè)指導(dǎo)需求進行分析,歸納總結(jié)出部件信息、作業(yè)任務(wù)、工藝卡片三類需求,在此基礎(chǔ)上,設(shè)計系統(tǒng)架構(gòu)、功能架構(gòu)和系統(tǒng)接口,設(shè)計了基于圖片標(biāo)識的復(fù)雜檢修工序工藝卡片AR展示方案。該方案可解決現(xiàn)有檢修作業(yè)指導(dǎo)中存在的檢修人員無法邊作業(yè)邊查看指導(dǎo)信息以及信息顯示不直觀的問題。
[1]朱淼良, 姚 遠(yuǎn), 蔣云良.增強現(xiàn)實綜述[J].中國圖形圖像學(xué)報,2004,9(7):767-774.
[2]羅 斌,王涌天,沈 浩,等.增強現(xiàn)實混合跟蹤技術(shù)綜述[J].自動化學(xué)報,2013,39(8):1185-1201.
[3]吳 帆,張 亮.增強現(xiàn)實技術(shù)發(fā)展及應(yīng)用綜述[J].電腦知識與技術(shù),2012(12):8319-8325.
[4]張運超,陳 靖,王涌天,等.基于移動增強現(xiàn)實的智慧城市導(dǎo)覽[J].計算機研究與發(fā)展,2014,51(2):302-310.
[5]陳玉文.增強現(xiàn)實技術(shù)及其在軍事裝備和模擬訓(xùn)練中的應(yīng)用研究[J].系統(tǒng)仿真學(xué)報,2013,25(S1),258-262.
[6]張惟皎,賈志凱.動車組運用檢修信息化管理探討[J].鐵路計算機應(yīng)用,2013,22(1):5-9.
[7]王 輝,張惟皎,王 治.動車段動車組管理信息系統(tǒng)架構(gòu)設(shè)計與關(guān)鍵技術(shù)分析[J].鐵路計算機應(yīng)用,2013,22(1):13-16.
[8]王 輝,張惟皎,李 樊,等.基于S1000D的動車組技術(shù)信息結(jié)構(gòu)化方法[J].中國鐵路,2016(2):27-31.