陳 誠(chéng)，魯媛媛，何昆侖*，吳博軒，張 浩，肖若秀*，王志良

（1.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京100083；2.解放軍總醫(yī)院，北京100853）

0 引言

2020 年3 月12 日，世界衛(wèi)生組織（World Health Organization，WHO）宣布，新型冠狀病毒肺炎（COVID-19）成為全球大流行疾病[1]。迄今為止，COVID-19 已蔓延到世界上大多數(shù)國(guó)家，已經(jīng)有數(shù)百萬(wàn)確診病例和數(shù)十萬(wàn)死亡病例[2]。盡管我國(guó)已經(jīng)基本控制了疫情，但仍然有持續(xù)增長(zhǎng)的輸入性病例，尤其是近期部分地區(qū)由低風(fēng)險(xiǎn)區(qū)逐漸轉(zhuǎn)變?yōu)橹酗L(fēng)險(xiǎn)區(qū)，甚至是高風(fēng)險(xiǎn)區(qū)[3-4]，抗疫仍是當(dāng)前面臨的重要問(wèn)題。疫情期間，中國(guó)醫(yī)療隊(duì)不斷前往國(guó)內(nèi)外疫區(qū)，為當(dāng)?shù)氐目挂吖ぷ髯龀隽藢氋F貢獻(xiàn)，但是全世界的醫(yī)療資源仍然十分緊張。同時(shí)，由于COVID-19 傳播性和感染性極強(qiáng)，做好衛(wèi)生防范以防止交叉感染是一項(xiàng)重要的課題[5-7]?；谏鲜霰尘埃绾螠p少直接接觸、提供有效的救援指導(dǎo)已成為當(dāng)前最為迫切的需求[8-9]。

遠(yuǎn)程指導(dǎo)作為非接觸式診療方式，成為疫情期間廣泛應(yīng)用的救援手段。然而現(xiàn)有的系統(tǒng)主要以遠(yuǎn)程視頻的方式進(jìn)行指導(dǎo)[10]，無(wú)法滿(mǎn)足交互式和沉浸式的需求。增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）技術(shù)是一種將虛擬環(huán)境信息與真實(shí)環(huán)境信息相互融合的創(chuàng)新技術(shù)，其利用計(jì)算機(jī)生成的虛擬文字、圖像等虛擬環(huán)境信息和真實(shí)環(huán)境信息相互融合，實(shí)現(xiàn)虛擬環(huán)境與真實(shí)環(huán)境的信息資源互補(bǔ)。AR 技術(shù)因其可以有效實(shí)現(xiàn)各種超現(xiàn)實(shí)的視覺(jué)感官體驗(yàn)，如今被越來(lái)越廣泛地應(yīng)用于臨床醫(yī)學(xué)研究領(lǐng)域[11-12]。例如，Dixon 等[13]建立了一套LIVE-IGS 顱底手術(shù)導(dǎo)航系統(tǒng)，結(jié)合實(shí)時(shí)跟蹤消融、關(guān)鍵結(jié)構(gòu)接近警報(bào)、三維圖像渲染技術(shù)，能夠?qū)B內(nèi)信息準(zhǔn)確、直觀地反饋給醫(yī)生；Robu等[14]將術(shù)前三維虛擬圖像與畸變校正后的腔鏡真實(shí)圖像匹配、融合并渲染，使腔鏡圖像與三維虛擬圖像二者實(shí)時(shí)、同步地顯示于腔鏡顯示器上。為應(yīng)對(duì)COVID-19 疫情，本研究設(shè)計(jì)了一套AR 遠(yuǎn)程指導(dǎo)系統(tǒng)，可以實(shí)現(xiàn)醫(yī)學(xué)專(zhuān)家對(duì)臨床操作的遠(yuǎn)程參與和實(shí)時(shí)指導(dǎo)。不同于傳統(tǒng)的局限于遠(yuǎn)程視頻的指導(dǎo)系統(tǒng)，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)可以為那些缺乏醫(yī)學(xué)專(zhuān)家和專(zhuān)科醫(yī)師的一線(xiàn)救援現(xiàn)場(chǎng)提供一種新型的遠(yuǎn)程會(huì)診診療模式，有效實(shí)現(xiàn)醫(yī)學(xué)專(zhuān)家對(duì)臨床操作的遠(yuǎn)程直接參與和實(shí)時(shí)指導(dǎo)，在一定程度上提升了臨床救治的工作效率。

1 系統(tǒng)設(shè)計(jì)

AR 遠(yuǎn)程指導(dǎo)系統(tǒng)包含服務(wù)器端和客戶(hù)端2 個(gè)部分，基本架構(gòu)如圖1 所示。其中，服務(wù)器端采用云服務(wù)器，主要負(fù)責(zé)控制信息的管理和視頻流數(shù)據(jù)的傳輸；客戶(hù)端分為指導(dǎo)端和被指導(dǎo)端。信息管理的內(nèi)容包括會(huì)議信息的存儲(chǔ)和管理，例如會(huì)議名稱(chēng)、會(huì)議密碼、會(huì)議內(nèi)部的網(wǎng)絡(luò)流地址等；視頻流數(shù)據(jù)的傳輸用于對(duì)接指導(dǎo)端和被指導(dǎo)端傳輸?shù)囊曨l流，使客戶(hù)端可以通過(guò)網(wǎng)絡(luò)流地址接收視頻數(shù)據(jù)。指導(dǎo)端主要由醫(yī)學(xué)專(zhuān)家使用，通過(guò)攝像端口采集視頻數(shù)據(jù)并將其分流成兩部分，一部分?jǐn)?shù)據(jù)直接被推流到云流媒體服務(wù)器，另一部分?jǐn)?shù)據(jù)用于圖像處理，優(yōu)化指導(dǎo)端的視頻效果，使被指導(dǎo)端得到實(shí)時(shí)的指導(dǎo)端視頻信息。被指導(dǎo)端主要由抗疫前線(xiàn)的臨床醫(yī)生使用，通過(guò)攝像端口采集場(chǎng)景或者直接調(diào)用本地視頻流，并將視頻數(shù)據(jù)分流為兩部分，一部分用于數(shù)據(jù)推流，另一部分用于本地的圖像處理。

圖1 AR 遠(yuǎn)程指導(dǎo)系統(tǒng)架構(gòu)

2 系統(tǒng)實(shí)現(xiàn)

AR 遠(yuǎn)程指導(dǎo)系統(tǒng)主要由3 個(gè)技術(shù)模塊構(gòu)成，分別是圖像分割模塊、圖像融合模塊和視頻傳輸模塊。為減少服務(wù)器端的計(jì)算壓力、避免對(duì)處理后的數(shù)據(jù)重新編碼和處理數(shù)據(jù)時(shí)幀率不穩(wěn)定的情況，三大技術(shù)模塊均部署在指導(dǎo)端和被指導(dǎo)端中。

2.1 圖像分割模塊

圖像分割模塊用于分割指導(dǎo)醫(yī)生的標(biāo)記信息。AR 遠(yuǎn)程指導(dǎo)系統(tǒng)采用基于K-means 色彩聚類(lèi)的改進(jìn)型算法作為圖像分割算法，圖像分割流程如圖2 所示。

圖2 圖像分割流程

基于K-means 色彩聚類(lèi)的改進(jìn)型算法對(duì)圖像進(jìn)行分割的基本思路是對(duì)視頻幀進(jìn)行靜態(tài)處理。首先提取色彩聚類(lèi)信息，通過(guò)讀取一個(gè)視頻幀，判斷這個(gè)視頻幀是否為第一幀。當(dāng)視頻幀為第一幀時(shí)，判斷是否存在色彩聚類(lèi)詞典。若沒(méi)有色彩聚類(lèi)詞典，則利用K-means 色彩聚類(lèi)的改進(jìn)型算法聚類(lèi)生成新的色彩聚類(lèi)詞典。色彩聚類(lèi)詞典保存了一個(gè)視頻幀的基本色彩信息，主要包括聚類(lèi)中心像素和整體比例。根據(jù)經(jīng)驗(yàn)原則，圖像主要包含黑色的筆和字、淡黃色的手、白色的背景以及灰色的陰影。不同K值對(duì)應(yīng)的圖像分割效果如圖3所示。實(shí)驗(yàn)顯示：當(dāng)K＜4 時(shí)，目標(biāo)對(duì)象會(huì)有色彩缺失，導(dǎo)致最終圖像分割時(shí)會(huì)丟失目標(biāo)對(duì)象的信息；當(dāng)K＞4 時(shí)，色彩聚類(lèi)過(guò)多，會(huì)造成圖像分割時(shí)產(chǎn)生過(guò)多背景信息，降低分割精度，同時(shí)會(huì)加大計(jì)算負(fù)擔(dān)，造成系統(tǒng)更多的延遲。故AR 遠(yuǎn)程指導(dǎo)系統(tǒng)設(shè)定K=4，基于K-means 色彩聚類(lèi)的改進(jìn)型算法計(jì)算色彩聚類(lèi)中心[15]，最大循環(huán)迭代次數(shù)設(shè)為1 000，初始質(zhì)心隨機(jī)選取。

圖3 不同K 值對(duì)應(yīng)的圖像分割效果示意圖

若色彩聚類(lèi)詞典已經(jīng)存在或生成了新的色彩聚類(lèi)詞典，則分析色彩詞典的4 個(gè)聚類(lèi)中心，對(duì)圖像進(jìn)行分割處理，并開(kāi)始接受下一幀的視頻數(shù)據(jù)。色彩聚類(lèi)詞典的信息提取方法如下：為提高圖像分割精度，通常會(huì)在指導(dǎo)端使用白色背景演示，并占用圖像信息較大的比例，因此提取接近白色RGB 像素值的聚類(lèi)中心，標(biāo)記為背景1，作為白色背景標(biāo)注。對(duì)于陰影區(qū)域，通常情況包含2 種情況。第一種是靠近手或筆的邊緣，主要呈現(xiàn)黑色，提取接近黑色RGB 像素值的聚類(lèi)中心即可分離。第二種是遠(yuǎn)離手或筆的部分，通常呈現(xiàn)灰白色，在RGB 像素值上比較接近于白色，其分離策略如下：將色彩聚類(lèi)詞典中的另外3 個(gè)聚類(lèi)中心像素值與背景1 的基準(zhǔn)像素值（即白色聚類(lèi)中心）進(jìn)行求差，差值最小的即是灰白色色彩聚類(lèi)中心，標(biāo)記為背景2，作為灰白色背景標(biāo)注。通過(guò)對(duì)圖像的真實(shí)像素值與色彩聚類(lèi)中的4 個(gè)色彩聚類(lèi)中心像素值進(jìn)行求差，將靠近白色聚類(lèi)中心和灰白色聚類(lèi)中心的像素分別標(biāo)記為1 和2，作為背景信息，同時(shí)像素值賦為0?？拷渌垲?lèi)中心的像素點(diǎn)分別標(biāo)記為3 和4，作為手、筆和筆跡等前景目標(biāo)，實(shí)現(xiàn)前景與背景區(qū)域的圖像分割。

由于視頻影像的色彩亮度分布分散，處理后通常會(huì)留下部分陰影，無(wú)法靠近背景1 和背景2 的聚類(lèi)中心。為提高分割精度，利用直方圖均衡處理來(lái)降低噪聲干擾，使陰影的灰度分布更加平均，如圖4 所示。

圖4 直方圖均衡處理前后效果對(duì)比

另一方面，考慮到像素值和聚類(lèi)中心的計(jì)算主要采用RGB 三通道的平均值，可能會(huì)帶來(lái)顏色誤判，例如在處理某一幀圖像時(shí)，手指部分某處的RGB 像素值是（205，181，155），此時(shí)與4 個(gè)色彩基準(zhǔn)值的色差絕對(duì)值分別為112、425、54 和190，與背景2 的色差絕對(duì)值最小，因此在未進(jìn)行像素差值處理前手指被誤判為背景2，造成在實(shí)際圖像分割中部分手指區(qū)域被分割到背景2，如圖5 所示。因此，在背景區(qū)域賦值前，需判斷像素值是否接近純色，否則，即使其像素值與背景基準(zhǔn)像素值接近也不會(huì)被賦值。

通常情況下，處理后的圖像會(huì)因?yàn)橛跋竦脑肼晭?lái)部分孔洞，因此需要進(jìn)行形態(tài)學(xué)閉運(yùn)算，即依次對(duì)圖像進(jìn)行膨脹操作和腐蝕操作，最終得到分離后的圖像。為了提取前景區(qū)域，建立提取目標(biāo)區(qū)域的掩膜圖像，通過(guò)矩陣運(yùn)算，得到前景的分割圖像并應(yīng)用于被指導(dǎo)端的圖像融合。

基于K-means 色彩聚類(lèi)的改進(jìn)型圖像分割算法克服了傳統(tǒng)K-means 算法計(jì)算速度慢、無(wú)法處理運(yùn)動(dòng)模糊等問(wèn)題，實(shí)現(xiàn)了前景信息提取準(zhǔn)確、去陰影、抗光線(xiàn)變化的魯棒性，運(yùn)算速度較快，適用于視頻播放。

圖5 像素差值處理前后效果對(duì)比

2.2 圖像融合模塊

在AR 遠(yuǎn)程指導(dǎo)系統(tǒng)中，圖像融合的目標(biāo)是把指導(dǎo)端的手部指導(dǎo)信息和筆跡標(biāo)注信息疊加在被指導(dǎo)端的界面上，實(shí)現(xiàn)AR 的功能。因此，為了得到全面的指導(dǎo)信息，不需要考慮連接區(qū)域的像素連續(xù)性，重點(diǎn)確保目標(biāo)對(duì)象位置信息的完整性。本系統(tǒng)中圖像融合的基本思路是利用掩膜圖像進(jìn)行圖像算術(shù)運(yùn)算，圖像融合流程如圖6 所示。

圖6 圖像融合流程圖

具體如下：利用目標(biāo)區(qū)域掩膜圖像對(duì)指導(dǎo)端圖像進(jìn)行邏輯與運(yùn)算，從而實(shí)現(xiàn)前景分割。同時(shí)，反向變更掩膜圖像的二值信息得到反向掩膜圖像，與被指導(dǎo)端圖像進(jìn)行邏輯與運(yùn)算，得到圖像背景。最后將指導(dǎo)端的前景圖像和被指導(dǎo)端的背景圖像進(jìn)行算術(shù)相加，指導(dǎo)端圖像的前景信息會(huì)補(bǔ)全被指導(dǎo)端的圖像信息，從而實(shí)現(xiàn)圖像融合。

2.3 圖像傳輸模塊

圖像傳輸由FFmpeg 多媒體處理程序和EasyDSS流媒體服務(wù)器實(shí)現(xiàn)?；舅悸罚簩⒉杉玫囊曨l圖像進(jìn)行編碼和封裝，同時(shí)進(jìn)行數(shù)據(jù)推流，將封裝好的視頻圖像推流到云服務(wù)器上運(yùn)行的EasyDSS 流媒體服務(wù)器并進(jìn)行視頻的轉(zhuǎn)發(fā)，最后指導(dǎo)端和被指導(dǎo)端通過(guò)數(shù)據(jù)拉流完成圖像解碼。

圖7 顯示了視頻流從攝像口采集通過(guò)流媒體服務(wù)器轉(zhuǎn)發(fā)，最終重新變成視頻幀到達(dá)指定客戶(hù)端的全過(guò)程。視頻傳輸模塊主要采用FFmpeg 多媒體處理技術(shù)和管道技術(shù)。具體如下：（1）利用OpenCV 逐幀讀取攝像頭采集的視頻數(shù)據(jù)，并寫(xiě)入到管道中。（2）采用FFmpeg 讀取管道數(shù)據(jù)并進(jìn)行H.264 編碼，減少數(shù)據(jù)量和傳輸時(shí)占用的帶寬。（3）將數(shù)據(jù)封裝成實(shí)時(shí)消息傳輸協(xié)議（real time messaging protocol，RTMP）數(shù)據(jù)包，并進(jìn)行傳輸。（4）EasyDSS 流媒體服務(wù)器提供一個(gè)隨機(jī)生成的RTMP 地址，F(xiàn)Fmpeg 多媒體處理程序通過(guò)這個(gè)RTMP 地址將數(shù)據(jù)包準(zhǔn)確地傳輸?shù)搅髅襟w服務(wù)器上。

圖7 圖像傳輸流程圖

常用的傳輸協(xié)議有RTMP、HLS（HTTP live streaming）協(xié)議和HTTP-FLV 協(xié)議。由于RTMP 是基于傳輸控制協(xié)議（transmission control protocol，TCP）的協(xié)議，會(huì)占用非公共端口，在部分設(shè)備上可能會(huì)被防火墻攔截。且實(shí)驗(yàn)證明OpenCV 接收RTMP 數(shù)據(jù)包的性能不佳[16]，因此，在數(shù)據(jù)拉流時(shí)不使用RTMP。HLS協(xié)議通過(guò)HTTP 80 端口傳輸，一般情況下能有效地穿過(guò)防火墻，但是HLS 協(xié)議的延遲太高，不適合AR遠(yuǎn)程指導(dǎo)系統(tǒng)這樣的實(shí)時(shí)交互性系統(tǒng)。綜上所述，數(shù)據(jù)拉流選用HTTP-FLV 協(xié)議，既可以降低延遲，又可以避免防火墻的攔截。

圖像在傳輸過(guò)程中，圖像處理模塊每處理一個(gè)視頻幀需要0.06 s 左右，數(shù)據(jù)拉流程序每接收一個(gè)視頻幀需要0.03 s 左右，這就造成了視頻幀的接收速度遠(yuǎn)大于視頻幀的圖像處理速度。接收的視頻幀會(huì)在客戶(hù)端數(shù)據(jù)拉流程序中一直累積，造成延遲越來(lái)越高。為解決這個(gè)問(wèn)題，本系統(tǒng)采用幀緩存算法，接收的視頻幀不會(huì)直接用于圖像處理，而是存儲(chǔ)在視頻幀緩存區(qū)。當(dāng)圖像處理程序需要讀取圖像時(shí)，就從幀緩存區(qū)中讀取最新的圖像。幀緩存區(qū)會(huì)定期清除緩存的數(shù)據(jù)，保證視頻幀不會(huì)一直累積。這樣既可以解決視頻幀接收速度與處理速度不匹配的問(wèn)題，又能顯著縮短實(shí)時(shí)視頻的延遲時(shí)間。

3 系統(tǒng)功能測(cè)試

AR 遠(yuǎn)程指導(dǎo)系統(tǒng)主要功能包括：（1）音視頻信息實(shí)時(shí)交互。支持交互雙方使用可視化終端進(jìn)行聲音與圖像的實(shí)時(shí)交流。（2）音視頻呼叫?？梢暬K端可以發(fā)起音視頻通話(huà)，根據(jù)權(quán)限呼叫其他終端，后者做出應(yīng)答后開(kāi)始音視頻通話(huà)。（3）視頻融合。使用可視化終端可以將2 個(gè)不同場(chǎng)景的視頻疊加播放。（4）病情/醫(yī)療信息的AR 顯示。在視頻實(shí)時(shí)交互過(guò)程中，可視化終端可將患者生命體征、醫(yī)療數(shù)據(jù)、疫情數(shù)據(jù)等信息以文字、數(shù)字、表格、圖像等形式疊加顯示。（5）醫(yī)療指令的AR 量化傳達(dá)。支持在視頻實(shí)時(shí)交互過(guò)程中上級(jí)部門(mén)或?qū)＜业膭?dòng)態(tài)手勢(shì)、文字、圖畫(huà)等疊加于視頻中，對(duì)視頻內(nèi)的畫(huà)面、動(dòng)作等進(jìn)行實(shí)時(shí)精確指導(dǎo)，實(shí)現(xiàn)醫(yī)療指令的量化傳達(dá)。為確保AR 遠(yuǎn)程指導(dǎo)系統(tǒng)滿(mǎn)足臨床要求，對(duì)影像指導(dǎo)和交互指導(dǎo)進(jìn)行功能測(cè)試。

3.1 模擬影像指導(dǎo)

3.1.1 本地影像指導(dǎo)

對(duì)影像指導(dǎo)功能進(jìn)行本地實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境為室內(nèi)。采用真實(shí)的影像模擬被指導(dǎo)端攝像頭采集的數(shù)據(jù)，指導(dǎo)端與被指導(dǎo)端結(jié)果如圖8 所示。

圖8 本地影像指導(dǎo)場(chǎng)景

實(shí)驗(yàn)表明，被指導(dǎo)端的影像場(chǎng)景可以清晰地傳遞給指導(dǎo)端，指導(dǎo)端通過(guò)采集手部及指導(dǎo)信息，可融合顯示在屏幕上傳達(dá)給被指導(dǎo)端。3.1.2 異地影像指導(dǎo)

為驗(yàn)證AR 遠(yuǎn)程指導(dǎo)系統(tǒng)的異地遠(yuǎn)程指導(dǎo)功能，進(jìn)行異地實(shí)驗(yàn)，結(jié)果如圖9 所示。其中，指導(dǎo)端位于河南省新鄉(xiāng)市，被指導(dǎo)端位于河南省鄭州市，2 個(gè)實(shí)驗(yàn)地點(diǎn)直線(xiàn)距離約40 km。

圖9 異地影像指導(dǎo)場(chǎng)景

異地實(shí)驗(yàn)表明，本系統(tǒng)具有良好的異地遠(yuǎn)程指導(dǎo)能力以及較好的流暢度和較高的實(shí)時(shí)性。

3.2 交互指導(dǎo)（本地）

利用被指導(dǎo)端的后置攝像頭采集數(shù)據(jù)模擬真實(shí)的場(chǎng)景，使用一個(gè)足球和一個(gè)地球儀模擬救援現(xiàn)場(chǎng)的人體部位。本地交互指導(dǎo)場(chǎng)景如圖10 所示。

圖10 本地交互指導(dǎo)場(chǎng)景

實(shí)驗(yàn)中所有的視頻數(shù)據(jù)均通過(guò)互聯(lián)網(wǎng)進(jìn)行傳輸。經(jīng)測(cè)試，指導(dǎo)視頻幀率穩(wěn)定在16 幀/s 左右，延遲小于2 s，表明AR 遠(yuǎn)程指導(dǎo)系統(tǒng)具有較好的流暢度和較高的實(shí)時(shí)性。

4 性能測(cè)試

AR 遠(yuǎn)程指導(dǎo)系統(tǒng)中服務(wù)器使用的是百度云服務(wù)器，其性能和負(fù)載能力可以根據(jù)實(shí)際情況調(diào)整；流媒體服務(wù)器使用的是成熟的商業(yè)化服務(wù)器EasyDSS，其性能可滿(mǎn)足大多數(shù)視頻數(shù)據(jù)傳輸場(chǎng)景。由于服務(wù)器端都是成熟的商業(yè)化產(chǎn)品，故只對(duì)客戶(hù)端進(jìn)行測(cè)試。

一方面，視頻的幀率會(huì)直接影響用戶(hù)體驗(yàn)，因此需要進(jìn)行幀率測(cè)試。測(cè)試計(jì)算機(jī)CPU I5 7200U，內(nèi)存8 GB，計(jì)算機(jī)系統(tǒng)Windows 10，測(cè)試環(huán)境帶寬56.32 Mbit/s。測(cè)試方法：利用Python 內(nèi)置時(shí)間函數(shù)，測(cè)量一幀圖像從輸入到輸出消耗的時(shí)間（包含中間的圖像處理過(guò)程），重復(fù)多次，求得每幀圖像花費(fèi)的平均時(shí)間。幀率測(cè)試結(jié)果詳見(jiàn)表1。

表1 AR 遠(yuǎn)程指導(dǎo)系統(tǒng)幀率測(cè)試結(jié)果

另一方面，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)需要較高的實(shí)時(shí)性，故對(duì)系統(tǒng)延遲進(jìn)行測(cè)試。延遲測(cè)試所用計(jì)算機(jī)和幀率測(cè)試一致，測(cè)試環(huán)境為室內(nèi)。雖然指導(dǎo)端與被指導(dǎo)端的設(shè)備空間距離較近，但視頻數(shù)據(jù)在互聯(lián)網(wǎng)上傳輸。測(cè)試方法：指導(dǎo)端和被指導(dǎo)端同時(shí)發(fā)送數(shù)據(jù)，當(dāng)發(fā)送端停止傳送數(shù)據(jù)時(shí)，利用Python 立刻生成一個(gè)精確到毫秒的時(shí)間戳，由于存在系統(tǒng)延遲，接收端要等待一定時(shí)間才能檢測(cè)到發(fā)送端停止傳送數(shù)據(jù)；當(dāng)接收端接收完最后一幀數(shù)據(jù)時(shí)，同樣利用Python內(nèi)置函數(shù)生成一個(gè)時(shí)間戳。對(duì)比發(fā)送端和接收端時(shí)間戳的差值，就可以計(jì)算出延遲時(shí)間。延遲測(cè)試結(jié)果詳見(jiàn)表2。

表2 AR 遠(yuǎn)程指導(dǎo)系統(tǒng)延遲測(cè)試結(jié)果

測(cè)試結(jié)果表明，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)基本滿(mǎn)足疫情期間遠(yuǎn)程指導(dǎo)的臨床需求。

5 應(yīng)用效果

本系統(tǒng)已經(jīng)應(yīng)用于抗疫前線(xiàn)，對(duì)解決醫(yī)療資源短缺、避免交叉感染起到了十分重要的作用。應(yīng)用時(shí)，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)的被指導(dǎo)端部署在污染區(qū)，由一線(xiàn)值班醫(yī)護(hù)人員持有；指導(dǎo)端在清潔區(qū)或由專(zhuān)家隨身攜帶。兩端通過(guò)互聯(lián)網(wǎng)或局域網(wǎng)絡(luò)連接云服務(wù)器，通過(guò)音視頻和AR 動(dòng)態(tài)視頻融合技術(shù)，實(shí)現(xiàn)了雙方就同一動(dòng)態(tài)視野或場(chǎng)景進(jìn)行高效、直觀、精確的交互。一方面，專(zhuān)家/設(shè)備工程師可以隨時(shí)判斷并處理重癥病房或發(fā)熱門(mén)診留觀患者的病情變化/醫(yī)療設(shè)備情況（如呼吸機(jī)參數(shù)、設(shè)備報(bào)警等），不僅可以有效降低交叉感染概率，減少防護(hù)物資損耗，還避免了因反復(fù)穿戴防護(hù)衣物消耗大量時(shí)間而降低診療效率，甚至耽誤最佳治療時(shí)機(jī)的問(wèn)題。另一方面，多學(xué)科專(zhuān)家們也可以隨時(shí)隨地通過(guò)音視頻了解患者病情，參與危重患者治療方案的討論、制訂并指導(dǎo)現(xiàn)場(chǎng)工作的實(shí)施。

同時(shí)，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)對(duì)使用環(huán)境沒(méi)有特殊要求，互聯(lián)網(wǎng)下開(kāi)機(jī)即可使用，無(wú)需疫情病房施工部署，操作簡(jiǎn)便、直觀。且云服務(wù)器可根據(jù)需求做私有云部署，數(shù)據(jù)信息安全、可控。除了應(yīng)用于當(dāng)前的疫情，本系統(tǒng)還可以投入到遠(yuǎn)程手術(shù)指導(dǎo)中，即在手術(shù)過(guò)程中，遠(yuǎn)程專(zhuān)家將指導(dǎo)意見(jiàn)實(shí)時(shí)、精準(zhǔn)地疊加至手術(shù)醫(yī)生的術(shù)野內(nèi)，實(shí)現(xiàn)更為便捷的醫(yī)療指導(dǎo)和資源共享。

6 結(jié)語(yǔ)

本文設(shè)計(jì)了一套基于AR 技術(shù)的遠(yuǎn)程指導(dǎo)系統(tǒng)，通過(guò)圖像分割技術(shù)、圖像融合技術(shù)和視頻傳輸技術(shù)實(shí)現(xiàn)了預(yù)期功能。系統(tǒng)通過(guò)基于K-means 色彩聚類(lèi)的改進(jìn)型算法解決了處理視頻圖像時(shí)運(yùn)算時(shí)間長(zhǎng)、受光線(xiàn)影響大、運(yùn)動(dòng)模糊的問(wèn)題；通過(guò)幀緩存算法解決了視頻幀接收速率與處理速率不匹配的高延遲問(wèn)題和數(shù)據(jù)復(fù)用問(wèn)題。

雖然AR 遠(yuǎn)程指導(dǎo)系統(tǒng)的應(yīng)用取得了良好效果，但也存在一定的局限性。由于圖像處理算法在客戶(hù)端運(yùn)行且使用Python 語(yǔ)言開(kāi)發(fā)，導(dǎo)致其跨平臺(tái)能力較差，目前只能在Windows 系統(tǒng)運(yùn)行且需要配置Python 環(huán)境；同時(shí)疫情暴發(fā)突然，為了盡快完成研發(fā)并投入使用，AR 遠(yuǎn)程指導(dǎo)系統(tǒng)的前端工作開(kāi)展程度較低，缺少遠(yuǎn)程指導(dǎo)系統(tǒng)常用的暫停、數(shù)據(jù)保存等功能。后期將對(duì)系統(tǒng)進(jìn)一步優(yōu)化、升級(jí)，提供更加有效的指導(dǎo)，實(shí)現(xiàn)可跨平臺(tái)、更優(yōu)的圖像處理以及多功能應(yīng)用，從而提升用戶(hù)體驗(yàn)，擴(kuò)大應(yīng)用廣泛性。