河北工業(yè)大學(xué) 楊 凱，武 濱，徐 楚，蘇士鵬，楊淏宇

1 作品簡介

產(chǎn)品由上位機(jī)、體感控制設(shè)備和智能機(jī)器人構(gòu)成，應(yīng)用了實(shí)時VR技術(shù)、體感控制技術(shù)、嵌入式開發(fā)技術(shù)、APP開發(fā)技術(shù)等，具有VR遠(yuǎn)程查房、VR遠(yuǎn)程診斷、信息采集和記錄、VR智能服務(wù)、VR智能換藥、自助消毒等功能。筆者創(chuàng)造性的將實(shí)時VR技術(shù)與體感控制技術(shù)相結(jié)合，保證遠(yuǎn)程醫(yī)療的效果。產(chǎn)品配備“守護(hù)白衣”配套APP用于顯示患者信息。該產(chǎn)品可應(yīng)用于新型冠狀病毒的防疫與治療，也可用于其他傳染性疾病的治理與護(hù)理。產(chǎn)品結(jié)構(gòu)如圖1所示。

圖1 產(chǎn)品結(jié)構(gòu)

2 技術(shù)原理

（1）實(shí)時VR技術(shù)：實(shí)時VR系統(tǒng)由雙目攝像頭和頭戴式VR顯示器構(gòu)成。雙目攝像頭形成雙目立體視覺，它是機(jī)器視覺的一種重要形式，是基于視差原理，并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像后，通過計算圖像對應(yīng)點(diǎn)間的位置偏差獲取物體三維幾何信息的方法。

（2）體感控制技術(shù)：該產(chǎn)品將機(jī)器視覺與可穿戴式體感技術(shù)相結(jié)合，采用視覺傳感器Kinect Xbox和可穿戴式傳感器Myo臂章，將用戶的自然運(yùn)動與機(jī)器人動作相結(jié)合，通過提取人體手臂骨骼和腕部動作信息模擬用戶動作，進(jìn)行機(jī)械臂控制。

（3）人臉識別技術(shù)：基于樹莓派搭載的Python3環(huán)境與TensorFlow庫，利用樹莓派官方攝像頭采集圖像數(shù)據(jù)，通過CSI接口與樹莓派連接，在編譯環(huán)境中調(diào)用Open Source CV進(jìn)行圖像處理，框畫出人臉進(jìn)行識別，并在USB接口式電容觸摸屏上顯示，同時利用串口發(fā)送給STM32。

3 項目創(chuàng)新點(diǎn)及應(yīng)用前景

（1）將實(shí)時VR技術(shù)與體感控制相結(jié)合，使VR具有良好的交互性。將其應(yīng)用于抗擊疫情等領(lǐng)域，醫(yī)護(hù)人員可通過體感遠(yuǎn)程控制機(jī)器人，利用實(shí)時VR與病人遠(yuǎn)程交互，在為病人提供高質(zhì)量服務(wù)的同時，保障了醫(yī)護(hù)人員的安全，節(jié)約了醫(yī)療防護(hù)用品的使用。

（2）針對雙目攝像頭采集的雙目視頻流，對圖像進(jìn)行畸變矯正和去噪，使用空間域?yàn)V波能夠較好地保護(hù)圖像細(xì)節(jié)，提升立體感，增強(qiáng)使用者的沉浸感和體驗(yàn)感。

（3）摒棄傳統(tǒng)單一使用視覺傳感器或可穿戴式體感傳感器的方式，將機(jī)器視覺與可穿戴體感技術(shù)相結(jié)合，將用戶的自然運(yùn)動與機(jī)器人動作相結(jié)合，進(jìn)一步提高控制精度。

4 市場分析

產(chǎn)品前期定位于醫(yī)療市場及政府部門，待產(chǎn)品達(dá)到一定市場占有率后，將其投放在其他對衛(wèi)生條件有一定要求的場所，如康復(fù)中心、療養(yǎng)院等。

我國智能醫(yī)療市場日漸龐大，隨著互聯(lián)網(wǎng)技術(shù)的普及，智能醫(yī)療設(shè)備將逐漸倍投至相關(guān)場所。尤其面對疫情發(fā)生時，醫(yī)護(hù)人員存在被傳染的風(fēng)險，因此許多醫(yī)者和專家都呼吁智能醫(yī)療能夠快速落地。但考慮到智能醫(yī)療技術(shù)目前并不完善，對于該產(chǎn)品技術(shù)而言，VR與體感控制應(yīng)用于醫(yī)療行業(yè)國內(nèi)尚存在大量空白。