周 俊
(上海市兒童醫(yī)院,上海 200062)
一般醫(yī)院巡查公共診療區(qū)域、重點(diǎn)區(qū)域(實(shí)驗(yàn)室、水電氣設(shè)備機(jī)房等),會(huì)通過監(jiān)控室監(jiān)控員對(duì)監(jiān)控電視墻上的多個(gè)畫面進(jìn)行人工巡查,監(jiān)控室普遍配置2名監(jiān)控員,每天視頻巡查范圍、精細(xì)度有限。安保巡邏以2 h 為周期,存在巡邏空間的局限性。從視頻畫面中發(fā)現(xiàn)可疑物品(如被故意放在公共區(qū)域的背包)、突發(fā)性污染物(如容易導(dǎo)致滑倒摔跤的嘔吐物)、實(shí)驗(yàn)室化學(xué)物品引起化學(xué)反應(yīng)的燃爆風(fēng)險(xiǎn)、公共區(qū)域打架斗毆、初期火災(zāi)等事件,較難第一時(shí)間由人工發(fā)現(xiàn)并傳送信息進(jìn)行處置。
醫(yī)院根據(jù)公安技防要求安裝的大量監(jiān)控,只有監(jiān)視作用,沒有自動(dòng)識(shí)別功能,不符合現(xiàn)代醫(yī)療機(jī)構(gòu)大型化、人員出入復(fù)雜、醫(yī)療設(shè)施與支持設(shè)備大規(guī)模化的新形勢要求,須引入計(jì)算機(jī)視覺定位系統(tǒng)與服務(wù)機(jī)器人,利用數(shù)字化自動(dòng)分析各類圖像中的事件,并分類處理,提高巡查處置效率的同時(shí)降低人力成本。
文章重點(diǎn)討論監(jiān)控?cái)z像機(jī)捕捉識(shí)別的目標(biāo),將攝像機(jī)圖像坐標(biāo)轉(zhuǎn)換為室內(nèi)坐標(biāo),通過物聯(lián)網(wǎng)系統(tǒng)發(fā)送至服務(wù)機(jī)器人并自動(dòng)導(dǎo)航到目標(biāo)點(diǎn)處置的實(shí)現(xiàn)過程,即基于計(jì)算機(jī)視覺的室內(nèi)定位技術(shù),對(duì)相機(jī)標(biāo)定原理、坐標(biāo)系轉(zhuǎn)換計(jì)算公式、實(shí)現(xiàn)方式及難點(diǎn)詳細(xì)敘述。
人工智能AI(全稱Artificial Intelligence)技術(shù)從無到有,從單一功能到深入融合各類行業(yè),為科技發(fā)展提供了新的思路和途徑。網(wǎng)絡(luò)信息時(shí)代的爆炸式發(fā)展使得人工智能產(chǎn)業(yè)豐富。AI 包括虛擬現(xiàn)實(shí)VR(全稱Virtual Reality)、增強(qiáng)現(xiàn)實(shí)AR(全稱Augmented Reality)技術(shù),被應(yīng)用在工業(yè)、農(nóng)業(yè)、制造業(yè)、家用電器、出行、穿戴等生產(chǎn)生活各領(lǐng)域。
醫(yī)療領(lǐng)域中利用AI 對(duì)醫(yī)學(xué)圖像處理、分析及診斷提供了新思路,例如,兒童骨齡評(píng)估使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)放射影像的分析,病理學(xué)方面基于深度學(xué)習(xí)算法對(duì)病理標(biāo)本的輔助診斷系統(tǒng)等。此外,人工智能技術(shù)的更新,逐步實(shí)現(xiàn)了機(jī)器人領(lǐng)域真正的應(yīng)用價(jià)值,產(chǎn)生了極大服務(wù)價(jià)值及生產(chǎn)力??v觀機(jī)器人領(lǐng)域的分支中,自導(dǎo)航服務(wù)機(jī)器人的發(fā)展速度非常突出。
計(jì)算機(jī)視覺為人工智能的一個(gè)應(yīng)用分支,指計(jì)算機(jī)系統(tǒng)從單幅圖像、連續(xù)幀和其他影像輸入中分析獲取關(guān)注的信息,系統(tǒng)據(jù)此作出反應(yīng)或提供建議。人工智能賦予了計(jì)算機(jī)分析與決策能力,而計(jì)算機(jī)視覺是被賦予了感知、探索的能力。
計(jì)算機(jī)視覺的工作原理為生物仿生技術(shù)的設(shè)計(jì)思路,參照人類視覺,不斷訓(xùn)練分辨物體、距離、動(dòng)態(tài)與否及視覺真實(shí)性等能力。計(jì)算機(jī)視覺訓(xùn)練機(jī)器人模仿人類的視覺方式,區(qū)別在于機(jī)器人依靠攝像機(jī)、數(shù)據(jù)和算法在極短時(shí)間內(nèi)完成更精細(xì)和復(fù)雜的工作。例如,經(jīng)過訓(xùn)練用于檢驗(yàn)產(chǎn)品或監(jiān)控生產(chǎn)的系統(tǒng),每分鐘能分析數(shù)千個(gè)產(chǎn)品或流程,能發(fā)現(xiàn)極其細(xì)微的缺陷或問題,其能力遠(yuǎn)超人類。計(jì)算機(jī)視覺被廣泛用于許多行業(yè),例如,能源、公用事業(yè)、制造、醫(yī)療和汽車行業(yè)等,并且市場仍在不斷拓展。
醫(yī)院服務(wù)機(jī)器人實(shí)際上從屬于通常意義的服務(wù)機(jī)器人,應(yīng)用僅限于醫(yī)院和醫(yī)療環(huán)境,細(xì)分產(chǎn)品包括導(dǎo)醫(yī)咨詢、醫(yī)療宣教、醫(yī)用AGV 物流(送藥、送餐、送器械、回收被服和醫(yī)療垃圾等)、藥品分揀、靜脈輸液藥配制、消毒殺菌、移送病人、保潔及安防機(jī)器人等。
但醫(yī)院環(huán)境與其他很多應(yīng)用環(huán)境存在較大區(qū)別,如對(duì)于物流配送,醫(yī)院部分環(huán)境的復(fù)雜程度和動(dòng)態(tài)程度更高、可預(yù)測性更低,因而具有更大的技術(shù)挑戰(zhàn)性。文章主要討論利用監(jiān)控?cái)z像機(jī)做室內(nèi)定位,聯(lián)動(dòng)保潔機(jī)器人、安防機(jī)器人的應(yīng)用模式。
醫(yī)院監(jiān)控?cái)z像機(jī)幾乎覆蓋所有公共診療區(qū)域,利用監(jiān)控畫面進(jìn)行目標(biāo)事件的室內(nèi)立體坐標(biāo)定位,是文章討論的重點(diǎn)。理論上需要應(yīng)用相機(jī)標(biāo)定原理及坐標(biāo)系轉(zhuǎn)換,將攝像機(jī)獲得的二維平面圖像,推算出三維空間中物體的幾何坐標(biāo)值,并重建和識(shí)別物體。
二維圖像能提供豐富的環(huán)境信息或空間信息,包括:①圖像像素點(diǎn)的亮度與真實(shí)物體表面點(diǎn)反射光強(qiáng)度的關(guān)系;②攝像機(jī)內(nèi)部結(jié)構(gòu)、圖像像素點(diǎn)在圖像平面位置、物體空間的相對(duì)方位映射關(guān)系。利用這些信息,可實(shí)現(xiàn)如測距、測量、識(shí)別、地圖構(gòu)建、定位、攝像機(jī)運(yùn)動(dòng)和姿態(tài)估計(jì)等工作。
求解參數(shù)的過程稱為相機(jī)標(biāo)定。相機(jī)成像的幾何模型決定了空間物體表面一點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)間的關(guān)系,這些幾何模型參數(shù)就是相機(jī)參數(shù)。通過試驗(yàn)與計(jì)算,求解參數(shù)(內(nèi)參、外參、畸變參數(shù))的過程就是相機(jī)標(biāo)定。
圖像畸變是鏡頭生產(chǎn)過程中,制造精度及組裝工藝的偏差導(dǎo)致的原始圖像失真。鏡頭的畸變分為徑向畸變和切向畸變兩類。
畸變參數(shù)、內(nèi)參是相機(jī)本身的固有特性,一次標(biāo)定即可,外參根據(jù)不同標(biāo)定圖像而不同。成像過程包括:圖像坐標(biāo)系、成像平面坐標(biāo)系、攝像機(jī)坐標(biāo)系及世界坐標(biāo)系。
(1)圖像坐標(biāo)系:表示三維空間物體在圖像平面上的投影,像素是離散化的,文章使用的是攝像機(jī)模型中的針孔模型。該模型在數(shù)學(xué)上是三維空間到二維平面的中心投影。其坐標(biāo)原點(diǎn)在CCD 圖像平面的左上角,u軸平行于CCD。平面水平向右,v軸垂直于u軸向下,坐標(biāo)用(u,v)來表示。
(2)成像平面坐標(biāo)系:坐標(biāo)原點(diǎn)在CCD 圖像平面的中心,x,y軸分別平行于圖像坐標(biāo)系的(u,v)軸,坐標(biāo)用(x,y)表示。
(3)攝像機(jī)坐標(biāo)系:以攝像機(jī)的光心為坐標(biāo)系原點(diǎn),Xc,Yc軸平行于圖像坐標(biāo)系的x,y軸,攝像機(jī)的光軸為Zc軸,坐標(biāo)系滿足右手法則。攝像機(jī)的光心可理解為攝像機(jī)透鏡的幾何中心。
(4)世界坐標(biāo)系:用于表示空間物體的絕對(duì)坐標(biāo),使用(xw,yw,zw)表示,世界坐標(biāo)系可通過旋轉(zhuǎn)和平移得到攝像機(jī)坐標(biāo)系。
CCD(Charge-coupled Device)即電荷耦合元件。CCD 上植入的微小光敏物質(zhì)稱作像素,畫面分辨率與單位面積內(nèi)像素?cái)?shù)量成正比。CCD 分布排列的感光電容,將影像轉(zhuǎn)化為數(shù)字信號(hào)。例如光學(xué)遙測、頻譜望遠(yuǎn)鏡、高速攝影等。
坐標(biāo)系位置關(guān)系見圖1。
圖1 坐標(biāo)系位置關(guān)系
將攝像機(jī)非線性模型表示為:
式中,(xu,yu)為模型圖像點(diǎn)的坐標(biāo),(xd,yd)為實(shí)際圖像點(diǎn)坐標(biāo),δx(x,y)與δy(x,y)為成像畸變值。
一般分為徑向畸變、切向畸變。徑向畸變(桶形畸變和枕形畸變),即光線在遠(yuǎn)離透鏡中心部位比接近中心的地方出現(xiàn)明顯彎曲。切向畸變(薄透鏡畸變和離心畸變),來源于制造過程中,透鏡與CCD 平面不平行而產(chǎn)生的畸變。
服務(wù)機(jī)器人作為高集成度的新型技術(shù),具備高感知信息的能力及智能控制。目前,其智能水平隨著相關(guān)研究的投入及多學(xué)科互動(dòng),利用物聯(lián)網(wǎng)融合到整個(gè)醫(yī)院智能化系統(tǒng)網(wǎng)絡(luò)中,應(yīng)用范圍愈加廣闊。
物聯(lián)網(wǎng)技術(shù)主要是借助信息傳感設(shè)備來實(shí)現(xiàn)物品和網(wǎng)絡(luò)的連接,并根據(jù)預(yù)先設(shè)定的通信協(xié)議來完成通信,實(shí)現(xiàn)信息識(shí)別、跟蹤與管理的功能。
從技術(shù)角度分析物聯(lián)網(wǎng)技術(shù),其特點(diǎn)主要包括:①系統(tǒng)化的感知能力。利用各類射頻識(shí)別技術(shù)、激光傳感器和紅外感應(yīng)器等技術(shù)來獲得物體信息資料,實(shí)現(xiàn)感知和應(yīng)用提取。②穩(wěn)定的傳輸能力?;诨ヂ?lián)網(wǎng)、局域網(wǎng)等網(wǎng)絡(luò)能實(shí)現(xiàn)數(shù)據(jù)的穩(wěn)定傳輸。③先進(jìn)的智能化處理技術(shù)。合理篩選與應(yīng)用不同類型的智能化技術(shù),實(shí)現(xiàn)大量數(shù)據(jù)的分析、計(jì)算及醫(yī)院管理工作的智能化發(fā)展。
物聯(lián)網(wǎng)系統(tǒng)由感知層、網(wǎng)絡(luò)層及應(yīng)用層組成基礎(chǔ)架構(gòu),本質(zhì)是事件驅(qū)動(dòng)型的體系構(gòu)建,服務(wù)機(jī)器人是基于物聯(lián)網(wǎng)架構(gòu)及底層分析技術(shù)、終端執(zhí)行輸出的智能化設(shè)備。不同層級(jí)進(jìn)行交互通信和控制,互相傳遞多樣的信息,應(yīng)用系統(tǒng)識(shí)別動(dòng)靜態(tài)信息。物聯(lián)網(wǎng)技術(shù)與傳統(tǒng)互聯(lián)網(wǎng)相比更加先進(jìn),實(shí)用性更強(qiáng),直接控制物理設(shè)備,實(shí)現(xiàn)服務(wù)效果最大化。
(1)機(jī)器人定位方法。該方法一般分為拓?fù)涞貓D直推法、幾何地圖直推法與概推法、馬爾可夫定位算法等,定位技術(shù)包括視覺導(dǎo)航定位技術(shù)(機(jī)載攝像機(jī)采集分析環(huán)境信息)、GPS 全球定位系統(tǒng)(定位精度受限制,不適用室內(nèi)及多樓層場景)、光反射導(dǎo)航定位技術(shù)(利用激光或紅外傳感器測距,易受背景信噪影響)等。服務(wù)機(jī)器人為實(shí)現(xiàn)無人控制作業(yè),配置自動(dòng)導(dǎo)航系統(tǒng),具備自主任務(wù)分配、自控電梯門禁、避開障礙物、自主返回充電的智能化功能。
(2)響應(yīng)流程。醫(yī)院物聯(lián)網(wǎng)系統(tǒng)主要是通過智能終端、云端控制平臺(tái)及服務(wù)機(jī)器人3個(gè)部分共同構(gòu)成。具體應(yīng)用流程為:監(jiān)控相機(jī)分析得出事件和定位信息通過物聯(lián)網(wǎng)完成信息發(fā)送;觸發(fā)應(yīng)對(duì)處置程序,自動(dòng)轉(zhuǎn)發(fā)到對(duì)應(yīng)的服務(wù)機(jī)器人響應(yīng);事件處置結(jié)果回饋到系統(tǒng),形成事件處置閉環(huán)。
(3)引導(dǎo)與定位修正。機(jī)器人收到監(jiān)控?cái)z像機(jī)發(fā)出的事件定位信息,自動(dòng)導(dǎo)航到達(dá)目標(biāo)位置附近,因攝像機(jī)、環(huán)境變化、機(jī)器人行走均存在參數(shù)誤差并疊加放大,為消除上述定位精度的偏差,通過監(jiān)控?cái)z像機(jī)識(shí)別機(jī)器人真實(shí)位置信息,利用物聯(lián)網(wǎng)的橋接作用、PID 控制,輔助機(jī)器人不斷修正行進(jìn)路徑與位姿,最終抵達(dá)目標(biāo)位置完成事件處置。
考慮到目標(biāo)事件包括遺落物、嘔吐物、肢體沖突的人員、初期小火災(zāi)、待消毒物品等,存在物品對(duì)象大小形狀多樣、位置動(dòng)態(tài)變化、發(fā)展趨勢不可預(yù)期等,須將定位公式的算法從一個(gè)二維平面坐標(biāo)點(diǎn)拓展為三維立體坐標(biāo)值,提升監(jiān)控?cái)z像機(jī)對(duì)目標(biāo)描述的真實(shí)性,以盡量多的立體坐標(biāo)點(diǎn)來描述目標(biāo)的空間邊界。初期算法可簡化為方形6面體,隨著研究的推進(jìn),視覺識(shí)別處理硬件性能的提升,描述為更接近真實(shí)物體空間邊界的多邊形數(shù)值,進(jìn)一步協(xié)助系統(tǒng)準(zhǔn)確識(shí)別事件并移交服務(wù)機(jī)器人處置。
室內(nèi)定位精度要求一般需要控制在厘米級(jí),如±10 cm 的精度,精度偏差來自監(jiān)控?cái)z像機(jī)自身性能參數(shù)的限制、真實(shí)復(fù)雜環(huán)境的視線遮擋、環(huán)境光影明暗變化,同時(shí)需要醫(yī)院管理部門投入大量前期工作,如攝像機(jī)參數(shù)標(biāo)定、環(huán)境基準(zhǔn)面數(shù)值創(chuàng)建、基礎(chǔ)路線設(shè)定、機(jī)器人特征預(yù)錄入等。一般要求攝像機(jī)硬件參數(shù)為分辨率1080P、像素200萬、幀率25幀、星光級(jí)夜視功能、低照度自切換紅外夜視、內(nèi)置圖像處理GPU、三主碼流一輔碼流等。機(jī)器人定位導(dǎo)航系統(tǒng)可借助其他室內(nèi)定位技術(shù)如WiFi、定位信標(biāo)等,增強(qiáng)修正定位結(jié)果。
計(jì)算機(jī)視覺定位是基礎(chǔ)的圖像識(shí)別通過AI 算法進(jìn)行更新優(yōu)化后的技術(shù),提供了一種高效可行且能不斷改良的室內(nèi)定位解決方案。廣泛應(yīng)用于醫(yī)院場景的各類服務(wù)機(jī)器人,通過物聯(lián)網(wǎng)體系極大提高了反應(yīng)速度,填補(bǔ)了人工巡視的空間不連續(xù)性,因此在當(dāng)前醫(yī)院環(huán)境下,應(yīng)用前景廣闊,發(fā)展空間巨大。