張志陽　宋成利　李良　李良敏

摘 要：為了減輕醫(yī)務(wù)人員勞動強度，同時為患者提供有效的輔助診斷信息，將自動識別追蹤技術(shù)應(yīng)用于醫(yī)用內(nèi)窺鏡中，以輔助外科醫(yī)生診斷與治療，并為后續(xù)持鏡機(jī)器人及手術(shù)機(jī)器人研發(fā)打下基礎(chǔ)。對比模板匹配和邊緣檢測匹配兩種算法之后，發(fā)現(xiàn)模板匹配方法容易受到光照影響，將兩者綜合后的算法對光照和像素遷移有很強的抗干擾能力，適合于醫(yī)用內(nèi)窺鏡光照條件不足的應(yīng)用環(huán)境。此外，引入的CamShift 算法以顏色特征作為第二匹配依據(jù)，可應(yīng)對邊緣不明顯的情況。實驗中分別對手術(shù)器械和膽囊進(jìn)行模擬識別跟蹤，實驗結(jié)果表明，在該運動目標(biāo)檢測跟蹤算法下，視頻畫面的幀速率穩(wěn)定在30fps，不會出現(xiàn)卡頓情況，識別準(zhǔn)確率達(dá)到了95%，并且在追蹤過程中不會丟失目標(biāo)。該算法原理簡單、機(jī)理清晰，在實時性、魯棒性等方面均可滿足臨床需求。

關(guān)鍵詞：醫(yī)用內(nèi)窺鏡;目標(biāo)識別;模板匹配;邊緣檢測;連續(xù)自適應(yīng)均值漂移

DOI：10. 11907/rjdk. 191616

中圖分類號：TP317.4?? 文獻(xiàn)標(biāo)識碼：A??????????????? 文章編號：1672-7800（2020）003-0234-04

Target Recognition Algorithms for Medical Endoscope Image

Based on Template Matching

ZHANG Zhi-yang， SONG Cheng-li， LI Liang， LI Liang-min

（School of Medical Instrument and Food Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract： In order to reduce the work intensity of medical staff and provide effective auxiliary diagnostic information for patients， automatic recognition and tracking technology is applied to medical endoscopy to assist surgeons in diagnosis and treatment， which lays a foundation for the follow-up research and development of mirror-holding robots and surgical robots. After comparing the two algorithms of template matching and edge detection matching， we find that the template matching method is susceptible to illumination. The combined algorithm has strong anti-interference ability to illumination and pixel migration， which is suitable for the application environment of medical endoscopes with insufficient illumination conditions. In addition， the CamShift algorithm is introduced to deal with the situation that the edge is not obvious， taking the color feature as the second matching basis. Simulated recognition， tracking of surgical instruments and gallbladder were carried out in the experiment. Experiment result have shown that the moving target detection and tracking algorithm has a stable frame rate of 30 frames per second， and does not produce a pause. The recognition accuracy was 95%， and the target was not lost in the process of tracking， thus we can draw the conclusion that the principle of the algorithm is simple and the mechanism is clear. It can meet the clinical needs in real-time and robustness.

Key Words： medical endoscope; target recognition; template matching; edge detection; CamShift

0 引言

內(nèi)窺鏡是目前醫(yī)院中常用的一種醫(yī)療器械，廣泛應(yīng)用于普外科、骨科、耳鼻喉科、消化內(nèi)科、泌尿外科、婦科等科室。其通過人體天然孔道或人為小切口進(jìn)入人體，可以直接觀察人體器官和組織狀態(tài)，被稱作醫(yī)生在微創(chuàng)介入手術(shù)中的眼睛[1]。內(nèi)鏡技術(shù)的出現(xiàn)是醫(yī)學(xué)技術(shù)發(fā)展的一個里程碑，對該技術(shù)的應(yīng)用可以大大減少對患者身體的損害，降低手術(shù)過程中的風(fēng)險，并且大幅縮短患者術(shù)后恢復(fù)時間，在疾病診斷與治療方面具有明顯優(yōu)勢[2-3]。

自1987年法國醫(yī)生Philippe Mouret利用內(nèi)窺鏡實施首例膽囊切除術(shù)至今，微創(chuàng)外科手術(shù)及內(nèi)窺鏡技術(shù)發(fā)展迅速[4]。縱觀醫(yī)用內(nèi)窺鏡發(fā)展歷程與技術(shù)現(xiàn)狀，成像鏡頭、微型圖像傳感器、采集與處理電路等關(guān)鍵技術(shù)已日趨成熟，因此圖像后處理技術(shù)成為目前內(nèi)窺鏡技術(shù)的研究重點。圖像后處理技術(shù)是指利用圖像處理算法在軟件層面對內(nèi)窺鏡生成的視頻進(jìn)行處理，從而得到干凈、清晰且具有特征信息的圖像。隨著計算機(jī)技術(shù)，尤其是機(jī)器視覺與人工智能技術(shù)的發(fā)展，各種先進(jìn)的圖像處理技術(shù)不斷向醫(yī)學(xué)領(lǐng)域滲透，醫(yī)用內(nèi)窺鏡的電子化、小型化、集成化及智能化設(shè)計成為未來發(fā)展的必然趨勢[5]。如Hafner等[6]通過二維離散傅里葉變換獲得腸道內(nèi)窺鏡圖像的頻域表達(dá)后，再通過篩選基于傅里葉級數(shù)矩陣的特征，以更好地區(qū)分不同結(jié)腸癌種類;Charisis 等[7]將胃部內(nèi)窺鏡圖像進(jìn)行曲波變換后，再利用遺傳算法有效提取病變部位相關(guān)形態(tài)學(xué)特征;Huang 等[8]在RGB和HSV顏色空間中分別提取SIFT算子與CCH算子表征食管粘膜;Zhang 等[9]為了進(jìn)行腸息肉檢測，利用CNN的特征提取能力，將訓(xùn)練好的CNN網(wǎng)絡(luò)中生成的特征圖向量化后，再交由SVM分類器進(jìn)行分類。

將醫(yī)學(xué)圖像處理技術(shù)中復(fù)雜的處理算法應(yīng)用于視頻中會影響圖像處理速度，表現(xiàn)為視頻卡頓，不適用于實時的手術(shù)診斷與治療過程，而CNN訓(xùn)練往往需要較大的數(shù)據(jù)集，收集如此大數(shù)量的內(nèi)窺鏡圖像是十分困難的。本文將計算機(jī)視覺中的圖像檢測與追蹤技術(shù)應(yīng)用于內(nèi)窺鏡成像系統(tǒng)中，希望通過對組織、器官、器械、損傷、出血等目標(biāo)的檢測與跟蹤，輔助醫(yī)生診斷，幫助臨床醫(yī)生提高手術(shù)效率、降低手術(shù)風(fēng)險。同時可將該技術(shù)與機(jī)器人技術(shù)相結(jié)合，研發(fā)出全自動持鏡機(jī)器人和手術(shù)機(jī)器人，由機(jī)器人替代外科醫(yī)生進(jìn)行內(nèi)窺鏡和手術(shù)器械操作。借助機(jī)器人動作精確、可靠性高的優(yōu)點，可使微創(chuàng)介入手術(shù)更加安全、準(zhǔn)確與方便，大大減輕醫(yī)務(wù)人員勞動強度?？紤]到醫(yī)用內(nèi)窺鏡的特殊工作場景，成像系統(tǒng)檢測跟蹤算法需要滿足實時性、準(zhǔn)確性、魯棒性等要求。本文采用目標(biāo)檢測中最簡單的模板匹配算法，并針對內(nèi)窺鏡工作環(huán)境對其加以改進(jìn)，使算法簡單、機(jī)理清晰、實時性強。實驗結(jié)果表明，該算法識別準(zhǔn)確率可達(dá)到95%，并且比較穩(wěn)定，不會出現(xiàn)跟蹤丟失的情況。

1 材料與方法

1.1 CMOS圖像傳感器

目前市場上的高清內(nèi)窺鏡視頻圖像采集部分傳感器大都是電荷耦合器件（Charge Coupled Device，CCD），雖然具有信噪比高、圖像質(zhì)量好等優(yōu)點，但是制造成本高，且功耗較大[10]。CMOS圖像傳感器雖然在剛開發(fā)出來時圖像性能不佳，但是隨著相關(guān)技術(shù)的不斷發(fā)展，CMOS傳感器的圖像性能正逐漸接近CCD傳感器[11]。此外，由于CMOS傳感器具有功耗與制造成本低、集成度高等優(yōu)點，CMOS圖像傳感器比CCD圖像傳感器具有更高的性價比，使其替代CCD圖像傳感器成為可能[12]。

表1對比了CCD和CMOS圖像傳感器的部分性能指標(biāo)，隨著CMOS圖像傳感器制作工藝的發(fā)展，其成像質(zhì)量差的缺點逐漸得到改善，已能滿足醫(yī)用內(nèi)窺鏡對圖像質(zhì)量的要求。因此，本文采用OV9734芯片作為圖像傳感器，可以大幅降低成本。此外，應(yīng)用氙燈照明的方法成本較高，且使用過程中光纖易折斷[3]，所以本文采用LED光源。隨著高亮LED 技術(shù)的發(fā)展，LED 合光后表現(xiàn)出優(yōu)良的特性，使用LED 作為內(nèi)窺鏡照明已成為可能。

1.2 模板匹配原理

在一幅圖像中查找特定目標(biāo)最普遍且最簡單的方法之一即為模板匹配。該方法原理是按照一定順序遍歷圖像中的每一個位置，計算目標(biāo)與模板相似度，當(dāng)相似度達(dá)到設(shè)定閾值時，即認(rèn)為找到了目標(biāo)?；谠摲椒ú⒔Y(jié)合合適的循環(huán)算法，即可實現(xiàn)對目標(biāo)的檢測與跟蹤。

一般來說，評價目標(biāo)與模板相似度的方法有6種：平方差匹配法、歸一化平方差匹配法、相關(guān)匹配法、歸一化相關(guān)匹配法、相關(guān)系數(shù)匹配法和歸一化相關(guān)系數(shù)匹配法[13]。算法復(fù)雜度越高，匹配結(jié)果也越精確。對以上方法進(jìn)行測試實驗后，本文選用歸一化相關(guān)匹配法，可同時兼顧速度和精度。該方法將模板均值歸一化值與圖像均值歸一化值進(jìn)行匹配，1表示完全匹配，-1表示不匹配，0表示不相關(guān)。如果用T表示模板圖像，I表示待匹配圖像， R表示匹配結(jié)果，則其滿足如下關(guān)系式[14]：

1.3 邊緣檢測匹配原理

模板匹配算法是以像素為基礎(chǔ)進(jìn)行匹配的，容易受到光照影響[15]?？紤]到內(nèi)窺鏡的工作環(huán)境缺乏充足的光照條件，所以本文將圖像邊緣梯度引入模板匹配算法中，其對圖像光照與像素遷移都有很強的抗干擾能力，可以抵消目標(biāo)圖像上出現(xiàn)的微小像素遷移的影響，比較適合于醫(yī)用內(nèi)窺鏡工作環(huán)境。

該算法主要基于圖像梯度，實現(xiàn)基于梯度級別的歸一化交叉相關(guān)（Normalization cross correlation，NCC）模板匹配。NCC是一種基于統(tǒng)計學(xué)計算兩組樣本數(shù)據(jù)相關(guān)性的算法，其取值范圍為[-1， 1]。對于圖像而言，每個像素可以看作RGB的數(shù)值，圖像即可看作一個樣本數(shù)據(jù)的集合。當(dāng)NCC值為1時，說明相關(guān)性非常高，意味著其具有與另一個樣本數(shù)據(jù)相匹配的子集。其數(shù)學(xué)公式表示如下[16]：

式中f表示像素點灰度值，μ表示窗口所有像素平均值，σ表示標(biāo)準(zhǔn)方差假設(shè)，t表示模板像素值，n表示模板像素總數(shù)。

獲取邊緣圖像的方法主要為Canny邊緣檢測算法，圖像邊緣集中了圖像大部分信息，是圖像分割依賴的重要特征[17]。圖像邊緣梯度計算是指通過Sobel梯度算子得到dx、dy以及 magnitude（dxy），然后根據(jù)圖像梯度信息進(jìn)行匹配。使用邊緣特征作為模板匹配的基礎(chǔ)，可以大大增加模板匹配的抗干擾性和成功率。

如果以A代表原始圖像，Gx、Gy分別代表經(jīng)橫向及縱向邊緣檢測的圖像，則Sobel梯度算子數(shù)學(xué)公式表示如下：

1.4 改進(jìn)算法實現(xiàn)目標(biāo)識別與追蹤

邊緣檢測模板匹配對圖像光照有很強的抗干擾能力，可以抵消目標(biāo)圖像上出現(xiàn)的像素微小遷移，但醫(yī)用內(nèi)窺鏡手術(shù)環(huán)境下某些損傷組織或器官目標(biāo)的邊緣特征并不太明顯。在該情況下，本文引入連續(xù)自適應(yīng)均值漂移（Continuously Adaptive Mean-SHIFT，CamShift）算法，將顏色特征加入匹配圖像中，使匹配結(jié)果更加準(zhǔn)確。

CamShift算法通過解析HSV顏色空間下目標(biāo)區(qū)域H分量特征信息實現(xiàn)目標(biāo)識別與跟蹤，可使目標(biāo)具有較低的形變敏感度。該算法由于具有實時性好、計算量小和復(fù)雜度低等優(yōu)點，在運動目標(biāo)跟蹤領(lǐng)域得到了廣泛應(yīng)用[18]。但其也存在一定不足，如在復(fù)雜場景或背景中存在色彩結(jié)構(gòu)與目標(biāo)類似的情況下，該算法會存在一定程度的跟蹤誤差，甚至出現(xiàn)跟蹤失敗的情況[19]。因此，將CamShift算法與模板匹配算法相結(jié)合，可彌補各自的不足。算法流程如圖1所示。

2 實驗結(jié)果

2.1 OpenCV簡介

本文中所有算法均使用OpenCV工具集加以實現(xiàn)。OpenCV （Open Source Computer Vision Library）是由一系列C函數(shù)和C++類構(gòu)成的計算機(jī)視覺庫，實現(xiàn)了圖像處理和計算機(jī)視覺方面的很多通用算法，可以非常方便地嵌入到C或C++開發(fā)平臺中，并大幅縮短應(yīng)用程序開發(fā)周期，降低代碼編寫難度[20]。

2.2 傳統(tǒng)模板匹配與邊緣檢測模板匹配

采用不同算法在正常狀態(tài)和暗光狀態(tài)下進(jìn)行實驗，識別效果對比如圖2所示。

驗證算法有效性后，本文再利用腹腔手術(shù)訓(xùn)練平臺進(jìn)行手術(shù)器械的識別跟蹤實驗，并選擇具有比較穩(wěn)定邊緣和顏色特征的手術(shù)抓鉗作為實驗對象。

2.3 目標(biāo)檢測與追蹤

目標(biāo)檢測與追蹤部分以微創(chuàng)手術(shù)抓鉗器械前端為檢測目標(biāo)，在腹腔鏡訓(xùn)練器實驗平臺上進(jìn)行測試，觀察追蹤效果。隨后將兩把器械進(jìn)行多次接觸，追蹤點可以在器械之間相互傳遞，以實時轉(zhuǎn)換追蹤目標(biāo)，適用于器械切換的場合。實驗中器械追蹤與傳遞過程如圖3所示。經(jīng)過20次重復(fù)實驗，視頻畫面的幀速率穩(wěn)定在30fps，在整個過程中不會感覺到明顯卡頓，對抓鉗識別的準(zhǔn)確率達(dá)到了95%，并且在追蹤過程中不會丟失目標(biāo)，在兩把器械之間的目標(biāo)轉(zhuǎn)換也可以順利完成。該功能后期還可實現(xiàn)對持鏡機(jī)器人的自動控制，保持手術(shù)器械在視野中央，以避免視野丟失造成的不便。

為了驗證算法在真實手術(shù)環(huán)境下的表現(xiàn)，將一段腹腔鏡下的膽囊摘除手術(shù)視頻導(dǎo)入軟件中，標(biāo)記膽囊為追蹤目標(biāo)，觀察手術(shù)過程中的實時追蹤效果。實驗結(jié)果表明，在整個手術(shù)過程中，對膽囊的識別追蹤效果良好，器械的遮擋和干擾不會造成追蹤目標(biāo)脫離，具有較好的穩(wěn)定性。實驗過程如圖4所示。

實驗結(jié)果顯示，邊緣檢測模板匹配算法在較暗的光照條件下依然有良好的識別準(zhǔn)確性，可適應(yīng)內(nèi)窺鏡工作環(huán)境，并且改進(jìn)算法能夠較好地識別與追蹤規(guī)定目標(biāo)。

3 結(jié)語

本文對傳統(tǒng)目標(biāo)識別檢測算法進(jìn)行改進(jìn)，提出一種適用于醫(yī)用內(nèi)窺鏡的圖像處理算法。該算法在實時性、魯棒性等方面均可滿足臨床需求，且算法簡單、機(jī)理清晰，在目標(biāo)與識別追蹤方面取得了較好效果。

盡管本研究在實驗室條件下實現(xiàn)了預(yù)期功能，但在實際臨床應(yīng)用中會面臨更加復(fù)雜的工作環(huán)境，所以未來工作將從以下兩方面展開：本文只研究了對單個目標(biāo)物體的跟蹤情況，尚未涉及對多目標(biāo)的識別跟蹤，然而多目標(biāo)識別跟蹤在臨床上有很重要的應(yīng)用價值，因此未來需要對多目標(biāo)物體跟蹤作進(jìn)一步研究[21];本文設(shè)計的目標(biāo)跟蹤系統(tǒng)在結(jié)構(gòu)上還有待完善，包括對運行邏輯系統(tǒng)進(jìn)行優(yōu)化，以及增加并行處理等，從而使系統(tǒng)跟蹤效率進(jìn)一步提高。

參考文獻(xiàn)：

[1]孟祥峰，李寧，劉艷珍，等. 光學(xué)內(nèi)窺鏡系統(tǒng)色還原性測試方法研究[J]. 中國醫(yī)療設(shè)備， 2016（12）：104-106，112.

[2]薛林. 醫(yī)用3D內(nèi)窺鏡系統(tǒng)的應(yīng)用現(xiàn)狀與展望[J]. 電視技術(shù)，2013，37（z2）：457-459.

[3]陳慶. 醫(yī)用內(nèi)窺鏡關(guān)鍵技術(shù)的研究[J]. 中國醫(yī)療設(shè)備，2015，30（4）：68-70.

[4]馮大偉， 姜會林， 張光偉. 基于雙目立體視覺的醫(yī)用三維電子內(nèi)窺鏡系統(tǒng)[J]. 長春理工大學(xué)學(xué)報：自然科學(xué)版， 2012， 35（1）：38-42.

[5]BU X Z， LI G J， YANG B， et al. Fast unwrapping of panoramic annular image with center deviation[J]. Optics and Precision Engineering， 2012， 20（9）：2103-2109.

[6]HAFNER M，BRUNAUER L，PAYER H，et al.? Computer-aided classification of zoom-endoscopical images using Fourier filters.[J]. IEEE Transactions on Information Technology in Biomedicine， 2010， 14（4）：958-970.

[7]CHARISIS V S，HADJILEONTIADIS L J. Use of adaptive hybrid filtering process in Crohn s disease lesion detection from real capsule endoscopy videos[J]. Healthcare Technology Letters，2016， 3（1）：27-33.

[8]HUANG C R， CHEN Y T， CHEN W Y， et al. Gastroesophageal reflux disease diagnosis using hierarchical heterogeneous descriptor fusion support vector machine[J]. IEEE Transactions on Biomedical Engineering， 2015，63（3）： 588-599.

[9]ZHANG R， ZHENG Y，MAK T W C，et al. Automatic detection and classification of colorectal polyps by transferring low-level CNN features from nonmedical domain[J]. IEEE Journal of Biomedical and Health Informatics， 2017， 21（1）：41-47.

[10]GEE T， DELMAS P， JOLY S， et al. A dedicated lightweight binocular stereo system for real-time depth-map generation[C].Design & Architectures for Signal & Image Processing. IEEE， 2017.

[11]ZHOU G， JIANG L， HUANG J， et al. FPGA-based on-board geometric calibration for linear CCD array sensors[J]. Sensors， 2018， 18（6）：1794.

[12]AOKI H，YAMASHITA H，MORI T， et al. Ultrahigh sensitivity endoscopic camera using a new CMOS image sensor[J]. Surgical Endoscopy， 2014， 28（11）：3240-3248.

[13]田軍委，牛秀娟，趙彥飛. 基于動態(tài)模板匹配的運動目標(biāo)識別[J]. 機(jī)械與電子， 2017， 35（1）：77-80.

[14]劉洋洋，嵇啟春. 一種改進(jìn)的模板匹配的數(shù)字識別算法[J]. 工業(yè)控制計算機(jī)， 2010， 23（5）：76-77.

[15]符亞彬. 基于Logo標(biāo)志檢測的暴恐視頻識別系統(tǒng)的設(shè)計與實現(xiàn)[D]. 北京：北京交通大學(xué)，2016.

[16]崔政，李壯. 兩種改進(jìn)的模板匹配識別算法[J]. 計算機(jī)工程與設(shè)計，2006， 27（6）：1083-1085.

[17]趙巨波，孫華燕，杜巍. 一種圖像邊緣特征提取算法[J]. 光學(xué)精密工程，2000， 8（4）：325-327.

[18]任世卿，王思思，薛桐. 一種避免遮擋物影響的運動目標(biāo)檢測方法[J]. 電腦知識與技術(shù)， 2015， 11（17）：160-162.

[19]張辰，彭玉旭. 基于HSV非均勻量化的CAMshift目標(biāo)跟蹤算法[J]. 智能計算機(jī)與應(yīng)用， 2017， 7（3）：21-25.

[20]堯燕. 基于OpenCV多源圖像的整合研究[J]. 湖南工程學(xué)院學(xué)報：自然科學(xué)版， 2015， 25（2）：59-61.

[21]劉闖. 基于特征融合和Mean Shift的多目標(biāo)跟蹤方法研究[D].蘇州：蘇州大學(xué)， 2009.

（責(zé)任編輯：黃 健）

收稿日期：2019-04-28

基金項目：國家自然科學(xué)基金重點項目（51735003）;上海市科研計劃項目（18441900200）

作者簡介：張志陽（1991-），男，上海理工大學(xué)醫(yī)療器械與食品工程學(xué)院碩士研究生，研究方向為醫(yī)學(xué)圖像處理技術(shù);宋成利（1968-），男，博士，上海理工大學(xué)醫(yī)療器械與食品工程學(xué)院教授、博士生導(dǎo)師，研究方向為微創(chuàng)醫(yī)療器械、智能材料和生物力學(xué);李良（1995-），男，上海理工大學(xué)醫(yī)療器械與食品工程學(xué)院碩士研究生，研究方向為醫(yī)學(xué)圖像處理技術(shù);李良敏（1992-），男，上海理工大學(xué)醫(yī)療器械與食品工程學(xué)院碩士研究生，研究方向為機(jī)器視覺。本文通訊作者：宋成利。