蘇?赫，白?雪

基于單目視頻的手術器械相對工作空間估計方法

蘇?赫，白?雪

(天津大學機械工程學院，天津 300354)

由于單目手術視頻的鏡頭參數(shù)未知，僅憑該單目圖像難以準確估算內鏡鏡頭下的手術器械的三維坐標．針對這一問題，提出一種手術器械相對工作空間的估計方法．首先，對用U-Net網(wǎng)絡分割后的掩膜圖像進行直線檢測，對圖像坐標系下的直線映射到參數(shù)空間上的點進行聚類，從而優(yōu)化直線檢測效果．然后，利用邊緣線段的相對幾何位置特征對因網(wǎng)絡分割效果欠佳導致的邊緣線段殘缺進行補足，從而提取出與目標邊緣高度擬合的完整線段. 結合目標器械實際尺寸與圖像尺寸間的比例關系，利用平行線在投影平面上的消隱點特性計算出目標器械目標點處的實際三維坐標．最后，進行測距實驗和軌跡跟蹤實驗. 實驗結果表明：該方法較磁導航傳感器準確度高、魯棒性強，距離測量精度可達2.6581mm，軌跡擬合度達91.2%，滿足實際情況下手術器械相對工作空間的估算要求．

工作空間；單目視覺；三維坐標估算；手術機器人

進入21世紀，隨著以由美國Intuitive Surgical公司開發(fā)的da Vinci機器人系統(tǒng)[1]為代表的手術機器人的開發(fā)并迅速投入臨床應用，第三代外科手術時代到來[2]．微創(chuàng)手術機器人在傳統(tǒng)微創(chuàng)手術優(yōu)點的基礎上，還具有精度高、可單人施術、省力、學習曲線短、工作空間污染少、可遠程手術等優(yōu)點，在時空層面減少手術條件限制，極大程度提高手術效率．為最大程度地拓展手術醫(yī)生操作能力，手術機器人的自由度更高，故而整體結構復雜．由于其從操作端上安裝的手術器械工作在狹小的人體內部空間，所以從操作端工作空間設置不當會導致器械干涉的問題，其主從分離式結構[3]也會產生一定的人機交互困難的問題，導致手術機器人術前規(guī)劃困難．因而研究微創(chuàng)手術所需的操作空間和操作模式對手術機器人的結構設計、運動控制系統(tǒng)設計和手術切口設置有重要意義．

手術器械運動空間檢測的方法有兩類，分別是基于運動學或外設傳感器的方法和基于視覺的方法.前者通過用正運動學原理將機器人各關節(jié)運動映射到器械末端，或者在末端添設傳感器直接跟蹤，該類方式直接簡單、準確度高，但其關節(jié)位姿映射存在一定的誤差，增設傳感器需在手術中器械上進行改造，存在臨床消毒等問題，進行大數(shù)據(jù)統(tǒng)計亦存在成本高和很難征招志愿者等困難．基于視覺的方法是一種無接觸的器械跟蹤方法，主要分為兩類，基于標記點特征的方法和基于目標特征的方法.前者需要在器械上附加帶有特殊顏色的標記，會對手術有影響，而基于手術器械特征進行識別跟蹤的方法無需額外添加標記，僅僅通過視覺圖像求解，但該方法較其他方法精度較低．Zhang等[4]提出基于深度學習的無標記手術器械追蹤框架，將手術器械關節(jié)定義為追蹤點，在跟蹤精度和速度上均有較好的效果．Peng等[5]提出基于YOLO網(wǎng)絡預測的箭頭對象邊界框器械尖端自主識別方法，該方法實現(xiàn)器械關鍵部位的識別和定位，具有36.5幀/s的速度和較高的準確率效果，但該方法僅實現(xiàn)于二維圖像中的器械跟蹤．

單目內窺鏡體積更小、自由度更大，但單目三維目標檢測區(qū)別于多目三維目標檢測，其最大的難點在于深度的估計，對此，當前用于單目內窺鏡的深度估計研究方法分為傳統(tǒng)的三維重建方法和基于深度學習的方法．Mahmoud等[6]利用改進的單目ORB-SLAM算法來估計內窺鏡場景位置和手術場景的3D結構，但其重建地圖稀疏，只能用于內窺鏡定位．Phan等[7]提出了結合密集光流的交叉矩陣結構(switch fabric module，SFM)的圖像表面重建方法，該方法改進弱紋理區(qū)域的特征匹配效果，用于胃鏡下的三維重建．岑仕杰等[8]使用位姿估計網(wǎng)絡提供無監(jiān)督數(shù)據(jù)，結合雙重注意力模塊對自然場景進行深度估計，但該方法位姿估計準確性較低．

當前較為成熟的單目深度估計研究主要在自動駕駛領域，有3種方法：使用深度估計、使用激光雷達引導和直接回歸的方法[9]. CaDDN方法[10]跳脫出精確估計深度的桎梏，提出估計深度范圍的方法，將連續(xù)值的回歸問題轉化為離散值的分類問題，減小深度預測難度，提高三維檢測效果；MonoPSR方法[11]利用了邊框預判和形狀重構等方法，降低三維定位難度，提高準確率；直接回歸的方法往往借助于幾何先驗條件，利用目標的幾何關系、關鍵點等已知條件回歸目標深度．這些方法由于應用在自動駕駛中，其目標物體多數(shù)較為單一，如行人、車輛等，尺寸類型較少，因而進行3D包圍盒的檢測時更偏向于全包括性而非獲得實際深度尺寸．

內窺鏡系統(tǒng)因其具有超清圖像、高亮度發(fā)光二極管(light emitting diode，LED)冷光源特點，可將手術視野穩(wěn)定并完美呈現(xiàn)[12]，除為術者提供清晰的手術操作圖像、提高手術效率、降低病人不適感和手術復雜度外，醫(yī)療內鏡拍攝的視頻也常用于術后臨床病例討論、遠程會診和教學中，為教學、科研提供可靠的資料．

當下，以達芬奇為主的手術機器人由于其售價高、耗材花費大、常用器械使用次數(shù)少導致的單次使用成本高等問題，導致普通人負擔不起巨額手術費，再加上長期以來中國醫(yī)保并未覆蓋到機器人輔助手術，所以中國的手術機器人市場滲透率極低[13]．而部分國內手術機器人公司研發(fā)出術式較少的機器人，如微創(chuàng)醫(yī)療機器人自主研發(fā)的適用于機器人輔助腹腔鏡根治性前列腺切除術(robot-assisted laparoscopic radical prostatectomy，RALRP)的圖邁腔鏡手術機器人[14]、適用于全膝關節(jié)置換術(total knee arthroplasty，TKA)的鴻鵠骨科機器人等[15]，該類手術機器人雖部分尚處于研發(fā)過程中還未投入使用，但因其術式較少，可助力專用手術的標準化診療流程建設，其成本顯著下降，因而這類機器人或將更有研究和應用價值．而手術的實時錄像不僅可作為術者的術中參考，還可以在專用手術機器人的結構設計、運動控制、術前規(guī)劃等方面提供指導作用．

本文基于單目手術視頻，將對其語義分割后的掩膜圖像作為輸入，結合消隱點特性和手術器械的直線特征，對單目視頻中的手術器械相對于鏡頭的三維坐標進行估算，并繪制出器械的運動軌跡，從而獲得手術器械的操作空間，該方法可在專用手術機器人的結構設計、運動控制、術前規(guī)劃等方面提供指導作用．

1?本文研究方法

為了滿足操作空間計算的準確性，本文提出的手術器械操作空間估計方法利用消隱點特性和目標器械幾何特征來計算單目視覺下的手術器械三維位姿．該方法基于對單目手術視頻圖像的分析，在內鏡運動參數(shù)以及內參未知的情況下，以U-Net網(wǎng)絡語義分割得到的掩膜為輸入數(shù)據(jù)，結合霍夫變換原理，提出直線檢測優(yōu)化方法，結合目標器械特征優(yōu)化邊緣重繪效果，最后利用消隱點特性，建立模型并推導出手術器械的相對三維坐標，構成手術器械操作空間．本文算法流程如圖1所示．

圖1?本文算法流程

1.1?直線檢測與刀柄邊緣重繪

基于霍夫變換原理，引入相似者相同的方法優(yōu)化直線檢測效果，并針對因網(wǎng)絡分割不準確等引起的識別不完整問題，采用目標長度比較的方法獲得更為接近的邊緣重繪結果．

在對掩膜圖像進行直線檢測時，由于U-Net網(wǎng)絡對圖像進行先壓縮后擴展操作，導致圖像邊緣出現(xiàn)鋸齒效應[16]，加上圖像本身因光照、快速運動等原因出現(xiàn)邊界不清晰、掩膜圖像有波浪狀缺失的情況，此時直線檢測效果較差，無法提取有效信息．利用霍夫變換[17]將圖像空間上的直線映射到參數(shù)空間上的點的原理，對其參數(shù)空間點坐標進行閾值限定，優(yōu)化直線檢測效果．

圖2?霍夫變換原理示意

然而在實際應用中，由于光照、快速運動、虛焦等原因產生的模糊邊緣以及圖像分割時產生的鋸齒效應等使得直線檢測效果變差，無法得到有效邊緣線段，故需對此進行優(yōu)化．

(2) 根據(jù)線段的值的正負判斷線段方向，求得合成線段的兩端點坐標；

兩端點坐標暫不分前后，優(yōu)化效果如圖3所示. 圖3(a)為掩膜圖像上直線檢測的圖像；圖3(b)為單獨的直線檢測效果，其中存在許多斷續(xù)的短線段；圖3(c)為優(yōu)化后的直線檢測效果，經過該優(yōu)化后，斷?續(xù)的短線段結合為完整的長線段，其優(yōu)化效果直觀?可見．

圖3?直線檢測優(yōu)化效果

在實際圖像分割時，由于光照、特征相似、遮擋等原因，往往出現(xiàn)目標分割不完整的問題，這對形狀較為規(guī)則的目標的邊緣重繪影響極大，而針對每張圖片的分割效果進行直線檢測閾值調整工作量巨大且無法自動化實現(xiàn)，而采用自適應閾值[18]等方法對原圖像的分割效果進行優(yōu)化不能針對性地解決部分數(shù)據(jù)分割效果差的問題．所以在手術刀柄邊緣重繪時，選取過邊線較遠端點與骨線相垂直的線段作為器械末端的有效識別半徑，實現(xiàn)方法如下．

其通過兩刀頭端點有不同截距，其表達式分別為

圖5?邊緣重繪優(yōu)化效果

1.2?結合消隱點特性估算器械相對操作空間

歐氏空間中兩條平行直線相交于無窮遠點，在理想小孔模型下，兩條平行直線經過攝像機得到的投影交點稱為消隱點(vanish point)[19]，它是無窮遠點在平面上的投影．

目標手術器械刀柄為圓柱體，故其兩條可視母線(即上文提到的邊線)也是兩條平行直線，其在圖像上也會交于一消隱點，利用該特性可求出圖像視野內刀柄部分實際長度．繪制器械柄部在投影平面上示意如圖6所示．

圖6?器械投影平面上消隱點示意

(14)

已知在同一深度距離下，兩物體的實際尺寸之比等于圖像尺寸之比，即

若器械上某點處深度距離與參考圖片中某處距離相同，則其圖像尺寸之比等于其實際尺寸之比，若距離不同，則在圖中繪制出其相應比例的圖像尺寸，將消隱點與等深度下圖像端點相連，延長至實際圖像尺寸上，此時該交點對應坐標值即為該點處的實際深度坐標．

2?實驗分析

2.1?實驗設備及步驟

為了證明所提出的三維位姿檢測算法的有效性、可行性和結果的準確性，本文采用NDI Aurora電磁傳感器作為驗證依據(jù)，該傳感器參數(shù)[21]如表1所示，使用直徑4.78mm(±2mm)手持器械、Lap Game腹腔鏡手術模擬訓練箱和直桿腹腔鏡進行實驗，實驗裝置如圖8所示．首先驗證兩器械末端端點間距離檢測結果的準確性，然后進行器械末端跟蹤實驗，得到與電磁傳感器軌跡相匹配的結果，最后根據(jù)所得實驗結果進行特定軌跡繪制實驗，驗證本文方法較電磁傳感器的準確性更好．

表1?NDIAurora電磁傳感器參數(shù)

Tab.1?Parameters of NDI Aurora electromagnetic sensor

本文所采用數(shù)據(jù)集均為大小1080×1920分辨率、25幀/s的實拍視頻，數(shù)據(jù)預處理方法流程如下．

圖8?實驗裝置及環(huán)境

(1) 輸入一段視頻．

(2) 對視頻隔幀截取，獲得一組圖片，得到待預測樣本．

(3) 對待預測樣本抽取10%，即對70張圖片使用Labelme標記工具進行數(shù)據(jù)標記，生成訓練集．

(4) 將訓練集輸入U-Net網(wǎng)絡進行訓練，并將全部待預測樣本進行預測．U-Net網(wǎng)絡運行環(huán)境為：Windows10系統(tǒng)，Python3.7，Tensorflow1.13.1，keras2.2.4；網(wǎng)絡相關參數(shù)：batch size＝2，epoch＝200．其損失曲線如圖9所示，可見其迭代至60步就已趨于穩(wěn)定，訓練集整體損失loss穩(wěn)定至0.004，同時驗證集整體損失val_loss穩(wěn)定至0.012，且兩者同步下降，說明訓練良好，未出現(xiàn)過擬合現(xiàn)象，最終進行預測得到分割掩膜圖片，即為本文所需數(shù)據(jù)集．

圖9?U-Net網(wǎng)絡的loss曲線

2.2?器械末端端點間距離實驗

實驗前將電磁傳感器分別用透明膠固定在兩器械柄部末端，固定直桿腹腔鏡保證相機不發(fā)生相對運動，固定器械位置，手動測量兩器械上傳感器間距離并拍攝圖片，同時使電磁傳感器識別兩器械的坐標，共拍攝并測量12組數(shù)據(jù)．

圖10?器械柄部末端距離實驗數(shù)據(jù)

分析得知，NDI磁導航傳感器定位結果產生較大偏移，磁導航傳感器工作時將其磁針的磁場強度與磁針的磁場特性結合從而確定磁導航傳感器的位置，在其使用環(huán)境中，手術器械上的金屬材料使得傳感器周圍磁場發(fā)生變化，導致傳感器定位偏移，該偏移量穩(wěn)定在11mm左右．計算得磁導航傳感器偏差均值為10.2753mm，本文算法偏差均值為2.6581mm，磁導航傳感器誤差標準差為0.07855mm，本文誤差標準差為0.07330mm，可見本文方法較磁導航傳感器定位更準確，且其誤差離散程度更?。?/p>

由于當下基于單目視覺的手術器械定位方法均需要進行相機標定或已知相機內參，而本算法無需此步驟，故與幾個常用的手術器械定位方法進行比較從而說明其可用性．表2比較了多種手術導航定位與跟蹤系統(tǒng)的平均定位精度，從表中可見，本研究提出的估計方法精度接近手術導航定位精度，且其無需增設任何設備，也不需要進行相機標定，相較之下具有一定的先進性．

表2?不同定位方法精度比較

Tab.2 Comparison of accuracy of different positioning methods

2.3?器械末端跟蹤實驗

該實驗僅需跟蹤單個手術器械的運動軌跡，故僅在一把手術器械柄部末端貼上電磁傳感器，實驗過程中同時進行視頻錄制和電磁傳感器跟蹤，操作時將器械進行緩慢移動，移動軌跡盡量清晰簡單，共設置5組實驗，每組實驗錄制時長60s，視頻幀率為25幀/s.對視頻每隔15幀截取圖片，獲得100組數(shù)據(jù)，NDI電磁傳感器的刷新頻率約為40次/s，故每隔8次取300組傳感器數(shù)據(jù)最終將本文算法估算得到的器械坐標與NDI電磁傳感器識別坐標分別進行軌跡繪制，5組實驗的軌跡如圖11所示．

可看出本文算法能夠較為準確地還原目標運動軌跡，與磁導航傳感器跟蹤獲得的軌跡相似程度高，圖12描述了5組實驗中兩方法的軌跡范圍對比，其偏差不超過3.2mm，由于傳感器與器械末端間相對姿態(tài)變化導致識別點存在1～2mm誤差[25]，且電磁傳感器精度大于2.0000mm[26]，可證明本文方法估算三維坐標達到準確率要求．

2.4?特定軌跡跟隨圖形擬合實驗

由器械末端端點間距離實驗可看出本文算法可獲得準確率較高的距離估算值，在器械末端跟蹤實驗中，對單個器械進行軌跡跟蹤實驗時，將其與電磁傳感器跟蹤數(shù)據(jù)軌跡進行對比也可見本文算法具有較好的軌跡匹配效果，然而由于第2.2節(jié)所述實驗1中電磁傳感器較真實測量值發(fā)生較大偏移，故進行特定尺寸軌跡跟蹤實驗，跟蹤實驗目標點如圖13中箭頭所指處．

首先繪制半徑為50mm的標準圓，將該圓固定于較為平整的平面上，將相機固定于任意合適位置. 以成像范圍覆蓋該標準圓為準，手持直徑為5mm的手持器械，使其柄部末端處沿著圓周緩慢運動并錄制該運動的視頻. 視頻時長30s，留有5s的數(shù)據(jù)同步時間以避免傳感器發(fā)生延遲等，從第6s開始運動，運動時長25s．截取該運動片段并對此每隔5幀截取圖片，獲得125組數(shù)據(jù)，進行數(shù)據(jù)集預處理. 然后用本文估算方法計算每組數(shù)據(jù)的實際坐標，將該125組離散點坐標輸入Matlab并進行標準圓擬合，得到半徑52.1801mm的擬合圓，擬合效果如圖14所示. 用擬合圓半徑與標準圓半徑之差再除以標準圓半徑得到擬合誤差，計算得具有4.36%的擬合誤差，擬合圓心坐標為(-32.3540，25.2230，11.8670)，通過計算離散點到擬合圓心的距離與理想圓半徑做差，得到偏差值，繪制離散圖如圖15所示，有114組數(shù)據(jù)在4.8mm偏差范圍內(91.2%的數(shù)據(jù)在此范圍內)．由于在實驗中進行手持器械沿圓周運動操作時存在軌跡本身不完全重合于理想圓的情況，操作中產生???±2mm以內的操作偏差，所以該實驗誤差可接受．

圖12?兩種方法軌跡范圍對比

圖13?特定軌跡跟蹤軌跡實驗

圖14?擬合圓效果

圖15?離散點擬合偏差

3?結?語

本文提出基于單目手術視頻的器械工作空間研究的方法，該方法利用深度學習網(wǎng)絡獲得的手術器械分割掩膜作為輸入，結合霍夫變換及投影平面上的平行線消隱點特性，建立直線檢測優(yōu)化模型并推導出目標點處的相對三維坐標．實驗表明，本文方法具有比磁導航傳感器更高的位置估計準確度和抗干擾性，測距偏差均值為2.6581mm，測距誤差標準差為0.07330mm，具有可行的定位精度和較小的誤差離散程度，獲得了較高的軌跡擬合程度和91.2%的軌跡擬合率．為僅提供單目手術圖像的條件下計算手術器械相對操作空間提供了可行性方案，對微創(chuàng)手術機器人的設計和手術切口設置具有重要的意義．

通過本文研究可知，基于單目視頻進行手術器械的三維坐標估算方法是可行的，該方法具有計算量少、無附加條件限制等優(yōu)點，但仍無法達到多目、外設傳感器等更成熟的方法的精度，且在對比實驗中存在難以避免的系統(tǒng)誤差．未來的研究方向可以考慮將單目視頻流的時序特征與卷積神經網(wǎng)絡相結合，有望進一步提高三維坐標估計精度．最后，進一步探索更好的模型框架，對相機運動進行估算也是本領域將來的研究方向之一．

［1］ Guthart G S，Salisbury J K. The intuitiveTMtelesurgery system：Overview and application[C]//IEEE Interna-tional Conference on Robotics & Automation(ICRA). San Francisco，USA，2000：618-621.

［2］ 安芳芳，荊朝俠，彭?燕，等. 達芬奇機器人的“前世、今生、來世”[J]. 中國醫(yī)療設備，2020，35(7)：148-151，168.

An Fangfang，Jing Zhaoxia，Peng Yan，et al. The past，present and future of the da Vinci robot[J]. China Medical Equipment，2020，35(7)：148-151，168(in Chinese).

［3］ 倪志學. 腹腔微創(chuàng)手術機器人控制系統(tǒng)研究[D]. 長春：吉林大學機械與航空航天工程學院，2021.

Ni Zhixue. Research on the Robot Control System for Minimally Invasive Abdominal Surgery[D]. Chang-chun：School of Mechanical and Aerospace Engineer-ing，Jilin University，2021(in Chinese).

［4］ Zhang J Y，Gao X. Object extraction via deep learning-based marker-free tracking framework of surgical instruments for laparoscope-holder robots[J]. International Journal of Computer Assisted Radiology and Surgery，2020，15(8)：1335-1345.

［5］ Peng J，Chen Q，Kang L，et al. Autonomous recognition of multiple surgical instruments tips based on arrow OBB-YOLO network[J]. IEEE Transactions on Instrumentation and Measurement，2022，71：1-13.

［6］ Mahmoud N，Cirauqui I，Hostettler A，et al. ORBSLAM-based endoscope tracking and 3D reconstruc-tion[C]// International Workshop on Computer-Assisted and Robotic Endoscopy(CARE). Qubec City，Canada，2017：72-83.

［7］ Phan T B，Trinh D H，Lamarque D，et al. Dense optical flow for the reconstruction of weakly textured and structured surfaces：Application to endoscopy[C]// IEEE International Conference on Image Processing(ICIP). Taipei，China，2019：310-314.

［8］ 岑仕杰，何元烈，陳小聰. 結合注意力與無監(jiān)督深度學習的單目深度估計[J]. 廣東工業(yè)大學學報，2020，37(4)：35-41.

Cen Shijie，He Yuanlie，Chen Xiaocong. A monocular depth estimation combined with attention and unsupervised deep learning[J]. Journal of Guangdong University of Technology，2020，37(4)：35-41(in Chinese).

［9］ Ma X Z，Ouyang W L，Simonelli A，et al. 3D object detection from images for autonomous driving：A survey[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). New Orleans，USA，2022.

［10］ Reading C，Harakeh A，Chae J，et al. Categorical depth distribution network for monocular 3D object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2021：8551-8560.

［11］ Ku J，Pon A D，Waslander S L. Monocular 3D object detection leveraging accurate proposals and shape reconstruction[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Long Beach，USA，2019：11867-11876.

［12］ Bao Y D，Li K，Qi D B，et al. Recent patents on the structure of medical endoscope[J]. Recent Patents on Engineering，2022，16(4)：81-95.

［13］ Zhang W，Li H Y，Cui L L，et al. Research progress and development trend of surgical robot and surgical instrument arm[J]. The International Journal of Medical Robotics＋Computer Assisted Surgery，2021，17(5)：e2309.

［14］ 微創(chuàng)醫(yī)療. 圖邁?腔鏡手術機器人[EB/OL]. https:// www.microport.com.cn/health/product/109.html，2022-06-13.

MicroPort. Toumai? endoscopic surgery robot [EB/OL]. https://www.microport.com.cn/health/product/ 109. html，2022-06-13(in Chinese).

［15］ 微創(chuàng)醫(yī)療. 鴻鵠?骨科手術機器人[EB/OL]. https:// www.medbotsurgical.com/patientcare/robot/guke，2022-06-13.

MicroPort. Honghu(SkyWalker? for FDA(510k)) [EB/OL]. https://www.medbotsurgical.com/patientcare/ robot/guke，2022-06-13(in Chinese).

［16］ 李雄宗，李翠華，張丹瑩，等. 一種柔化鋸齒的超分辨率圖像重建方法[J]. 廈門大學學報(自然科學版)，2012，51(3)：348-352.

Li Xiongzong，Li Cuihua，Zhang Danying，et al. A method of softening the jagged in image super-resolution reconstruction[J]. Journal of Xiamen University(Natural Science)，2012，51(3)：348-352(in Chinese).

［17］ Ballard D H. Generalizing the Hough transform to detect arbitrary shapes[J]. Pattern Recognition，1981，13(2)：111-122.

［18］ 劉川熙，趙汝進，劉恩海，等. 基于RANSAC的SIFT匹配閾值自適應估計[J]. 計算機科學，2017，44(增1)：157-160.

Liu Chuanxi，Zhao Rujin，Liu Enhai，et al. Estimate threshold of SIFT matching adaptively based on RANSAC[J]. Computer Science，2017，44(Suppl1)：157-160(in Chinese).

［19］ 關?闖，魏?朗，喬?潔，等. 一種基于消隱點的單目視覺車輛測距方法[J]. 電子測量技術，2018，41(11)：83-87.

Guan Chuang，Wei Lang，Qiao Jie，et al. A vehicle distance measurement method with monocular vision based on vanishing point[J]. Electronic Measurement Technology，2018，41(11)：83-87(in Chinese).

［20］ 畢嘉楨，沈?拓，張軒雄. 基于機器視覺的軌道交通自動測距研究[J]. 電子科技，2022，35(9)：1-7.

Bi Jiazhen，Shen Tuo，Zhang Xuanxiong. A research on distance measurement between trains in rail transit based on machine vision[J]. Electronic Science and Technology，2022，35(9)：1-7(in Chinese).

［21］ NDI. Product[EB/OL]. https://www.ndigital.cn/，2022-07-11.

［22］ 孫九愛，莊天戈. 計算機輔助外科手術中被動多眼定位方法[J]. 上海交通大學學報(自然科學版)，2002，36(1)：76-78.

Sun Jiu’ai，Zhuang Tiange. Passive multi-eye localizing method in computer assisted surgery[J]. Journal of Shanghai Jiaotong University(Natural Science Edition)，2002，36(1)：76-78(in Chinese).

［23］ 王遵亮. 圖像導航外科手術光學三維定位系統(tǒng)的研究與開發(fā)[D]. 南京：東南大學生物科學與醫(yī)學工程系，2002.

Wang Zunliang. Research and Development of Optical 3D Positioning System for Image Navigation Surgical Operation[D]. Nanjing：School of Biological Science & Medical Engineering，Southeast University，2002(in Chinese).

［24］ 陳?為，Georios Sakas，彭群生. 手動式電磁定位及圖像導航的短徑癌癥放射治療系統(tǒng)[J]. 計算機輔助設計與圖形學學報，2002，14(9)：870-877.

Chen Wei，Georios S，Peng Qunsheng. A free hand navigation system for brachytherapy[J]. Journal of Computer Aided Design &Computer Graphics，2002，14(9)：870-877(in Chinese).

［25］ 郭兆君，丁?輝，王廣志，等. 手術導航中定位跟蹤系統(tǒng)精度問題的研究[J]. 北京生物醫(yī)學工程，2008，27(2)：146-150.

Guo Zhaojun，Ding Hui，Wang Guangzhi，et al. Research of orientation and tracking system accuracy in image guide surgery[J]. Beijing Biomedical Engineering，2008，27(2)：146-150(in Chinese).

［26］ 姜立軍，甘東兵，王國榮. 基于雙目視覺傳感的計算機輔助骨外科手術導航模型[J]. 華南理工大學學報(自然科學版)，2006，34(2)：67-72.

Jiang Lijun，Gan Dongbing，Wang Guorong. Navigation model of computer-assisted orthopedic surgery based on binocular vision sensor[J]. Journal of South China University of Technology(Natural and Science Edition)，2006，34(2)：67-72(in Chinese).

Relative Workspace Estimation Method of Surgical Instruments Based on Monocular Video

Su He，Bai Xue

(School of Mechanical Engineering，Tianjin University，Tianjin 300354，China)

It is difficult to accurately estimate the three-dimensional coordinates of surgical instruments under an endoscopic lens based on the monocular image because the lens parameters of monocular surgical video are unknown. Consequently，a method for estimating the relative workspace of surgical instruments is proposed to address this difficulty. First，the straight lines in the mask image segmented by U-Net were detected，and the points mapped from straight lines in the image coordinate to parameter space were grouped to maximize the effect of straight-line detection.Second，to make up for the incomplete lines caused by poor network segmentation，the edge segment’s geometric position feature was used by extracting the complete segment with a high degree of fit with the edge of the target. Furthermore，the actual 3D coordinate estimation of the target equipment was calculated using the proportional relationship between the actual and image size of the target instrument and the characteristics of the parallel line’s vanishing point. Finally，ranging and trajectory tracking experiments were conducted. The experimental results show that this method has higher accuracy and robustness than magnetic navigation sensors，and it achieves a distance measurement accuracy of 2.6581mm and a trajectory fitting degree reaching 91.2%，which meets the requirements of the relative workspace estimation of surgical instruments in the actual situation.

workspace；monocular vision；3D coordinate estimation；surgical robot

10.11784/tdxbz202206022

TP391

A

0493-2137(2023)08-0785-11

2022-06-05；

2022-09-10.

蘇?赫（1984—??），男，博士，副教授，suhe@tju.edu.cn.Email：m_bigm@tju.edu.cn

白?雪，snowwhite29@126.com.

國家自然科學基金資助項目(52175028).

the National Natural Science Foundation of China(No. 52175028).

(責任編輯：王曉燕)