郭俊廣 谷飛飛 葉于平 宋 展,3*

1(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(中國(guó)科學(xué)院大學(xué) 北京 100039)

3(粵港澳人機(jī)智能協(xié)同系統(tǒng)聯(lián)合實(shí)驗(yàn)室 深圳 518055)

1 引 言

內(nèi)窺鏡是一種集傳統(tǒng)光學(xué)、人體工程學(xué)、精密器械、現(xiàn)代電子、數(shù)學(xué)和軟件為一體的新型無(wú)損檢測(cè)儀器[1]，可以擴(kuò)大視距和視野，提高觀察分辨率。內(nèi)窺鏡由于可以在受限的空間(如人體)及高溫、高壓、有毒有害的環(huán)境中工作，所以在醫(yī)療診斷和工業(yè)檢測(cè)中成為非常重要的成像工具[2]。在工業(yè)領(lǐng)域，內(nèi)窺鏡在發(fā)動(dòng)機(jī)、齒輪箱等機(jī)械不拆卸的情況下，就可以準(zhǔn)確、清晰地檢測(cè)其內(nèi)部情況；在醫(yī)療領(lǐng)域，醫(yī)生可以通過(guò)內(nèi)窺鏡對(duì)病人病患處進(jìn)行檢查，也可以將電子內(nèi)窺鏡作為圖像采集設(shè)備來(lái)輔助微創(chuàng)手術(shù)。隨著三維測(cè)量技術(shù)的不斷發(fā)展，三維測(cè)量與三維重建在工業(yè)和醫(yī)療領(lǐng)域有著越來(lái)越重要的意義[3]，三維測(cè)量?jī)?nèi)窺鏡成為了一個(gè)熱門研究課題[4]。2006 年，Hayashibe等人研究了一種基于激光掃描三維技術(shù)的內(nèi)窺鏡系統(tǒng)[5]，實(shí)現(xiàn)了內(nèi)窺鏡的立體成像；2015 年，Yang 等人提出了一種融合三維超聲波掃描技術(shù)的內(nèi)窺鏡手術(shù)跟蹤系統(tǒng)[6]，將超聲構(gòu)造的場(chǎng)景幾何與內(nèi)窺鏡視覺結(jié)合，解決了尺度模糊和特征點(diǎn)不足的問(wèn)題；2016 年，F(xiàn)urukawa 等人設(shè)計(jì)了一種內(nèi)置衍射光學(xué)元件(DOE)投影儀的內(nèi)窺鏡[7]，并提出了一種基于網(wǎng)格線的網(wǎng)格模式與間隙編碼，成功地重建了人體的軟組織形狀；2017 年，周亭亭提出了基于散斑結(jié)構(gòu)光的雙目電子內(nèi)窺鏡技術(shù)[8]，針對(duì)腹腔弱紋理真實(shí)場(chǎng)景，解決了被測(cè)物體表面弱紋理導(dǎo)致誤匹配問(wèn)題，并實(shí)現(xiàn)了較高分辨率的測(cè)量精度。

目前，美國(guó)和日本對(duì)內(nèi)窺鏡的研究在全球處于領(lǐng)先地位，美國(guó)韋林公司的 Mentor Visual iQTM系列[9]內(nèi)窺鏡產(chǎn)品和日本奧林巴斯公司的 EVIS LUCERA ELITE 電子內(nèi)窺鏡系統(tǒng)[10]，基本壟斷了國(guó)內(nèi)外電子內(nèi)窺鏡的高端市場(chǎng)。這些產(chǎn)品都具有測(cè)量長(zhǎng)度、深度、周長(zhǎng)和面積的功能，但不具備稠密重建的能力，且產(chǎn)品價(jià)格不菲，售后服務(wù)費(fèi)用高昂。以上海澳華內(nèi)鏡股份有限公司和北京愛迪泰克科技有限公司等為代表的國(guó)內(nèi)企業(yè)，其內(nèi)窺鏡直徑可以做到 1～10 mm，但不具備立體重建測(cè)量功能。2019 年，沈陽(yáng)沈大內(nèi)窺鏡有限公司和北京德朗檢視科技有限公司分別推出了一款具有三維測(cè)量功能的內(nèi)窺鏡產(chǎn)品，其探頭外徑分別為 6 mm 和 8 mm，與國(guó)際高端三維內(nèi)窺鏡相比，探頭尺寸偏大，一定程度上限制了應(yīng)用場(chǎng)景。因此，研發(fā)一款小尺寸且具備三維重建功能的電子內(nèi)窺鏡具有重要意義。

本文提出一種小尺寸探頭(探頭直徑為3.9 mm)，其包含兩個(gè)分辨率為 640×360(23 萬(wàn))像素的 CMOS 攝像機(jī)，基于散斑結(jié)構(gòu)光的高精度 3D 內(nèi)窺鏡系統(tǒng)。該內(nèi)窺鏡探頭可以進(jìn)入狹小空間觀測(cè)目標(biāo)物體，滿足大部分應(yīng)用場(chǎng)景。由于雙目?jī)?nèi)窺鏡的基線較窄(基線為 3.5 mm)，使用光學(xué)微型孔徑鏡頭會(huì)使拍攝出來(lái)的圖片存在大畸變、清晰度不足等不利情況。為此，本文提出一種雙目標(biāo)定參數(shù)優(yōu)化方法，來(lái)降低圖片畸變的影響，提高了雙目?jī)?nèi)窺鏡的標(biāo)定精度；針對(duì)左右像素的匹配精度直接影響內(nèi)窺鏡測(cè)量精度的問(wèn)題，本文提出一種沿著左右相機(jī)坐標(biāo)軸分別旋轉(zhuǎn)兩次的極線校正算法，可以實(shí)現(xiàn)左右圖像共面行對(duì)準(zhǔn)，進(jìn)而達(dá)到像素的精確匹配；針對(duì)實(shí)際場(chǎng)景中的弱紋理或無(wú)紋理區(qū)域，本文提出了基于散斑結(jié)構(gòu)光的半全局立體匹配方法，即將散斑圖案投射到目標(biāo)物體表面來(lái)增加特征信息后，利用半全局立體匹配算法獲取所拍攝圖像的視差圖，并通過(guò)三角測(cè)量原理獲取三維點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)三維重建。

2 系統(tǒng)工作原理

本文采用基于散斑結(jié)構(gòu)光的雙目?jī)?nèi)窺鏡系統(tǒng)，其硬件主要包括散斑照明系統(tǒng)和雙目?jī)?nèi)窺鏡系統(tǒng)。其中，散斑照明系統(tǒng)采用的投影儀是安華公司生產(chǎn)的 M8M-NIR 投射模組，顯示芯片為DLP4500NIR，物理分辨率為 912×1 140，最大投射頻率為 4 225 fps；雙目攝像頭所使用的圖像傳感器為 OmniVision 公司的 OVM9724 圖像傳感器，有 GND、VDD、P－(負(fù)極信號(hào)線)、D＋(正極信號(hào)線)4 個(gè)引腳，光學(xué)尺寸為 1/9 in，分辨率為 640×360，幀率最高為 30 fps，內(nèi)窺鏡探頭直徑為 3.9 mm，相應(yīng)基線為 3.5 mm，探頭的兩個(gè)攝像頭旁各有一個(gè)發(fā)光二極管作為冷光源進(jìn)行照明。使用過(guò)程中，散斑照明系統(tǒng)首先將散斑圖案投射到待測(cè)目標(biāo)物體表面，然后對(duì)雙目?jī)?nèi)窺鏡拍攝帶有散斑圖案的圖片進(jìn)行處理。

采用散斑結(jié)構(gòu)光技術(shù)進(jìn)行雙目三維重建的步驟包括：雙目相機(jī)標(biāo)定、極線校正、立體匹配和三維重建。其中，立體標(biāo)定、極線校正和立體匹配準(zhǔn)確性會(huì)影響三維重建精度，且高精度的立體標(biāo)定和極線校正是實(shí)現(xiàn)雙目左右圖像特征匹配的前提。因此，本文著重研究高精度的雙目標(biāo)定算法和極線校正算法。雙目?jī)?nèi)窺鏡系統(tǒng)示意圖如圖 1所示。系統(tǒng)算法流程主要分為以下 4 個(gè)步驟：

圖1 系統(tǒng)示意圖Fig. 1 System diagram

(1)系統(tǒng)標(biāo)定，通過(guò)對(duì)雙目?jī)?nèi)窺鏡系統(tǒng)進(jìn)行立體標(biāo)定，得到左右攝像頭各自的內(nèi)參數(shù)和兩者之間的外參數(shù)；

(2)非線性標(biāo)定優(yōu)化，將(1)中得到的立體標(biāo)定參數(shù)作為初始值，在傳統(tǒng)方法所定義的重投影誤差目標(biāo)函數(shù)基礎(chǔ)上，增加定義平面度、距離、角度 3 個(gè)度量誤差函數(shù)，通過(guò)構(gòu)建多目標(biāo)非線性優(yōu)化函數(shù)，求解雙目系統(tǒng)的最優(yōu)標(biāo)定參數(shù)；

(3)極線校正，為了提升立體匹配的速度和準(zhǔn)確率，提出一種沿著左右相機(jī)坐標(biāo)軸分別旋轉(zhuǎn)兩次的極線校正方法；

(4)立體匹配和三維重建，根據(jù)(1)～(3)得到最優(yōu)的雙目?jī)?nèi)窺鏡內(nèi)部和外部參數(shù)，沿著校正后的極線進(jìn)行特征匹配，利用三角測(cè)量原理重建目標(biāo)物體的三維信息。

2.1 系統(tǒng)標(biāo)定

圖2 雙目成像幾何模型Fig. 2 Geomagic model of binocular imaging

由于相機(jī)鏡頭的制作、安裝等工藝問(wèn)題會(huì)導(dǎo)致圖像發(fā)生畸變，所以需在雙目成像幾何模型中加入非線性畸變校正項(xiàng)，鏡頭畸變校正公式如公式(2)所示：

其中，xd,yd為畸變的位置；r2為畸變位置到畸變中心徑向距離的平方；k1,k2,k3為徑向畸變系數(shù)；p1,p2為切向畸變系數(shù)；xp,xp為畸變校正后的新位置。如果有n幅標(biāo)定圖像，每幅標(biāo)定圖像上可以提取m個(gè)特征點(diǎn)，那么加入畸變系數(shù)后，使用 LM(Levenberg-Maquardt)優(yōu)化算法[14]對(duì)包含所有參數(shù)的目標(biāo)函數(shù)進(jìn)行優(yōu)化求解，最終得到優(yōu)化的相機(jī)參數(shù)。以左相機(jī)為例，構(gòu)造的非線性目標(biāo)函數(shù)如公式(3)所示：

其中， 為左相機(jī)拍攝第i幅圖像中的第j個(gè)特征角點(diǎn)的像素坐標(biāo)； 為左相機(jī)的鏡頭畸變系數(shù)， , 為左相機(jī)所拍攝的第i幅圖像的相機(jī)坐標(biāo)系對(duì)應(yīng)于世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量；為第i幅圖像中空間坐標(biāo)點(diǎn)Mj在圖像上的重投影。右相機(jī)的標(biāo)定方法與之相同，標(biāo)定后可以分別得到內(nèi)部參數(shù)AR和外部參數(shù)RR,TR。

聯(lián)立左右相機(jī)標(biāo)定后的內(nèi)部參數(shù)及相對(duì)于世界坐標(biāo)系的外部參數(shù)，求得左右相機(jī)之間的旋轉(zhuǎn)平移關(guān)系，以左相機(jī)坐標(biāo)系為參考坐標(biāo)系，雙目系統(tǒng)的旋轉(zhuǎn)矩陣R和平移向量T表述如下：

該標(biāo)定方法通過(guò)最小化參考點(diǎn)的二維重投影誤差來(lái)優(yōu)化標(biāo)定結(jié)果，但最小重投影誤差并不等于最小重建誤差[15]，因?yàn)殡p目?jī)?nèi)窺鏡的基線窄，立體像對(duì)視差小[16]，標(biāo)定的微小誤差就會(huì)引起很大的重建誤差。為了提高三維重建精度，在 Nie 等人提出的針對(duì)單目結(jié)構(gòu)光系統(tǒng)的標(biāo)定優(yōu)化算法[17]的基礎(chǔ)上，本文研究了一種基于三維的標(biāo)定優(yōu)化方法。該方法將基于雙目?jī)?nèi)窺鏡系統(tǒng)的所有標(biāo)定參數(shù)作為全局優(yōu)化問(wèn)題來(lái)處理：將初始標(biāo)定的結(jié)果作為初值，通過(guò)構(gòu)造一些目標(biāo)函數(shù)，達(dá)到最小化三維測(cè)量誤差、實(shí)現(xiàn)最優(yōu)標(biāo)定結(jié)果的目的。

2.2 標(biāo)定優(yōu)化

為了保證物體的平整度，采用一種反射率均勻的平面棋盤格玻璃板進(jìn)行優(yōu)化，如圖 3 所示。平面棋盤格玻璃板上標(biāo)記點(diǎn)之間的距離L非常精確，其以基準(zhǔn)面為基礎(chǔ)，定義了平面度誤差、距離誤差和角度誤差 3 種三維測(cè)量誤差準(zhǔn)則。將雙目?jī)?nèi)窺鏡系統(tǒng)通過(guò)第 2.1 節(jié)得到的所有標(biāo)定參數(shù)作為變量，可以建立一個(gè)多目標(biāo)非線性優(yōu)化問(wèn)題，以初始標(biāo)定結(jié)果作為初始值，求解出三維測(cè)量誤差最小的最佳標(biāo)定參數(shù)，標(biāo)定優(yōu)化工作流程圖如圖 4 所示。

系統(tǒng)根據(jù)棋盤格亞像素角點(diǎn)檢測(cè)算法[18]，首先提取棋盤格玻璃板上的亞像素角點(diǎn)坐標(biāo)，獲得一組圖像點(diǎn)(cp)，同理，根據(jù)亞像素精度檢測(cè)算法得到圖 3 上所標(biāo)注的標(biāo)記點(diǎn)cm；然后根據(jù)初始標(biāo)定參數(shù)和雙目三維重建算法[19]，cp和cm的三維坐標(biāo)可以表示為Cp和Cm；最后在三維重建點(diǎn)Cp和Cm的基礎(chǔ)上，通過(guò)構(gòu)造 3 個(gè)度量誤差目標(biāo)函數(shù)，構(gòu)造出多目標(biāo)優(yōu)化問(wèn)題，用于精確地估計(jì)系統(tǒng)標(biāo)定參數(shù)。3 個(gè)目標(biāo)函數(shù)定義如下：

圖3 用于系統(tǒng)參數(shù)優(yōu)化的棋盤格玻璃板Fig. 3 Illustration of checkboard glass plate used for system parameters optimization

(1)平面度誤差：將用于重建的參考平面看作是一個(gè)完美的平面，即在不考慮標(biāo)定誤差和重建誤差的情況下，Cp的平面度誤差為 0。在此基礎(chǔ)上，提出了最小二乘擬合法[20]，假設(shè)參考平面提取角點(diǎn)的數(shù)目為N，第i個(gè)點(diǎn)到擬合平面的距離為gi，則平面度誤差Dp可以表示為：

(2)距離誤差：對(duì)于每個(gè)標(biāo)記點(diǎn) ，它與所有相鄰標(biāo)記點(diǎn)在水平和垂直方向上的平面距離表示為lj，參考平面有 4 個(gè)角，那么，距離誤差函數(shù)Dd可以表示為：

其中，L為參考平面相鄰兩個(gè)標(biāo)記點(diǎn)之間的長(zhǎng)度。

(3)角度誤差：平面度誤差和距離誤差仍然不足以保證很好的重構(gòu)參考面，考慮到仿射變換可能是由于初始標(biāo)定參數(shù)不準(zhǔn)確引起的，因此，構(gòu)造一個(gè)目標(biāo)誤差函數(shù)來(lái)評(píng)價(jià)標(biāo)記點(diǎn)(圖 4 已標(biāo)出)之間的角度。對(duì)于每個(gè)標(biāo)記點(diǎn) ，通過(guò)相鄰的標(biāo)記點(diǎn)連接起來(lái)，可以計(jì)算角度θj。θ的理論參考值為 90°，那么，角度誤差函數(shù)Dθ可以表示為：

圖4 標(biāo)定參數(shù)優(yōu)化流程圖Fig. 4 Flow chart of the calibration parameters optimization

綜上所述，共需優(yōu)化 30 個(gè)參數(shù)，包含 8 個(gè)內(nèi)參數(shù)(左右相機(jī)各 4 個(gè))，12 個(gè)外參數(shù)(左右相機(jī)之間旋轉(zhuǎn)矩陣R中有 9 個(gè)，平移向量T中有 3 個(gè))和 10 個(gè)鏡頭畸變參數(shù)(左右相機(jī)各有 5個(gè))。若在優(yōu)化過(guò)程中不考慮相機(jī)傳感器的傾斜因子 ，那么所有需要優(yōu)化的參數(shù)用向量Q表示為：

通過(guò)常規(guī)的標(biāo)定程序[21-23]得到的初始值Q0，可建立一個(gè)多目標(biāo)優(yōu)化問(wèn)題，如公式(9)所示：

其中，第一約束 用來(lái)確保旋轉(zhuǎn)矩陣R的正交性，第二約束用來(lái)設(shè)置參數(shù)的取值范圍。下邊界系數(shù)lb和上邊界系數(shù)ub按照經(jīng)驗(yàn)值設(shè)置為 [0.9,1.1]，使用權(quán)重因子 和 來(lái)平衡 3 個(gè)誤差函數(shù)的影響，這 3 個(gè)誤差函數(shù)可以通過(guò)經(jīng)驗(yàn)來(lái)實(shí)際調(diào)整權(quán)重因子的大小，使其滿足。在實(shí)際實(shí)驗(yàn)中， 通常設(shè)置為 1， 設(shè)置為 1.44[17]。

本研究中使用 MATLAB 優(yōu)化工具箱中提供的優(yōu)化函數(shù)“fmincon”，用以求解多目標(biāo)優(yōu)化問(wèn)題，該函數(shù)基于序列二次規(guī)劃方法[24]求解。本實(shí)驗(yàn)用三維度量代替了二維重投影，實(shí)驗(yàn)結(jié)果表明，前者測(cè)量結(jié)果準(zhǔn)確性更高。

2.3 極線校正

雙目攝像機(jī)系統(tǒng)的立體匹配是在左右相機(jī)嚴(yán)格對(duì)齊的理想情況下進(jìn)行的，因此需在立體匹配前進(jìn)行極線校正，即將左右相機(jī)成像平面校正成共面行對(duì)準(zhǔn)。立體圖像極線校正示意圖如圖 5 所示。

圖5 立體圖像極線校正Fig. 5 Epipolar rectification of stereoimages

以左相機(jī)坐標(biāo)系為參考坐標(biāo)系，在進(jìn)行極線校正前，右相機(jī)坐標(biāo)系對(duì)左相機(jī)坐標(biāo)系的相對(duì)變換為。為了使所有的極線平行以輔助立體匹配，校正后的左右相機(jī)坐標(biāo)系應(yīng)水平對(duì)齊，即它們之間只有平移關(guān)系[25]。

本文提出一種左右相機(jī)坐標(biāo)軸雙次旋轉(zhuǎn)的極線校正方法，具體過(guò)程如圖 6 所示。假設(shè)左右相機(jī)光軸之間形成的角度為 ，為了最小限度地旋轉(zhuǎn)左右相機(jī)并使其坐標(biāo)系具有相同的方向，那么把左右相機(jī)沿相反方向都旋轉(zhuǎn) ，這正好是左右相機(jī)之間旋轉(zhuǎn)關(guān)系R的一半。引入旋轉(zhuǎn)向量om，把R和 聯(lián)系起來(lái)，其中，om是一個(gè)3×1 的向量，可以將 3×3 的矩陣R描述得更加緊湊些。向量om的方向?yàn)樾D(zhuǎn)軸，om的模為繞旋轉(zhuǎn)軸旋轉(zhuǎn)的角度。因此，向量om與旋轉(zhuǎn)角度 的關(guān)系為，根據(jù)羅德里格斯(Rodrigues)變換公式得到左相機(jī)的旋轉(zhuǎn)矩陣，如公式 10 所示：

圖6 極線校正的兩次旋轉(zhuǎn)Fig. 6 Epipolar rectification by two rotations

經(jīng)第一次旋轉(zhuǎn)后，雖然左右相機(jī)的新光軸是平行的，但是它們與OL和OR連線所構(gòu)成的軸不垂直(圖6)。因此，需要對(duì)左右相機(jī)坐標(biāo)軸再進(jìn)行一次角度為 的旋轉(zhuǎn)，令，使軸和平移向量對(duì)齊。新旋轉(zhuǎn)軸的方向可以用和計(jì)算得到：

第二次旋轉(zhuǎn)的角度 可以通過(guò)下式得到：

通過(guò)上述兩次旋轉(zhuǎn)，可以得到極線校正后左右相機(jī)的旋轉(zhuǎn)和平移關(guān)系：

其中，rec表示經(jīng)過(guò)極線校正后的參數(shù)。

對(duì)于雙目相機(jī)的成像中心，通常選取左右相機(jī)的成像中心的平均值作為校正后的雙目相機(jī)中心位置，但是這在實(shí)際中并不準(zhǔn)確[26]。這是因?yàn)樾Ｕ蟮膱D像或多或少受到旋轉(zhuǎn)和扭曲的影響，成像中心的位置也可能隨之受到影響。所以，在確定了其他內(nèi)、外參數(shù)后，可以根據(jù)已知參數(shù)求解矯正后的圖像中心位置。首先，假設(shè)校正后的成像中位在[0,0]T處，如圖 7 所示，將原始圖像的 4 個(gè)頂點(diǎn){v1,v2,v3,v4}投影到極線校正后的坐標(biāo)系中，得到校正后的圖像中心k0：

圖7 極線校正后圖像中心的確定Fig. 7 Determination in imaging center after epipolar rectification

2.4 立體匹配和 3D 重建

精確的特征匹配在三維重建中起到至關(guān)重要的作用。根據(jù)第 2.1～2.3 節(jié)，首先得到優(yōu)化的左右像機(jī)的內(nèi)外參數(shù)，其次沿著校正后的極線進(jìn)行特征匹配，再次基于三角測(cè)量原理計(jì)算場(chǎng)景的視差信息，最后經(jīng)過(guò)三角重建即可進(jìn)行三維場(chǎng)景的測(cè)量。與局部匹配算法和全局匹配算法相比，半全局立體匹配算法可以實(shí)現(xiàn)獲得高質(zhì)量深度圖和運(yùn)行效率之間的平衡[27]，但針對(duì)紋理稀疏或無(wú)紋理區(qū)域容易出現(xiàn)錯(cuò)誤匹配，本文利用散斑結(jié)構(gòu)光的特征信息，通過(guò)將散斑投射到缺乏紋理特征信息的目標(biāo)物體表面，基于半全局立體匹配算法完成對(duì)缺乏紋理特征表面的三維重建目標(biāo)。本文采用相同的重建方法分別對(duì)無(wú)散斑投射和有散斑投射的棋子進(jìn)行三維重建，實(shí)驗(yàn)結(jié)果如圖 8 所示。通過(guò)對(duì)圖 8 分析可得，經(jīng)散斑投射的棋子重建出的點(diǎn)云更加稠密，具有更好的重建效果。

圖8 有無(wú)散斑條件下的重建點(diǎn)云結(jié)果Fig. 8 Point cloud reconstruction results of with or without speckles

左右雙目相機(jī)都可看作是水平放置的針孔相機(jī)，其光圈中心都位于x軸上，兩中心之間的距離稱為雙目相機(jī)的基線。三角測(cè)量原理的幾何模型如圖 9 所示，OL和OR分別為左右相機(jī)的光圈中心，f為焦距，uL和uR為成像平面的坐標(biāo)，按照坐標(biāo)系方向，圖中標(biāo)出的距離為－uR。將左相機(jī)坐標(biāo)系與世界坐標(biāo)系重合，假設(shè)空間有一點(diǎn)，在左相機(jī)和右相機(jī)上的投影點(diǎn)分別為和，根據(jù)透視投影變換和圖 9 中與的相似關(guān)系，有：

圖9 三角測(cè)量幾何模型Fig. 9 Geometric model of triangulation

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)裝置由雙目模塊和散斑光源組成。其中，雙目模塊由兩個(gè)定焦 RGB 相機(jī)(分辨率640×360，USB2.0 接口，幀率 30 fps，焦距 5 cm)和一臺(tái) DLP4500 光機(jī)(分辨率 912×1 140，投射比 1:1.2)組成，實(shí)驗(yàn)平臺(tái)放置方式如圖 10 所示。

圖10 實(shí)驗(yàn)平臺(tái)搭建Fig. 10 The experimental setup

3.2 雙目?jī)?nèi)窺鏡系統(tǒng)標(biāo)定結(jié)果與分析

雙目?jī)?nèi)窺鏡系統(tǒng)利用張氏標(biāo)定法[12]標(biāo)定初始參數(shù)，通過(guò)改變棋盤格(角點(diǎn) 7×7，每個(gè)方格大小 3 mm×3 mm)的擺放姿態(tài)獲得 23 組不同的視圖，如圖 11 所示。

圖11 左右相機(jī)獲得不同位姿標(biāo)定圖像Fig. 11 Calibration images with diあerent orientation captured by left and right camera

雙目?jī)?nèi)窺鏡系統(tǒng)初始標(biāo)定參數(shù)如表 1 所示。初始標(biāo)定之后，根據(jù)第 2.2 節(jié)提出的首先利用基于三維的標(biāo)定優(yōu)化算法對(duì)初始標(biāo)定后的參數(shù)進(jìn)行非線性優(yōu)化，通過(guò)對(duì)比標(biāo)定優(yōu)化前后的兩組參數(shù)計(jì)算出該節(jié)所述的 3 個(gè)度量誤差函數(shù)，如表 2 所示。然后將雙目?jī)?nèi)窺鏡系統(tǒng)進(jìn)行沿左右相機(jī)坐標(biāo)軸旋轉(zhuǎn)兩次的極線校正操作，其極線校正后的標(biāo)定參數(shù)如表 3 所示。

表1 系統(tǒng)初始標(biāo)定參數(shù)Table 1 Initial calibration parameters of the system

表3 系統(tǒng)優(yōu)化后的標(biāo)定參數(shù)Table 3 Calibration parameters after system optimization

用于標(biāo)定優(yōu)化的平面棋盤格玻璃板(圖 3)還可用于評(píng)估標(biāo)定參數(shù)的精度，即通過(guò)優(yōu)化前后的標(biāo)定參數(shù)提取平面棋盤格的角點(diǎn)，提取角點(diǎn)擬合平面誤差如圖 12 所示。由圖 12(a)和圖 12(b)可知(R-square 的范圍為[0,1]，值越接近 1，表示平面擬合程度越好)，優(yōu)化前后的平面度誤差分別為 0.845 3 mm 和 0.999 2 mm，優(yōu)化后的標(biāo)定參數(shù)使角點(diǎn)平面擬合度精度提高近 18.21%。其中，對(duì)第 2.2 節(jié)所建立的 3 個(gè)度量誤差函數(shù)的優(yōu)化結(jié)果對(duì)比見表 2。

圖12 棋盤格角點(diǎn)擬合平面誤差Fig. 12 Chessboard cornor fitting plane error

表2 系統(tǒng)優(yōu)化前后的度量誤差Table 2 Metric errors with and without system optimization

標(biāo)定優(yōu)化是在離線情況下進(jìn)行的，從輸入初始標(biāo)定參數(shù)作為初始值開始，到迭代次數(shù)大于最大迭代次數(shù)停止，求解最優(yōu)標(biāo)定參數(shù)的整個(gè)過(guò)程耗時(shí) 55 s，因?yàn)槟繕?biāo)優(yōu)化函數(shù)公式(9)中所含的3 個(gè)誤差函數(shù)在參考平面(圖 3)中提取的點(diǎn)的數(shù)量較少，計(jì)算過(guò)程中計(jì)算量較小，因此整個(gè)標(biāo)定優(yōu)化時(shí)間也較短；三維重建是在線進(jìn)行的，在對(duì)圖 8 中的棋子進(jìn)行三維重建時(shí)，系統(tǒng)首先讀取雙目?jī)?nèi)窺鏡拍攝帶散斑圖案的二維圖片，然后利用最優(yōu)標(biāo)定參數(shù)進(jìn)行圖像極線校正、半全局立體匹配，最后進(jìn)行三維重建，圖 8 中棋子的三維重建過(guò)程運(yùn)行時(shí)間約為 1.042 s，而在實(shí)際中，三維重建的時(shí)間與待重建場(chǎng)景的紋理豐富度、立體匹配算法選擇的關(guān)系很大。

3.3 對(duì)比實(shí)驗(yàn)

為了測(cè)試本文雙目?jī)?nèi)窺鏡系統(tǒng)的重建精度，將基于三維的標(biāo)定優(yōu)化方法和沿坐標(biāo)軸旋轉(zhuǎn)兩次的極線校正算法得到的標(biāo)定優(yōu)化參數(shù)，與傳統(tǒng)標(biāo)定方法[12]得到的標(biāo)定優(yōu)化參數(shù)分別進(jìn)行三維重建并作對(duì)比。本文采用球體、圓錐體和標(biāo)準(zhǔn)平面作為重建對(duì)象，其中，球體直徑為 20 mm，加工精度 ±20 μm；圓錐體直徑為 20 mm，加工精度 ±10 μm；標(biāo)準(zhǔn)平面 25 mm×35 mm，加工精度 ±10 μm。重建結(jié)果如圖 13 所示，圖中從上到下分別對(duì)應(yīng)圓錐體、球體和標(biāo)準(zhǔn)平面重建的結(jié)果。精度對(duì)比如表 4 所示，由表 4 可知，本文系統(tǒng)對(duì)圓錐體的三維測(cè)量誤差為 0.098 mm，而傳統(tǒng)方法重建的誤差為 0.145 mm，重建誤差比本文系統(tǒng)高出 48.0%；對(duì)于球體，本文三維測(cè)量誤差為 0.112 mm，而傳統(tǒng)方法三維測(cè)量誤差為 0.124 mm，重建誤差比本文系統(tǒng)高出 10.7%；對(duì)于標(biāo)準(zhǔn)平面，本文三維測(cè)量誤差為 0.270 mm，而傳統(tǒng)方法三維測(cè)量的誤差為0.361 mm，重建誤差比本文系統(tǒng)高出 33.7%。綜上所述，雙目?jī)?nèi)窺鏡散斑系統(tǒng)有較高的三維測(cè)量精度。

圖13 本文方法與傳統(tǒng)方法三維重建精度比較Fig. 13 Comparison of 3D reconstruction by the traditional and proposed method

表4 三維測(cè)量精度對(duì)比Table 4 Comparison of 3D measurement accuracy

3.4 實(shí)際應(yīng)用場(chǎng)景三維重建

為了評(píng)估本文基于雙目?jī)?nèi)窺鏡的散斑三維重建系統(tǒng)的有效性和準(zhǔn)確性，分別對(duì)豬小腸內(nèi)壁和牙齒的立體圖像進(jìn)行三維重建，其原始圖像、散斑投射圖、深度圖、帶紋理點(diǎn)云圖及重建的 3D模型如圖 14 所示。

由圖 14 可知，圖像紋理信息越豐富，其表面形狀恢復(fù)的越好。重建模型圖與原圖相比，雖然出現(xiàn)殘缺，但是其完成重建部分的整體形狀符合人們的視覺直觀感受，滿足部分應(yīng)用場(chǎng)景。如在醫(yī)療領(lǐng)域，通過(guò)基于雙目?jī)?nèi)窺鏡的散斑三維重建系統(tǒng)可完成體內(nèi)三維場(chǎng)景深度圖的構(gòu)建，幫助醫(yī)生在某些復(fù)雜病變情況下完成對(duì)病人精確診斷治療。

圖14 本文系統(tǒng)對(duì)豬小腸內(nèi)壁和真實(shí)牙齒的重建結(jié)果Fig. 14 Reconstruction result of porcine small intestine and real teeth by using the proposed system

4 討論與分析

本文提出了一種基于雙目?jī)?nèi)窺鏡的散斑三維重建系統(tǒng)，在雙目?jī)?nèi)窺鏡基線較窄的條件下，仍具有較高的測(cè)量精度和較好的重建效果。具體地，本文系統(tǒng)采用基于三維的標(biāo)定優(yōu)化方法實(shí)現(xiàn)了雙目?jī)?nèi)窺鏡系統(tǒng)的高精度標(biāo)定，同時(shí)采用基于左右相機(jī)坐標(biāo)軸旋轉(zhuǎn)兩次的極線校正方法，顯著提高了左右圖像共面行對(duì)齊的精度。本文提出的極線校正方法具有以下優(yōu)勢(shì)：

(1)雙目?jī)?nèi)窺鏡的兩個(gè)攝像機(jī)繞坐標(biāo)軸旋轉(zhuǎn)同一個(gè)角度，以最小限度旋轉(zhuǎn)就可具有相同的方向，這樣使左右相機(jī)圖像之間的特征差異最小化；

(2)校正后的圖像與原始圖像保持相同的分辨率，方便立體匹配，因?yàn)槌砻芷ヅ渌惴ǘ夹枰嗤笮〉淖笥覉D像；

(3)最大化左右視圖的公共視野，在校正后的圖像中保證最大的可見圖像面積，從而使校正過(guò)程中圖像信息損失最小。

相較于傳統(tǒng)標(biāo)定方法[12]，本文提出的雙目?jī)?nèi)窺鏡系統(tǒng)通過(guò)對(duì)棋盤格提取角點(diǎn)擬合平面誤差分析和對(duì)標(biāo)準(zhǔn)體進(jìn)行精度測(cè)試，結(jié)果表明本文提出的雙目?jī)?nèi)窺鏡散斑系統(tǒng)在三維測(cè)量精度上具有較明顯的優(yōu)勢(shì)。

由于雙目?jī)?nèi)窺鏡散斑系統(tǒng)真實(shí)應(yīng)用在受限空間內(nèi)，所以需要在保證高分辨率的情況下，將散斑光源縮小到雙目?jī)?nèi)窺鏡的探頭上，而這對(duì)光學(xué)及材料提出了更高要求，需要進(jìn)一步的研究。

5 結(jié) 論

本文基于立體視覺原理，搭建了一套基于散斑編碼的雙目?jī)?nèi)窺鏡系統(tǒng)。為了提高系統(tǒng)的測(cè)量精度，本文著重針對(duì)雙目?jī)?nèi)窺鏡的標(biāo)定和左右視圖極線校正進(jìn)行研究，提出了一種基于三維的非線性全局優(yōu)化的標(biāo)定方法和相機(jī)坐標(biāo)軸旋轉(zhuǎn)兩次的極線校正算法。經(jīng)過(guò)對(duì)棋盤格提取角點(diǎn)擬合平面的分析和對(duì)圓球、圓錐體及標(biāo)準(zhǔn)平面的精度測(cè)量，本文提出系統(tǒng)的測(cè)量精度相較于傳統(tǒng)標(biāo)定方法有顯著提升。并且，對(duì)于實(shí)際應(yīng)用場(chǎng)景中不同紋理對(duì)象目標(biāo)的重建，如表面較為光滑的豬小腸內(nèi)壁和紋理較少的且是非朗伯表面的高仿真牙齒，本文系統(tǒng)均取得了較好的重建效果。