王 迪，楊 龍，張志毅

(西北農(nóng)林科技大學 信息工程學院，陜西 楊凌 712100)

0 引 言

三維點云數(shù)據(jù)獲取技術在工業(yè)鑄件、醫(yī)療診斷、文物保護等領域有著廣泛應用。依據(jù)測量設備是否與測量模型表面直接進行接觸，可將其分為接觸式和非接觸式兩類。接觸式三維測量技術以三坐標測量儀為代表，該項技術通過探測頭與物體表面直接接觸以獲取物體的三維點坐標，測量精度可以達到μm級別，但該設備造價昂貴且容易對物體造成損耗，影響測量精度，因此并未得到廣泛使用。數(shù)字三維照相系統(tǒng)成本低，精度高，因此一直是非接觸式方法研究的熱點。根據(jù)有無輔助的照明設備，數(shù)字三維照相系統(tǒng)可分為被動三維測量法和主動三維測量法，被動三維測量法以雙目立體視覺[1,2]為代表，此類方法系統(tǒng)構成比較簡單且適用性強，但對物體自身特征(如顏色、結構、紋理等)的依賴程度較高，因此具有一定的局限性。主動測量方法以光柵投影法[3]和線結構掃描法[4-7]較為常見，光柵投影法測量精度高但計算復雜，且對所用的光源有特殊要求。線結構光掃描法目前存在單目[4,5]和雙目[6,7]兩種方式，單目線結構光掃描方法掃描速度快但系統(tǒng)標定困難，點云數(shù)據(jù)恢復精度較低；雙目線結構光掃描方法能夠達到較高的精度但速度較慢，無法滿足實時性的要求。

針對以上方法存在的問題，文中提出一種單目和雙目結合的線結構光掃描方法，用投影儀取代傳統(tǒng)激光，在雙目系統(tǒng)結構下計算光平面方程，提高平面參數(shù)的擬合精度，然后利用求得的平面方程，在單目系統(tǒng)下計算被測物體表面的三維坐標。本文提出的方法能夠同時兼顧掃描精度和時間效率的需求，因此具有一定的實用價值。

1 系統(tǒng)方案設計

1.1 系統(tǒng)硬件設計

整個系統(tǒng)的硬件平臺包括兩個羅技C920攝像頭(分辨率1920×1080)，一臺微型投影儀(分辨率1280×720，流明2500)以及用來計算光平面方程的柱形紙筒。如圖1所示，兩臺攝像機和投影儀置于平臺同側，用投影儀投射的單位像素寬度的紅色光條取代傳統(tǒng)激光，并同步使用攝像機對含有光條信息的圖像進行捕獲，根據(jù)所獲得的圖像信息，恢復物體的三維點云數(shù)據(jù)。

圖1 系統(tǒng)硬件平臺

1.2 系統(tǒng)軟件流程

系統(tǒng)軟件的實現(xiàn)需要在雙目系統(tǒng)結構和單目系統(tǒng)結構兩種環(huán)境下進行。在雙目系統(tǒng)中，為獲取計算物體三維坐標時所需要的相機內部參數(shù)和兩臺相機間的位姿關系，采用經(jīng)典的張正友標定算法對系統(tǒng)進行標定，之后用投影儀向柱形紙筒表面投射單位像素的紅色移動光條，并使用兩臺相機實時進行圖像捕獲，每獲取到一對圖像，首先采用中值濾波對其進行去噪處理，并對圖像進行極線校正，使得同一物點在兩幅圖像上的投影點處于同一水平位置，以此來縮小匹配點的空間搜索范圍，之后提取同一水平位置上左右圖像的光條中心，便可以得到對應的匹配點。在此基礎上，計算出左右匹配點的視差，依據(jù)三角形原理，即可得到光條中心的三維點坐標，對所求得的三維點進行擬合，即可得到對應的光平面方程。在單目系統(tǒng)中，對被測物體進行掃描，利用單臺相機采集到的圖像信息以及獲取的光平面方程即可求解物體的三維點坐標。系統(tǒng)流程如圖2所示。

圖2 系統(tǒng)流程

2 系統(tǒng)設計原理

2.1 相機坐標系到世界坐標系的映射原理

如圖3所示，明確像素坐標系到世界坐標系之間的轉換關系，是獲取三維點坐標的首要步驟。在不考慮透鏡畸變的情況下，可以將攝像機模型理想化為針孔模型，由此，兩坐標系之間的轉換關系可以寫成式(1)的形式

(1)

式中：f表示攝像頭的焦距,dx,dy表示單位像素在圖像坐標系中x軸方向和y軸方向上的物理尺寸， (u0,v0) 則表示圖像坐標系原點在像素坐標系中的具體位置，以上4個變量共同構成了攝像機的內參矩陣M1,M2是攝像機的外參矩陣，由旋轉矩陣R和平移矩陣T構成，代表了攝像機坐標系和世界坐標系之間的位姿關系。文中以左攝像機坐標系為世界坐標系，采用經(jīng)典的張正友棋盤格標定算法獲取左右相機的內外參數(shù)，由此即可實現(xiàn)坐標系之間的映射。

圖3 像素坐標系與世界坐標系的轉換關系

2.2 光條中心提取算法

為了獲取高精度的三維點云數(shù)據(jù)，理想情況下成像到圖像上的光條寬度應該為單位像素，但是受到物體表面材質、環(huán)境光線及其它因素的影響，所采集圖像的光條寬度通常大于一個像素，因此首先需要進行光條中心提取。

受外界環(huán)境及設備自身等因素的影響，采集到的光源圖像通常都會存在一些噪聲點，這些噪聲點會使得光條中心的提取結果嚴重偏離正確值，進一步影響點云數(shù)據(jù)的獲取精度，因此，在提取光條中心之前，首先需要對圖像進行預處理以去除噪聲點，考慮到光條圖像中多為銳利的噪聲點，采用中值濾波對圖像進行處理。除此之外，在雙目系統(tǒng)中，為了縮小匹配點的搜索范圍，提升查找效率，采用系統(tǒng)標定所獲取的相機間的位姿關系，對左右兩幅圖像進行極線校正，使得物體上一點在兩幅圖像上的投影點處于同一水平位置，之后便可對光條中心進行提取。

按照計算方式的不同，目前較為常見的光條中心提取算法可分為幾何中心提取和能量中心提取兩大類。其中，閾值法[8]和邊緣法[9]是前者的典例，這一類方法通常比較簡潔高效，但提取精度低，因此并不適用于對精確度要求較高的場景；灰度重心法[10]和極值法[11]是能量中心提取算法中較為常用的兩種，相較于極值法，灰度重心法的計算精度更高且魯棒性更強，因此成為常用的一種中心提取算法。光條圖像單行像素的R通道值近似服從正態(tài)分布，符合加權重心法的使用場景，因此選用該方法提取光條中心。假定圖像的分辨率為m×n， 對于圖像中的第k行，其光條中心的橫坐標xk為

(2)

其中，權值Ni的取值為

(3)

式中：R(k,i) 表示當前像素R通道的值，此處，T不是固定的常量值，而是以當前行中所有像素R通道的最大值為基準，減少t個單位所得到的值。多次實驗結果表明，t的取值范圍在20～30之間為最佳。加權重心法的光條中心提取結果如圖4所示。

圖4 光條中心提取結果

2.3 雙目立體視覺測量模型

光平面方程的計算是在雙目系統(tǒng)結構下進行的，在這個過程中利用雙目立體視覺理論對三維點坐標進行求解是問題的關鍵。

如圖5所示，設Ol為左攝像機的光心，Or為右攝像機的光心，此處采用的兩臺相機型號相同，因此焦距同為f， 由于在初始階段已經(jīng)對左右像平面進行了極線校正，因此空間中一點在兩幅圖像上的成像點基本處于同一水平高度，假定以左側相機坐標系為參考坐標系，則對其進行平移，即可得到右側相機坐標系，移動的距離為左右相機透鏡中心距離B， 設Ol坐標為(0,0,0)，Or為 (B,0,0)，P(x,y,z) 為空間一點，其在左右像平面上的成像點分別為Pl(xl,yl),Pr(xr,yr)， 根據(jù)各坐標系之間的轉換關系，可以推演出如下關系式

(4)

圖5 雙目立體視覺測量模型

通過對上式進行簡化可得到P點三維坐標為

(5)

依據(jù)上述原理，在雙目系統(tǒng)中對柱形紙筒進行掃描，通過提取同一水平位置左右圖像的光條中心，即可得到對應匹配點，恢復出投影在柱形紙筒上的光條中心的三維點坐標，結果如圖6所示。

圖6 柱形紙筒三維點云恢復結果

2.4 點云數(shù)據(jù)擬合光平面

在計算出投射在柱形紙筒表面上的光條中心三維點坐標之后，對其進行擬合獲取對應的光平面參數(shù)。目前，較為常用的平面擬合方法有最小二乘法、特征值法等。前者僅考慮了z軸方向的誤差，但在真實場景下，受環(huán)境及設備自身因素的影響，x、y方向上也同樣存在誤差，因此該方法在此處并不適用。特征值法通過最小化點到平面的距離求解平面方程參數(shù)，能夠同時兼顧x、y、z這3個方向的誤差。但當點云數(shù)據(jù)存在異常值擾動時，以上兩種方法的擬合結果都會受到影響，對此，李偉等[12]等提出一種改進的最小二乘平面擬合算法，通過中位數(shù)法獲得最佳初始平面模型，并采用迭代最小二乘法剔除殘差較大的離群點以獲取最佳平面方程，該方法具有一定的抗差性。陳漢青等[13]提出穩(wěn)健加權總體最小二乘法，通過設置一定的規(guī)則剔除異常點，使得求解的參數(shù)更加精確，但該算法不具有魯棒性。李希等[14]采用RANSAC(random sample consensus)算法剔除點云數(shù)據(jù)中的異常值，并采用總體最小二乘法對剩余的有效點進行擬合，該方法能夠獲得較為理想的擬合結果，但參數(shù)的設置會對擬合結果產(chǎn)生影響。由于雙目線結構光掃描能夠達到較高的精度，因此恢復出的三維點只存在少量異常點，為了滿足實效性要求，此處采用迭代的特征值法對光平面進行擬合。

設空間平面方程為

ax+by+cz=d

(6)

式中： (a，b，c) 為待擬合平面的單位法向量，d為坐標原點到擬合平面的距離。假設對柱形紙筒進行掃描后，從單幅圖像中共恢復出n個數(shù)據(jù)點 {(xi，yi，zi)，i=1，2，…，n}， 其中任意一點 (xi，yi，zi) 到擬合平面的距離可以表示為

di=|axi+byi+czi-d|

(7)

為了獲得高精度的平面擬合參數(shù)，應在條件a2+b2+c2=1的約束下，滿足

(8)

設所構成的函數(shù)f為

(9)

采用拉格朗日乘數(shù)法求解函f數(shù)的極值，并令函數(shù)對參數(shù)d的偏導數(shù)為零，得

(10)

則式(7)可以改寫為

(11)

將式(11)帶入式(9)，并分別對a、b、c求偏導，令所有偏導數(shù)為零，可得到特征值方程

(12)

由此將平面參數(shù)求解問題轉化為對矩陣特征值及特征向量的求解，設

顯然，矩陣A為3×3的實對稱矩陣，求解A的最小特征值λmin及其對應的齊次線性方程組，所得到的非零向量即為平面方程的3個參數(shù)a、b、c， 將其帶入式(10)，即可得到參數(shù)d的值。

為了降低點云數(shù)據(jù)中的異常值對平面參數(shù)擬合精度造成的影響，采用穩(wěn)健的加權迭代思想逐步剔除數(shù)據(jù)中的離群點，直至擬合精度滿足預定需求。具體實現(xiàn)步驟如下：

步驟1 采用特征值最小二乘法擬合平面方程，獲取初始參數(shù)值a、b、c；

步驟2 根據(jù)式(11)計算點云數(shù)據(jù)集中每個點到平面的距離di；

步驟3 根據(jù)式(13)計算所有點到平面距離的標準偏差，若di>2ε， 則認為該點為異常值，將其從點集中刪除

(13)

步驟4 更新點云數(shù)據(jù)集并重新求解平面方程的參數(shù)；

步驟5 重復執(zhí)行步驟2～步驟4，直至點云集合中任意一點到擬合平面的距離di均小于給定閾值，此時 (a、b、c) 即為平面方程的最優(yōu)解；

步驟6 依據(jù)式(10)求解參數(shù)d的值，獲得最佳平面擬合方程。

在雙目系統(tǒng)中求得所有光條所對應的平面方程后，在單目系統(tǒng)中對物體進行掃描，通過計算相機透鏡中心與結構光中心在像平面映射點的連線與對應光平面方程的交點，便可以計算出空間中一點的三維坐標。

3 實驗結果及分析

本次實驗以C++作為編程語言，Windows7為系統(tǒng)開發(fā)平臺，內存4 GB。為了確認本文方法的有效性和可行性，分別以磨砂材質的弱紋理水杯、毛絨材質的維尼熊和表面光滑易反光的恐龍玩具作為測量模型，并以點云數(shù)據(jù)獲取精度、速度及密度作為衡量標準，將所提出方法的掃描結果與雙目線結構光掃描方法和單目線結構光掃描方法的結果進行比較。

如圖7～圖9所示，在每組數(shù)據(jù)中，圖(a)為模型原始圖像，圖(b)～圖(d)分別為3種掃描方法所獲取的點云數(shù)據(jù)，其中圖像左邊為點云的正視圖，右邊為點云的側視圖。從圖中可以看出，對于不同的模型，雙目線結構光掃描方法的精度最高，文中提出的方法次之，最后是單目線結構光掃描方法。雙目線結構光掃描方法是對左右兩幅圖像逐行提取結構光中心并逐點進行匹配以恢復三維點云數(shù)據(jù)，在這個過程中，結構光中心提取和像素匹配的精度對三維掃描的結果起決定性作用，目前關于這兩個領域的研究已經(jīng)相對成熟，誤差可以穩(wěn)定在較小的范圍內，因此該方法相對于另外兩種精度更高；單目線結構光掃描方法需要對背景板進行標定以獲取背景板平面方程，并在此基礎上計算光平面方程，每一步的誤差都會對后續(xù)操作造成較大影響，因此掃描精度較低，從圖7(b)，圖8(b)，圖9(b)的側視圖區(qū)域可看出恢復出的模型表面有一定的凹凸；文中提出的方法利用雙目線結構光掃描法精度高的優(yōu)勢，通過對柱形紙筒進行雙目掃描以計算光平面方程，該方法計算出的光平面方程相較于傳統(tǒng)背景板標定方法誤差小，在此基礎上采用單目掃描恢復三維點云數(shù)據(jù)，此方法的掃描精度與雙目掃描方法相差不多，但掃描速度得到了較大提升。

圖7 水杯三維點云恢復結果

圖8 玩具熊三維點云恢復結果

圖9 恐龍三維點云恢復結果

除掃描方法外，模型材質對掃描精度也有一定的影響。如圖7所示，對于磨砂材質的無紋理水杯，當紅色光條投影到物體表面上時，不會產(chǎn)生反光、顏色吸收等問題，因此能夠得到較為完整的三維模型，掃描效果較好。圖8中，毛絨玩具熊的眉毛、眼睛、鼻子處呈棕黑色，當光條被投影到這些部位時，紅色被吸收，圖像上對應像素點的R通道值無法達到閾值，從而形成孔洞，而鼻尖處反光處像素的R通道值大于閾值，因而可恢復出三維數(shù)據(jù)。對于表面光滑的恐龍模型，如圖9所示，其腿部、背部等點云恢復正常，由此可見物體上的反光點對點云數(shù)據(jù)的恢復基本上不產(chǎn)生影響。

單雙目結合的三維掃描方法不僅在點云數(shù)據(jù)恢復精度上能達到一定的標準，在時間效率上也滿足生產(chǎn)實踐的需求。在測量模型與掃描裝置之間的距離保持不變的前提下，分別采用3種方法對不同的模型進行掃描，并將不同情況下，根據(jù)單幅分辨率為1920×1028的光條圖像計算物體三維點坐標所需的時間進行比較，結果見表1。在等距條件下，對于不同的模型，同一方法計算三維坐標所消耗的時間基本不受物體大小及形態(tài)的影響，即在時間效率上3種方法均是模型不相關的。其中，由于雙目線結構光掃描方法受限于兩幅圖像的匹配速度，因此在三者中耗時最長，達到了368.07 ms/幅，本文提出的方法和單目線結構光掃描方法在掃描之前均對光平面方程進行了標定，將時間縮短為78 ms/幅左右，是雙目掃描的1/5。

表1 單幅圖像點云數(shù)據(jù)恢復時間

表2顯示了等距離條件下，3種模型在不同掃描方法下恢復出的三維點個數(shù)。由表中可以看出，當被測模型與掃描系統(tǒng)相對位置維持不變的情況下，對于同一物體而言，3種掃描方法獲取到的三維點數(shù)量基本持平，無明顯差異。

表2 等距離條件下恢復的三維點個數(shù)

由以上分析可知，傳統(tǒng)雙目線結構光掃描方法能夠達到較高的掃描精度，但時間效率較低，在某些情況下無法滿足實時性的要求；傳統(tǒng)單目線結構光掃描方法在時效上有一定的優(yōu)勢，但掃描精度易受背景板標定的影響，可能出現(xiàn)較大誤差；單雙目結合的掃描方法綜合了兩者的優(yōu)勢，在掃描精度和實效性上都能夠滿足一定的要求，且恢復出的模型三維點數(shù)目與其它兩種方法基本持平，因此具有一定的實用價值。

4 結束語

針對傳統(tǒng)線結構光掃描方法的局限性，提出一種單目和雙目結合的掃描方法。首先采用投影儀投射的紅色移動光條取代傳統(tǒng)激光作為線光源，這在一定程度上縮減了硬件成本，之后，以柱形紙筒為輔助，在雙目系統(tǒng)中對其進行掃描并采用迭代特征值最小二乘法對獲取到的光條中心三維點坐標進行擬合，得到光平面方程，該方法提高了平面參數(shù)的擬合精度，最后在單目系統(tǒng)中利用所求得的光平面方程計算物體表面的三維點坐標。實驗結果表明，該方法能夠有效發(fā)揮雙目掃描和單目掃描各自的優(yōu)勢，在點云數(shù)據(jù)恢復精度和速度上取得有效折中，具有一定的實用價值。但需要指出的是：受外界環(huán)境和設備噪聲等因素的影響，恢復出的三維點云數(shù)據(jù)中難免會存在一些噪聲點，如何剔除掃描物體之外的噪聲點，是接下來要研究的主要內容。