姜 濤 崔海華 程筱勝 田 威

傳統(tǒng)的攝影測量技術(shù)是利用單相機從多個角度拍攝大量圖片進行物體三維重建的技術(shù)[1],在機器人系統(tǒng)[2-3]、遙感測繪、制造測量[4]、航空航天[5-6]等領(lǐng)域應用廣泛.近年來,利用機器人進行測量檢測的研究和應用逐漸增加,視覺與機器人系統(tǒng)的集成提升了視覺測量與檢測的效率和自動化水平.然而,機器人攝影測量系統(tǒng)中,機器人相對測量對象初始位姿需要標定和人工輸入,導致機器人離線編程受到實際測量環(huán)境影響.

機器人攝影測量系統(tǒng)的核心問題是安裝視覺系統(tǒng)后,具有可視能力的機器人視點規(guī)劃與路徑規(guī)劃問題.Kinnell 等[7]對機器人三維視覺系統(tǒng)框架做出了詳細論述.Kwon 等[8]研究了機器人掃描系統(tǒng),提出重掃描策略,縮短了掃描時間,增強了機器人檢測的穩(wěn)定性.Raffaeli 等[9]提出基于理論數(shù)模的機器人掃描路徑離線編程算法,但是離線程序依賴于在線校準.Li 等[10]提出基于鄰域搜索方法來確定機器人二維掃描的方向,但其路徑規(guī)劃不連續(xù),需要后期多組測量數(shù)據(jù)的再次融合.為實現(xiàn)以最小的拍攝視點獲得最豐富的重建信息,需要依據(jù)視點可見性對拍攝視點進行優(yōu)化[11].“Generate-test”方法在基于模型的視點規(guī)劃中得到了廣泛的應用[12].它生成大量的候選視點,并計算每個視點下的可見矩陣.然后將覆蓋問題轉(zhuǎn)化為可見矩陣的最優(yōu)選擇問題[12].Jing 等[13]采用迭代隨機抽樣和概率勢場方法以非確定性方式生成候選視點.在較高的覆蓋率下,保證了較好的視點規(guī)劃效果.然后,Jing 等[14]將視點規(guī)劃和路徑規(guī)劃結(jié)合為一個單一的規(guī)劃問題,取得較好的全局最優(yōu)效果.在實際測量中,機器人視覺系統(tǒng)必須確定被測對象相對于自身的實際位姿,并以此為初始姿態(tài)進行掃描路徑的規(guī)劃.基于視覺的目標位姿測量方法主要有PNP (Perspective-Npoint)[15]方法和三維剛體變換法[16],這些方法需要精確已知被測對象特征,提取并重建出必要的特征要素進行位姿計算,雖然位姿計算精度高,但是在可變化的環(huán)境中特征提取不穩(wěn)定,容易產(chǎn)生誤差.深度學習技術(shù)在位姿估計方面具有環(huán)境適應性強、自動化程度高等優(yōu)勢.近年來,利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)進行位姿估計的研究發(fā)展迅速[17-19].PoseNet[20]網(wǎng)絡(luò)直接利用CNN 從單幅RGB 圖像中估計相機6D 姿態(tài),但是其將旋轉(zhuǎn)分量和平移分量單獨輸出,訓練過程必須調(diào)整參數(shù)來平衡兩個分量的損失.為避免這個問題,PoseCNN[21]網(wǎng)絡(luò)則直接將位姿誤差作為損失函數(shù)而更加適應于位姿優(yōu)化.文獻[22-23]中,CNN 沒有直接用于位姿估計,而是通過估計特征點然后計算三維姿態(tài)的方法,提高了位姿估計的速度和精度.二維物體識別與預測主要有Faster R-CNN (Faster region-CNN)、YOLO (You only look once)、SSD (Single shot multibox detector)[22]等網(wǎng)絡(luò)結(jié)構(gòu),且均有良好的預測效果.Tekin 等[17]和Rad 等[23]分別利用YOLO 和SSD 提出了基于單幅圖像的位姿估計模型,提升了位姿估計速度.

可見,利用深度學習進行位姿估計,并與機器人視點規(guī)劃相結(jié)合,是機器人自動化高效率攝影測量的新的方式.本文針對機器人攝影測量系統(tǒng)中初始位姿估計、機器人掃描路徑規(guī)劃兩個主要問題,研究提升機器人攝影測量效率和自動化程度的新方法.提出融合深度學習位姿估計的機器人攝影測量系統(tǒng)視點規(guī)劃策略(第2 節(jié)).主要貢獻在于: 1)基于YOLO 模型與PNP 算法實現(xiàn)了單相機快速位姿估計,替代傳統(tǒng)的初始位姿現(xiàn)場校準的工作(第2.1 節(jié));2)提出基于相機成像2D-3D 正逆性映射的被測模型可見性矩陣估計(第2.2 節(jié));3)提出基于初始位姿約束和熵權(quán)法的機器人攝影測量視點規(guī)劃和路徑規(guī)劃方法(第2.3 節(jié)).利用幾種具有典型特征的零件進行實驗驗證,獲得了優(yōu)異的位姿估計效果和攝影重建結(jié)果(第3 節(jié)).

1 測量系統(tǒng)組成及方法

攝影測量是利用多視角拍攝大量圖像進行物體三維重建的技術(shù).機器人攝影測量系統(tǒng)組成包括:機器人本體、視覺末端、計算機及控制器等.視覺系統(tǒng)固定安裝在機器人末端執(zhí)行器,視覺坐標系與機器人末端坐標系精確標定后,視覺數(shù)據(jù)可變換到機器人坐標系下.機器人攝影測量系統(tǒng)中,機器人作為執(zhí)行機構(gòu),搭載相機達到指定位置,并以優(yōu)化的視角獲取被測對象數(shù)據(jù).圖1 為機器人攝影測量系統(tǒng)簡圖.

圖1 機器人攝影測量系統(tǒng)簡圖Fig.1 Diagram of the robotic photogrammetric system

如圖1 所示,被測對象放置在固定的工作平臺上,機器人攜帶視覺系統(tǒng)從不同角度拍攝圖像,然后發(fā)送至攝影測量系統(tǒng)進行重建.由于擺放位置隨意性,傳統(tǒng)機器人攝影測量必須借助輔助測量設(shè)備標定機器人基坐標系{B}和物體坐標系{O}的相對變換然后利用這個固定關(guān)系和視覺系統(tǒng)可見信息規(guī)劃機器人末端位姿這一過程依賴初始標定結(jié)果,使得離線編程結(jié)果受到實際操作限制.本文從逆向出發(fā),利用視覺系統(tǒng)自身可定位能力實現(xiàn)被測對象相對于視覺系統(tǒng)的變換矩陣估計,然后根據(jù)手眼矩陣計算出機器人姿態(tài),并根據(jù)可見性規(guī)劃機器人完成掃描的最優(yōu)位姿.

如圖2 所示,整個視點規(guī)劃策略可分為3 部分:初始位姿估計、可見性矩陣估計、視點與軌跡規(guī)劃.被測對象隨意放置在測量平臺,機器人視覺系統(tǒng)僅通過初始圖像即獲取被測對象位姿,而無需標定.獲得初始姿態(tài)后再根據(jù)可見性信息規(guī)劃視點和機器人路徑.

圖2 融合初始位姿估計的視點規(guī)劃策略Fig.2 Viewpoint planning strategy with estimated initial pose

視點規(guī)劃策略具體如下: 1)基于深度學習的初始位姿估計: 訓練YOLO 網(wǎng)絡(luò)[17]獲得網(wǎng)絡(luò)權(quán)重.被測對象放置在測量系統(tǒng)前時采集初始圖像,利用已訓練的網(wǎng)絡(luò)估計初始位姿.2)可見性矩陣計算: 隨機生成測量視點.根據(jù)相機成像的2D-3D 正逆性映射,以三角網(wǎng)格模型為對象,根據(jù)深度原則判斷該視角下每個三角面片可見性,生成可見性矩陣.3)視點規(guī)劃建模與求解: 引入熵權(quán)法計算該視角下被測對象可重建的信息權(quán)值,約束初始視角,優(yōu)化求解視點規(guī)劃模型和旅行商模型獲得最優(yōu)視點和機器人掃描軌跡.

2 視點規(guī)劃策略

2.1 基于深度學習的單幅圖像初始位姿估計

采用深度學習方法以實現(xiàn)在可變測量環(huán)境下被測目標的穩(wěn)定位姿估計[17].采用的網(wǎng)絡(luò)基于YOLO模型,其通過識別對象包圍盒及質(zhì)心,并利用PNP方法計算對象位姿.該網(wǎng)絡(luò)可以實現(xiàn)單幅圖像的快速位姿估計.圖3 為實現(xiàn)單幅圖像位姿估計的網(wǎng)絡(luò)結(jié)構(gòu)和流程.

圖3 深度學習實現(xiàn)單幅圖像位姿估計流程Fig.3 Outline of single-shot pose estimation with deep learning

如圖3 所示,本文采用文獻[17]的網(wǎng)絡(luò)結(jié)構(gòu),本網(wǎng)絡(luò)中定義可信度函數(shù)為

其中,DT(x)表示圖像平面兩個像素點的歐氏距離;α為指數(shù)函數(shù)的控制參數(shù),根據(jù)實際訓練經(jīng)驗設(shè)置為2;dth為像素差異閾值.根據(jù)指定的測量對象,在訓練過程中,定義融合點誤差和致信誤差的復合損失函數(shù),不考慮被測對象種類識別的損失,則

其中,Lpt和Lconf分別表示圖像點和可信度的損失函數(shù),利用均方根誤差計算;λpt表示坐標點損失系數(shù),設(shè)置其值為1;λconf為可信度損失系數(shù),訓練時對圖像的每個元胞進行搜索,若該元胞內(nèi)有目標物體,λconf=5,否則λconf=0.1.

本文利用ArUco[22]編碼標志點作為全局控制點,并以其中一個編碼標志點作為坐標系原點建立坐標系.ArUco 具有較穩(wěn)定的可識別性,且可實現(xiàn)自身的位姿計算.真值位姿為相機坐標系相對于全局坐標系的變換矩陣.利用真值位姿可計算被測對象相關(guān)的任意投影圖像點.即對于k個拍攝視角,若測得編碼坐標系相對相機坐標系的真值位姿為Tk,目標物體三維包圍盒角點及質(zhì)心在該坐標系下的坐標為Mi=(Xi,Yi,Zi,1)T,i=0,1,···,8,相機參數(shù)矩陣為K,則可根據(jù)相機成像原理獲得圖像點mi,則

其中s為尺度因子.獲得圖像點后,根據(jù)圖像分辨率大小對圖像點進行歸一化處理.利用這些圖像點擬合最小的2D 包圍盒,并對2D 包圍盒的長寬進行歸一化處理.訓練網(wǎng)絡(luò)需要準備的真值數(shù)據(jù)包括:被測目標3D 包圍盒8 個角點的歸一化坐標、質(zhì)心歸一化坐標、圖像2D 包圍盒長寬歸一化數(shù)值以及目標物體編碼,共21 個參數(shù).根據(jù)被測對象不同,預先準備訓練數(shù)據(jù)包括: 原始圖像(三通道彩色)、掩膜圖像(二值圖)、目標物體三維模型、相機參數(shù)以及上述21 個數(shù)值.測試網(wǎng)絡(luò)的輸入為原始圖像,其通過在隨機生成的視點處拍攝得到,輸出為上述21 個參數(shù).利用圖3 網(wǎng)絡(luò)訓練后進行目標特征點預測,獲得目標的包圍盒圖像坐標后,利用PNP估計位姿.記預測的被測目標包圍盒角點及質(zhì)心圖像坐標為其相機坐標系下歸一化平面坐標預測位姿為3×4 的矩陣,根據(jù)相機3D-2D 投影關(guān)系(式(3))和PNP 算法,建立位姿計算的方程式,即

利用網(wǎng)絡(luò)預測的8 個角點坐標及質(zhì)心坐標,建立線性方程組

2.2 基于2D-3D 映射的可見性矩陣計算

為優(yōu)化視點,以最少的圖片數(shù)量完成對象重建,建立以可見性矩陣為目標函數(shù)的優(yōu)化模型.可見性矩陣是描述在某個視角下對象表面某個部分是否可見的二值化矩陣.本文研究三角網(wǎng)格模型,可見性矩陣描述為

本文提出一種基于相機模型的空間映射方法確定可見性矩陣.

首先,在被測對象自身建立局部坐標系,隨機生成空間三維點,觀測方向法向于原點.記初始視點為V1=(x1i,y1i,z1i,δ1i,φ1i,γ1i),其中,

其中,ri,αi,βi為隨機生成,δ1i,φ1i,γ1i為歐拉角.按照式(8)和式(9)生成的隨機視點分布在空間一個局部環(huán)體中,與實際拍攝視點相符.根據(jù)手眼矩陣將V1變換到機器人末端坐標系,然后根據(jù)機器人逆運動學求解得到機器人關(guān)節(jié)角度.若求解失敗或關(guān)節(jié)角度超出機器人理論關(guān)節(jié)角范圍,則將該視點移除.初步濾除后的視點記為V2.控制機器人到達V2后拍攝圖像,利用第2.1 節(jié)深度學習的方法從圖像中提取被測物體并估計當前姿態(tài),記為V2為設(shè)計的視點,位姿信息為已知.為估計的參數(shù),位姿信息是估計得到的.

算法 1.可見性矩陣計算算法

輸入.候選視點集合模型的所有三角面片集合P;相機參數(shù)矩陣K.

2.3 測量視點優(yōu)化與軌跡規(guī)劃

為實現(xiàn)以最小圖片數(shù)量對被測對象進行完整重建,本文以最小化視點數(shù)量為目標函數(shù),可見性為約束條件,建立基于最小化信息熵的優(yōu)化模型,即

不失一般性,x1=1 表示第一個視點為必須的視點,其是當被測對象放置于測量系統(tǒng)前第一次拍攝的視點.同時,第一個視角下的位姿是利用深度學習方法估計得到的;γ是一個向量,表示每個三角面片需要被重復拍攝的次數(shù),在攝影測量中,根據(jù)重復測量的特征點計算相對位姿,故必須保證每個特征點至少被測量2 次,本文設(shè)定為4;wi表示視點xi下被測物體能夠被重建的權(quán)重,本文利用信息熵權(quán)的方法確定.根據(jù)第2.3 節(jié)算法流程可得每個視角下無遮擋的投影圖像Ic,其對應一個投影矩陣T(Ic)=[R(Ic)|t(Ic)],考慮到拍攝視角距離被測物體越近意味著更有可能實現(xiàn)特征識別和重建,所以建立新的投影矩陣其中,表示相機的最近可測深度,其與相機景深有關(guān).利用T′將被測物體投影可得圖像定義vi個視點可重建概率

其中,size(I)表示圖像I中像素值非零元素的個數(shù).概率越大,該視點被選作最終視點的可能性越大.本文目標函數(shù)為最小化,根據(jù)信息熵理論,定義信息熵為

信息熵與概率成反函數(shù),所以信息熵越小,目標函數(shù)越小.信息熵表明該視角下能夠重建的信息值,可重建信息熵值越小,獲得的優(yōu)化的視點數(shù)越小.利用線性規(guī)劃的方法求解式(11),可得到優(yōu)化的視點集合V3.

下一步即是根據(jù)最短路徑原則,為機器人規(guī)劃運動軌跡.從vi到vj有多條路徑,定義機器人在兩個視點之間的路徑長度d(vi,vj)為各個結(jié)點間距離總和.為避免機器人運動至奇異點,通常采用插值的方法在兩個視點之間插入中間點,本文采取自適應隨機游走算法(Adaptive random walks,ARW)[24]對插值點和整個運動軌跡進行優(yōu)化計算,利用Robwork 機器人編程庫實現(xiàn)[25].可建立機器人路徑規(guī)劃的旅行商問題(Travelling saleman problem,TSP)模型

利用MATLAB 中求解TSP 的工具箱進行求解,可以得到最佳掃描路徑.

3 實驗與結(jié)果分析

3.1 單幅圖像位姿估計結(jié)果分析

本文選擇一個3D 打印件作為算法驗證對象.在實驗中,根據(jù)式(8)和式(9)生成1 600 個初始視點,利用機器人逆向運動學和關(guān)節(jié)角度范圍進行初步濾除,獲得1 443 個有效視點.從中隨機選擇1 155個視點拍攝圖像進行訓練,其余288 個視點獲得的圖像進行測試,圖像分辨率為1 024× 768 像素.根據(jù)第2.1 節(jié)準備測試數(shù)據(jù)進行網(wǎng)絡(luò)訓練.目標物體與空間標志點的相對位置通過文獻[15]方法求解.訓練損失與精度變化曲線如圖4(a)所示,測試集平移和旋轉(zhuǎn)誤差如圖4(b)所示.

圖4 訓練和測量結(jié)果Fig.4 Results of training and testing

其中測試精度是每次訓練后,預測的包圍盒角點與真實角點像素偏差小于5 pixels 的角點所占的比率.由圖4(a)可知,測試精度最終穩(wěn)定在100%,表明所有預測的目標包圍盒均滿足像素偏差小于5像素的要求.平移精度和旋轉(zhuǎn)精度定義如下:

其中,Trsie,Trsi0分別表示估計的平移向量和真實平移向量;Angie,Angi0分別表示估計歐拉角度和真實的歐拉角度.從圖4(b)可以看出,訓練穩(wěn)定時,平移精度為0.00481 m,角度精度為1.6478°.位姿估計的可視化結(jié)果如圖5 所示.

圖5 位姿估計可視化結(jié)果Fig.5 Visualization of pose estimation

圖5 表示利用真值位姿和估計位姿將空間點重投影到圖像平面的結(jié)果,從圖像可以看出,重投影的空間物體與實際物體吻合得很好,結(jié)合圖4 可得,在機器人攝影系統(tǒng)中,本網(wǎng)絡(luò)結(jié)構(gòu)可以實現(xiàn)較高精度的位姿估計.單幅圖像測得的空間位姿,為機器人掃描路徑規(guī)劃提供準確的初始姿態(tài).

3.2 可見性矩陣實驗結(jié)果分析

本文以三角網(wǎng)格為研究對象,首先將網(wǎng)格劃分更加密集,以提高可見性矩陣有效性和解析能力.將測試集的288 個視點作為候選視點,按照第2.2節(jié)可見性矩陣的計算算法,求解288 個視點下的可見性.部分計算結(jié)果如圖6 所示.

圖6 不同視角下模型可見性算例對比Fig.6 Comparison cases of visibility in different views

圖6(a)表示直接將stl 模型投影到圖像平面所形成的投影圖.若圖像中某個像素點只由一個空間點投影產(chǎn)生,則該點的灰度值減少一次,本文規(guī)定一次減少的灰度值為30.則可知減少的次數(shù)越多,灰度值越小,表明該像素點由多個空間點投影產(chǎn)生,即產(chǎn)生了將不可見空間面片投影到圖像平面的錯誤投影.由圖6(a)可以看出,投影區(qū)域的灰度值并不統(tǒng)一,尤其在紅色曲線內(nèi),灰度值較小.圖6(b)是利用本文算法獲得的投影圖像,灰度值完全相同,表明所有像素點均是可見面片的投影.圖6(c)為對應視角下可見的三角面片,其與投影圖像相符.圖6(d)展示了該視角下拍攝圖像,然后進行位姿估計的結(jié)果,這說明可以利用估計的位姿代替真值位姿進行可見性計算,這更適用于實際工程應用.通過標記每一個像素點對應空間面片的編號,可以得到該面片在該視角下是否可見,最終獲得的可見性矩陣為二值化矩陣.

3.3 信息熵權(quán)法實驗分析

獲得可見性矩陣后,利用式(11)～(14)即可以確定優(yōu)化的測量視點和對應的掃描路徑.為探究本文提出的信息熵權(quán)法對于全局重建的影響,本文對比考慮有權(quán)重和無權(quán)重情況下三維重建的質(zhì)量,結(jié)果如表1 所示.

表1 信息熵權(quán)有效性驗證表Table 1 Effectiveness test for entropy weight

表1 中A、B、C 三組實驗,分別設(shè)定了不同的目標函數(shù).A 組實驗目標函數(shù)考慮了權(quán)重,而B、C組實驗均沒有考慮權(quán)重.在表1 中,優(yōu)化的視點數(shù)表示經(jīng)過優(yōu)化求解后獲得優(yōu)化的視點數(shù)量,點云數(shù)表示攝影測量系統(tǒng)重建的點云包含三維點的數(shù)量,點云數(shù)越多表明被重建的特征越多,重建質(zhì)量越高.對比A、B 實驗可看出,增加了信息熵權(quán)的方法求解的視點數(shù)為21,其視點數(shù)相對沒有考慮權(quán)重的方法多了一個視點,點云數(shù)增加了3 149,說明考慮權(quán)重后點云質(zhì)量提高.C 的目標函數(shù)和B 相同,所以得到的優(yōu)化的視點數(shù)和B 相同,均為20 個.但是為說明輸入圖像數(shù)量不同對于重建質(zhì)量的影響,本文從候選的288 個視點中隨機選擇一個視點,故C 共有21 個視點.比較重建點云數(shù)量可看出,其重建的點云數(shù)量小于B,說明同樣21 個視點情況下,本文信息熵的方法可獲得最優(yōu)的視點數(shù)和三維重建質(zhì)量.

進一步,綜合考慮初始姿態(tài)和權(quán)重情況下,探究重建質(zhì)量.為提高重建速度,在式(11)中控制每一個面片可見次數(shù)為2.實驗結(jié)果如表2 所示.

表2 綜合權(quán)重和初始姿態(tài)下重建質(zhì)量對比Table 2 Comparison of reconstruction quality with weight and first-sight pose

表2 對比了考慮權(quán)重和初始姿態(tài)情況下重建質(zhì)量.不失一般性,統(tǒng)一將索引為1 的視點作為初始視點.其中有初始位姿約束表示約束候選視點中索引為1 的視點為必選視點,然后求解最優(yōu)視點;無初始位姿約束表示不考慮視點1 是否為必選而直接求解最優(yōu)視點.表2 結(jié)果保證了只有初始位姿是不同的.對比表2 第2 列和第3 列,考慮初始姿態(tài)時,視點數(shù)量增加1 個,但重建的點云數(shù)量相比較小.這說明增加的初始姿態(tài)的約束造成了全局重建質(zhì)量的下降.對比第4、第5 列有相同結(jié)論.需要注意的是,4、5 兩列雖然視點索引號不同,但其均是視點優(yōu)化的結(jié)果,且僅保證了初始位姿是不同的.比較2、4 兩列可看出,考慮權(quán)重的情況下,不論是否約束初始姿態(tài),重建質(zhì)量均提高.

3.4 掃描路徑與重建結(jié)果分析

獲得優(yōu)化的測量視點后,最終按照式 (14)規(guī)劃機器人的最短掃描路徑.本文采用插值的方法,在任意兩個視點中插入中間過渡點以保證機器人運動過程不會產(chǎn)生干涉,最優(yōu)路徑通過自適應游走算法進行計算.由于本文方法不需要進行現(xiàn)場校準,被測物體任意放置在測量系統(tǒng)前,初始姿態(tài)具有任意性,通過表2 也說明初始姿態(tài)對于重建結(jié)果的影響.所以機器人運動軌跡受到初始姿態(tài)的影響,但是在具有相同的初始姿態(tài)下,機器人軌跡相對固定.機器人軌跡計算方法也直接用于現(xiàn)場實驗,圖7 展示了利用本文機器人規(guī)劃算法設(shè)計的仿真界面和現(xiàn)場實驗.圖7(a)為仿真界面,圖7(b)為現(xiàn)場實驗.利用本文的測量策略,在實際測量時,控制末端相機采圖,并估計目標物體位姿.然后將該位姿作為初始位姿進行后續(xù)視點和路徑規(guī)劃.規(guī)劃得到最優(yōu)路徑發(fā)送至機器人實現(xiàn)自動測量.圖8(a)展示了兩種候選匹配點下的掃描路徑.

圖7 機器人掃描規(guī)劃仿真界面和現(xiàn)場實驗Fig.7 Simulation interface and field experiment of the robot scanning planning

圖8 不同候選匹配點下掃描路徑對比Fig.8 Comparison of scanning paths with different candidate view point

改變候選視點數(shù)量,進一步探究不同候選點下掃描路徑與重建質(zhì)量,探究最優(yōu)掃描路徑在不同候選視點的提升程度.圖8 展示了不同候選點集下獲得的機器人路徑.不同候選點獲得的優(yōu)化的視點數(shù)量不同,掃描軌跡也不同.

由圖8 可看出,更多的優(yōu)化視點獲得三維點云數(shù)量較多,重建質(zhì)量較高,機器人運動的路徑相對較長.不同的候選點將產(chǎn)生不同的掃描路徑,但本文全部算法流程可根據(jù)實際應用中不同初始姿態(tài)、不同候選點等情況生成最優(yōu)的掃描路徑.本文為實現(xiàn)快速攝影測量重建,重建的點云密度略低于精密攝影測量.同時,通過增加候選點數(shù)量和重疊點數(shù)量(式(11))實現(xiàn)重建質(zhì)量提高.

利用估計的姿態(tài)進行攝影重建,21 個視點重建的時間為90 s.沒有估計姿態(tài)直接進行三維重建的時間為111 s,相對提高了18.92%,大幅提升了重建速度.因為沒有輸入姿態(tài)的情況下,攝影測量系統(tǒng)必須根據(jù)特征點估計出相機姿態(tài),然后進行優(yōu)化和重建,故重建速度低.另外,結(jié)合快速位姿估計、視點優(yōu)化以及最短路徑規(guī)劃等綜合提升了測量系統(tǒng)速度.

3.5 典型特征的攝影測量驗證

上文以“金字塔”狀凸臺零件驗證了所提算法.為驗證模型的泛化能力和適用性,增加球體、柱體、凹臺這三類零件的測量位姿估計與視點規(guī)劃實驗.3D 打印件如圖9 的第1 行所示.

圖9 具有典型特征的零件攝影測量位姿估計與視點規(guī)劃Fig.9 The pose estimation and viewpoint planning of part with typical features for photogrammetry

圖9 中第1 行～第5 行分別展示了3D 打印件的原始圖像、位姿估計可視化結(jié)果、網(wǎng)絡(luò)訓練結(jié)果、最優(yōu)掃描路徑和攝影重建結(jié)果.圖9(a)～9(c)表明所提的機器人攝影測量策略適用于常規(guī)的零件,包括球體、柱體和凹臺,具有一定的通用性,更多的目標物體只需要按照本文方法進行位姿估計、可見性計算、測量規(guī)劃等工作.由圖中第2 行可見可視化的位姿與被測物體十分吻合,質(zhì)心坐標重合,結(jié)合第3 行測試結(jié)果可得出目標包圍盒的估計準確率為100%,同時平移估計精度均優(yōu)于5 mm,旋轉(zhuǎn)估計精度優(yōu)于2°.第4 行給出了最優(yōu)掃描路徑,其中模型的可見性均滿足無重疊投影的要求.第5 行為利用規(guī)劃的視點進行機器人路徑規(guī)劃得到的攝影重建結(jié)果.

同樣,利用估計的位姿進行攝影測量重建,重建效率對比如表3 所示.本文攝影重建均采用增量式稀疏重建方法,可縮短整體重建時間,由于表2驗證了熵權(quán)對于重建質(zhì)量的提升,此處均采用熵權(quán)法進行視點優(yōu)化求解.

表3 利用深度學習位姿估計的攝影測量效率對比Table 3 Comparison on effectiveness of photogrammetry with estimated pose using deep learning

由表3 可以看出,考慮初始位姿約束的情況下,三種模型重建的點云數(shù)量均略有減少,這說明本文方法更加適合稀疏點云的快速重建,而不能獲得稠密的攝影重建.而融合了位姿估計的攝影測量系統(tǒng)效率均有所提升,球體、柱體、凹臺零件重建效率分別提升15.29%、14.84%和18.63%,因為利用深度學習的方法進行位姿估計節(jié)省了傳統(tǒng)攝影測量中位姿依賴本質(zhì)矩陣分解的計算時間.綜上分析,融合了初始位姿估計的機器人攝影測量可實現(xiàn)快速稀疏點云重建,而利用深度學習替代傳統(tǒng)依賴特征計算的方法對于攝影測量具有重大意義.

4 結(jié)束語

提出一種基于深度學習初始位姿估計的機器人攝影測量系統(tǒng)視點規(guī)劃方法,實現(xiàn)了利用單相機快速位姿估計,平移精度優(yōu)于5 mm,角度精度優(yōu)于2°.提出基于相機成像映射的可見性矩陣計算.利用所提的視點規(guī)劃策略提升了攝影測量重建的效率.對幾種具有典型特征的零件進行攝影測量,本文方法在位姿估計、重建效率方面均表現(xiàn)優(yōu)異,重建質(zhì)量因初始位姿約束有所下降,故適用于快速稀疏攝影重建.本文方法促進了機器人攝影測量系統(tǒng)現(xiàn)場測量的智能性、靈活性和自動化程度,對工業(yè)攝影測量具有重要的推進意義.

本文網(wǎng)絡(luò)為開源網(wǎng)絡(luò),為擴展網(wǎng)絡(luò)應用價值,公開本文中圓柱體模型的數(shù)據(jù)集供同行使用.本文所使用的模型均來自英國諾丁漢大學制造測量團隊.