滕少華,屈政燁,霍穎翔

1(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,廣州 510006) 2(華南理工大學(xué) 未來技術(shù)學(xué)院,廣州 510006)

0 引 言

多年來,國(guó)家對(duì)基礎(chǔ)設(shè)施進(jìn)行了大規(guī)模建設(shè),然而舊基礎(chǔ)設(shè)施不斷老化,導(dǎo)致了很多安全隱患,例如橋梁變形引起的橋梁坍塌等.及時(shí)發(fā)現(xiàn)建筑物變形,防范潛在風(fēng)險(xiǎn)的是關(guān)系國(guó)計(jì)民生的事情,因此形變識(shí)別研究是重中之重,相關(guān)研究也成為近幾年的熱點(diǎn),并且一部分研究在一些場(chǎng)景下實(shí)現(xiàn)了工程應(yīng)用.然而,實(shí)踐中復(fù)雜的條件影響了識(shí)別技術(shù)進(jìn)一步推廣.

傳統(tǒng)測(cè)量中接觸式測(cè)量是最主要方法,在實(shí)驗(yàn)室環(huán)境下可以精準(zhǔn)地收集變形數(shù)據(jù),但是需要人工操作,并且在復(fù)雜多變的實(shí)際場(chǎng)景下存在固有的局限性.例如,環(huán)境濕度和溫度的變化可能導(dǎo)致數(shù)據(jù)產(chǎn)生誤差,極端環(huán)境下人力無法操作,測(cè)量?jī)x器可能失效.

為了降低環(huán)境的影響,減少人力物力,近年來,人們逐漸將目光轉(zhuǎn)向通過非接觸式測(cè)量的方法.其中,二維數(shù)字圖像相關(guān)法[1](DIC)最早被應(yīng)用,該方法通過測(cè)量選定的局部區(qū)域在形變前后的差異來實(shí)現(xiàn)形變識(shí)別.然而,該算法只能測(cè)量物體的面內(nèi)位移與應(yīng)變,容易受到背景、視角、姿態(tài)、遮擋等因素影響.三維重建技術(shù)可以解決二維數(shù)字圖像只能計(jì)算面內(nèi)位移的問題,得到更加精準(zhǔn)的形變信息,是現(xiàn)在形變識(shí)別研究中最廣泛使用的技術(shù).其中三維激光掃描技術(shù)[2]無需接觸測(cè)量目標(biāo),精度高,但是設(shè)備造價(jià)昂貴,且掃描數(shù)據(jù)需要進(jìn)行復(fù)雜的處理.多視角三維重建技術(shù)通過利用多個(gè)視角的圖片信息,重構(gòu)物體的三維信息實(shí)現(xiàn)形變識(shí)別.雙目視覺技術(shù)作為多視角三維重建的典型算法之一,具有非接觸測(cè)量、成本低廉、幾何結(jié)構(gòu)簡(jiǎn)單等顯著優(yōu)點(diǎn).

然而,雙目視覺三維重建技術(shù)因?yàn)槠浣Y(jié)構(gòu)特點(diǎn),無法在相機(jī)位姿多變的場(chǎng)景下使用.雙目立體視覺常規(guī)的模型在標(biāo)定相機(jī)位姿后,利用位姿參數(shù)將成像平面矯正為同一平面且光軸平行的情況進(jìn)行空間幾何計(jì)算,得到三維信息.這就需要相機(jī)位姿保持固定,一旦相機(jī)位姿改變就需要重建標(biāo)定,過程繁瑣.而且在現(xiàn)場(chǎng)環(huán)境中,例如因?yàn)轱L(fēng)力等外界因素使得相機(jī)位姿產(chǎn)生微小變化時(shí),不易被發(fā)現(xiàn),錯(cuò)誤的位姿參數(shù)導(dǎo)致三維信息計(jì)算結(jié)果不精準(zhǔn),進(jìn)而無法實(shí)現(xiàn)準(zhǔn)確的形變識(shí)別.為解決常規(guī)雙目立體視覺模型存在的局限性,運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法[3](SFM)使用不同角度圖像序列,通過匹配相鄰圖像的成對(duì)特征點(diǎn),求解本質(zhì)矩陣得到相機(jī)位姿,實(shí)現(xiàn)三維重建,無需預(yù)先標(biāo)定相機(jī)位姿.SFM通常利用7對(duì)匹配的特征點(diǎn)求解基礎(chǔ)矩陣,特征匹配結(jié)果難免存在誤匹配項(xiàng),在選取誤匹配項(xiàng)的情況下,可能會(huì)導(dǎo)致估計(jì)的相機(jī)位姿產(chǎn)生偏差,從而使得三維重建模型扭曲,最終導(dǎo)致結(jié)構(gòu)面形變的錯(cuò)誤識(shí)別,一些微小的結(jié)構(gòu)形變無法識(shí)別.

針對(duì)上述問題,本文對(duì)雙目視覺三維重建方法進(jìn)行改進(jìn),提出:基于信號(hào)博弈的三維重建形變識(shí)別算法.使用博弈[4,5]方法,在已有的數(shù)據(jù)中提取知識(shí)不斷迭代,使得相機(jī)位姿不斷修正,并且在策略良好的情況下可以使得相機(jī)位姿不斷逼近真實(shí)值,從而得到高質(zhì)量的三維形變信息,進(jìn)而達(dá)到準(zhǔn)確地識(shí)別變形的目的.

算法主要包括兩個(gè)方面:

1)采用信號(hào)博弈使得相機(jī)位姿參數(shù)逼近真實(shí)值,完成位姿參數(shù)估計(jì).

2)利用最優(yōu)相機(jī)位姿參數(shù),完成三維重建并且識(shí)別形變.

基于以上條件,達(dá)到在圖片拍攝時(shí),相機(jī)相對(duì)位姿關(guān)系改變或者缺失的條件下,由不同視角的圖片完成三維重建.最終對(duì)比三維信息識(shí)別出被檢測(cè)物體的形變熱點(diǎn).

1 相關(guān)工作

視覺三維重建技術(shù)被廣泛應(yīng)用于物體識(shí)別[6]、距離測(cè)量[7]、變形監(jiān)測(cè)[8].在形變識(shí)別方面,Tang[9]等人結(jié)合鋼管混凝土柱的復(fù)雜性和凸曲特點(diǎn)進(jìn)行了圖像采集、圖像預(yù)處理,生成三維點(diǎn)云圖,利用一種改進(jìn)的非線性最小二乘法對(duì)點(diǎn)云進(jìn)行圓擬合,反求三維變形曲面得到形變,但是需要預(yù)先標(biāo)定好相機(jī),相機(jī)位姿不能隨意改變,在工程現(xiàn)場(chǎng)識(shí)別效果受限.He[10]等人基于雙目視覺三維重建技術(shù)提出同心圓標(biāo)記方案監(jiān)測(cè)邊坡變形.邢[11]等人將標(biāo)記物粘貼在零件表面,通過三維重建后標(biāo)記物位置的改變確定零件的形變.這些研究都需要在相機(jī)固定后,標(biāo)定相機(jī)位姿外參,然后獲取具體物體的雙目圖片再計(jì)算三維信息,最終完成形變識(shí)別.然而,相機(jī)位姿一旦改變就需要重新標(biāo)定外參,在極端地形環(huán)境下,例如山坡、雪地、大風(fēng)或者使用無人機(jī)拍攝測(cè)量[12]等場(chǎng)景下,很難滿足該條件.因而,近年來,一些算法通過圖片估計(jì)相機(jī)位姿完成形變識(shí)別,從而避免相機(jī)位姿變化的負(fù)面影響.

為了處理復(fù)雜場(chǎng)景下的形變識(shí)別,SFM方法利用其對(duì)特征點(diǎn)估計(jì)相機(jī)位姿,還原三維信息完成形變識(shí)別,適用于極端地形條件.Xue[13]等人結(jié)合SFM與深度學(xué)習(xí)模型提出隧道形變的自動(dòng)識(shí)別和準(zhǔn)確量化方法,并運(yùn)用于實(shí)際的地鐵隧道中,但是深度學(xué)習(xí)模型的測(cè)試集需要人工打標(biāo)簽.劉[14]等人以SFM為核心得到三維信息,結(jié)合二維圖像處理與深度卷積方法進(jìn)行識(shí)別結(jié)構(gòu)面的形變,與人工測(cè)量結(jié)果相比,裂縫寬度識(shí)別的誤差在33%以內(nèi),但是同樣也需人工標(biāo)記變形樣本.Zeng[15]等人將隨機(jī)采樣一致算法(RANSAC)[16]引入SFM,通過迭代求解估計(jì)相機(jī)位姿的最優(yōu)參數(shù).在增加補(bǔ)充點(diǎn)的點(diǎn)云數(shù)據(jù)集上,利用徑向基(RBF)函數(shù)計(jì)算曲面方程修補(bǔ)孔洞.但是在不同場(chǎng)景下,該方法往往需要設(shè)置內(nèi)外點(diǎn)閾值,不同的隨機(jī)采樣迭代次數(shù)和內(nèi)外點(diǎn)閾值的設(shè)置導(dǎo)致不同結(jié)果,缺乏穩(wěn)定性,不利于形變識(shí)別的實(shí)際應(yīng)用.雖然SFM取得了一定效果,但是特征匹配中存在的誤匹配項(xiàng)可能會(huì)導(dǎo)致相機(jī)位姿估計(jì)錯(cuò)誤,識(shí)別效果不穩(wěn)定.為減少錯(cuò)誤識(shí)別,一種方法是在SFM算法的基礎(chǔ)上增加成對(duì)特征點(diǎn)的個(gè)數(shù).然而,這種做法增加了算法的運(yùn)算時(shí)間,也不能從根本上解決誤匹配問題.如何降低單個(gè)點(diǎn)在估計(jì)相機(jī)位姿時(shí)的影響,進(jìn)而實(shí)現(xiàn)準(zhǔn)確形變識(shí)別,是當(dāng)前研究的重點(diǎn).

雙目視覺三維重建算法的核心是相機(jī)位姿參數(shù)估計(jì),所以如何準(zhǔn)確估計(jì)相機(jī)位姿,成為三維重建得到形變信息的關(guān)鍵.近年來博弈思想被廣泛應(yīng)用于機(jī)器學(xué)習(xí)以及深度學(xué)習(xí).GAN[17]通過對(duì)抗學(xué)習(xí)的方式來訓(xùn)練,是博弈思想的一種經(jīng)典的應(yīng)用.其生成器和判別器在學(xué)習(xí)優(yōu)化過程中,不斷提高自身能力,最終達(dá)到一定平衡,得到最優(yōu)結(jié)果.將博弈應(yīng)用在估計(jì)位姿參數(shù)過程中能夠提升重建的精度,并有利于完成準(zhǔn)確的形變識(shí)別.

2 雙目視覺形變識(shí)別

雙目視覺形變識(shí)別主要包括:

1)預(yù)先標(biāo)定雙目相機(jī)的內(nèi)參(焦距、畸變參數(shù)等)和外參(雙目相機(jī)之間的平移旋轉(zhuǎn)關(guān)系),基于此位姿關(guān)系獲取兩幅物體圖像;

2)圖像畸變矯正及雙目相機(jī)位姿校正,如圖1(a)所示;

圖1 雙目視覺相關(guān)結(jié)構(gòu)Fig.1 Related structures of binocular vision

3)獲取一幅圖像中每個(gè)點(diǎn)與另一幅圖像中每個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系,如圖1(b)所示;

4)利用點(diǎn)的對(duì)應(yīng)關(guān)系,通過幾何關(guān)系得到三維信息;

5)前后三維信息比對(duì)識(shí)別形變,確定變形的位置.

經(jīng)過上述步驟,常規(guī)算法達(dá)到識(shí)別形變的功能.實(shí)際場(chǎng)景中難以直接獲得平移和旋轉(zhuǎn)量.

3 信號(hào)博弈三維重建的形變識(shí)別

3.1 總體結(jié)構(gòu)

雙目視覺三維重建算法的總體思路:首先確定兩次采景時(shí),相機(jī)之間的相對(duì)位置與角度;其次利用所獲得的位置角度計(jì)算三維信息;在空間坐標(biāo)系對(duì)齊之后,對(duì)比三維信息進(jìn)行形變計(jì)算.算法的核心是估計(jì)相機(jī)之間的位姿.

形變識(shí)別的數(shù)據(jù)共有4幅圖像,物體變形前的原始狀態(tài)兩幅圖像,以及物體變形后兩幅圖像.由物體變形前的兩副圖像,可得到一組三維信息;同樣,由物體變形后的兩副圖像,也可得到一組三維信息.注意圖像應(yīng)該在不同的視角與機(jī)位下拍攝,圖像需要互有重疊.由物體變形前后對(duì)應(yīng)的兩組三維信息得到形變區(qū)域.

具體的步驟為:1)首先對(duì)圖像進(jìn)行畸變矯正;2)然后進(jìn)行特征點(diǎn)識(shí)別,并對(duì)四幅圖像兩兩進(jìn)行特征點(diǎn)匹配;3)對(duì)6組匹配結(jié)果進(jìn)行約束,進(jìn)而獲得4幅圖像中共有的同名點(diǎn)(各圖像中的點(diǎn)對(duì)應(yīng)物體上的同一個(gè)點(diǎn));4)利用變形前圖像的同名點(diǎn)求解拍攝時(shí)相機(jī)位姿參數(shù),完成三維信息重建;5)同理得到變形后物體的三維信息,對(duì)比前后兩個(gè)時(shí)期的三維信息,即可得到形變信息.如圖2所示.

3.2 相機(jī)位姿估計(jì)

相機(jī)位姿參數(shù)估計(jì)是三維信息計(jì)算的關(guān)鍵,也關(guān)系著形變識(shí)別的效果.為了方便后續(xù)描述,對(duì)相機(jī)位姿參數(shù)進(jìn)行說明.

其中q∈3×1代表β坐標(biāo)系相對(duì)α坐標(biāo)系的平移量,R∈3×3則為相對(duì)的旋轉(zhuǎn)量.圖像在經(jīng)過SFIT特征匹配后存在多組同名點(diǎn),例如a1=[x1,y1]T,a2=[x2,y2]T,其對(duì)應(yīng)真實(shí)的點(diǎn)a′∈3×1.以α坐標(biāo)系為三維世界坐標(biāo)系,a1和a2對(duì)應(yīng)的坐標(biāo)表示為a′∈3×1和a″∈3×1.只有ρ確定了,a′和a″的三維坐標(biāo)才能確定,才能進(jìn)一步利用空間幾何得到a,所以估計(jì)相機(jī)位姿是算法的關(guān)鍵.

位姿參數(shù)估計(jì)過程中結(jié)合信號(hào)博弈來得到最優(yōu)參數(shù).信號(hào)博弈中包含兩個(gè)角色,信號(hào)發(fā)送者(參數(shù)評(píng)判器)與信號(hào)接收者(參數(shù)生成器).評(píng)判器向生成器發(fā)出參數(shù)的評(píng)分信號(hào),生成器收到信號(hào)后,根據(jù)信號(hào)選擇行動(dòng).最終的收益由雙方共同決定.

通過生成器和評(píng)判器之間的博弈達(dá)到均衡狀態(tài),此時(shí)評(píng)判器認(rèn)為真實(shí)數(shù)據(jù)和生成數(shù)據(jù)幾乎是相同的,如此便得到了位姿參數(shù)的最優(yōu)解.與RANSAC算法類似,都屬于隨機(jī)性方法.RANSAC通過隨機(jī)選擇部分同名點(diǎn)作為內(nèi)點(diǎn)計(jì)算位姿參數(shù),每次運(yùn)行可能取得不一樣的結(jié)果.本文方法則是直接隨機(jī)生成位姿參數(shù),得到模型,然后在所有預(yù)篩選過的同名點(diǎn)上進(jìn)行評(píng)估,根據(jù)評(píng)估信號(hào)獲取數(shù)據(jù)中潛藏的位姿信息,具有一定的選擇傾向性,使得后續(xù)的隨機(jī)生成參數(shù),每次迭代后準(zhǔn)確度穩(wěn)定上升.

3.3 高斯分布法生成相機(jī)位姿參數(shù)

算法1.高斯分布相機(jī)位姿參數(shù)生成算法

輸入：特征匹配后的同名點(diǎn).

a)設(shè)定期望值為θ,各維度間獨(dú)立且方差微小的概率密度分布P.

g)轉(zhuǎn)到步驟b).

其中,帶權(quán)重系數(shù)協(xié)方差矩陣的計(jì)算方式為:

Cij=Cov(Xi,Xj,ε)=E(XiXj,ε)-E(Xi,ε)E(Xj,ε)

(1)

其中,帶權(quán)重的期望計(jì)算方式為:

(2)

則帶權(quán)重系數(shù)ε的高斯分布概率密度函數(shù)為:

(3)

3.4 空間幾何法計(jì)算三維信息

圖3 三維信息計(jì)算Fig.3 3D information calculation

(4)

其中:

a′=[x1,y1,1]T

(5)

a″=q+R[x2,y2,1]T

(6)

η=N(a′×(a″-q))·(a′-a″)

(7)

N(a′)將向量a′進(jìn)行單位化.由下式解出未知數(shù)m1.

(8)

3.5 位姿參數(shù)評(píng)估

(9)

4 三維坐標(biāo)對(duì)齊及形變位置計(jì)算

將上述方法分別用在變形前后的圖像數(shù)據(jù)上,得到物體變形前和變形后兩組三維信息.aa∈3×m為變形前的三維信息,ar∈3×m則對(duì)應(yīng)變形后的三維信息.為了進(jìn)行對(duì)比,需要進(jìn)行坐標(biāo)系轉(zhuǎn)換,最終進(jìn)行比較得到形變.

由于變形后部分點(diǎn)產(chǎn)生了位移,直接用兩組點(diǎn)計(jì)算轉(zhuǎn)換關(guān)系可能會(huì)導(dǎo)致變形部分的點(diǎn)扭曲,降低形變識(shí)別的精度.S預(yù)先對(duì)兩組點(diǎn)進(jìn)行篩選,減少這種影響,然后通過E∈3×m對(duì)ar進(jìn)行平移,通過T∈3×3對(duì)ar進(jìn)行旋轉(zhuǎn),最終將坐標(biāo)系γ中的點(diǎn)轉(zhuǎn)換至坐標(biāo)系α中完成對(duì)比.S=diag(λ1,λ2,…,λm)為篩選兩組點(diǎn)的選擇矩陣,λ取值為0或1,ξ為大于0小于1的常數(shù).

為了求解最優(yōu)轉(zhuǎn)換關(guān)系T和E,同時(shí)提高求解過程的穩(wěn)定性可以同樣用上述估計(jì)位姿參數(shù)的方法.首先找到3個(gè)較為分散的點(diǎn)aαi,aαj,aαk,(i≠j≠k),且構(gòu)成面積最大.利用這3個(gè)點(diǎn)以及其對(duì)應(yīng)的3個(gè)點(diǎn)aγi,aγj,aγk,得到初始值T0和E0以加快求解速度.利用生成方法產(chǎn)生與T0和E0不同但相接近的轉(zhuǎn)換關(guān)系.計(jì)算轉(zhuǎn)換關(guān)系的評(píng)分d,基于d進(jìn)行優(yōu)化得到較為準(zhǔn)確的轉(zhuǎn)換關(guān)系,并篩選一部分點(diǎn).對(duì)上述過程進(jìn)行迭代,最終得到一個(gè)最優(yōu)的轉(zhuǎn)換關(guān)系,使得對(duì)準(zhǔn)更加準(zhǔn)確.

先求兩組點(diǎn)aαi,aαj,aαk和aγi,aγj,aγk的初始偏移量E0和初始旋轉(zhuǎn)量T0.

(10)

T0=[aαi,aαj,aαk][(aγi+E0,aγj+E0,aγk+E0]-1

(11)

然后基于初始值得到高斯分布概率密度函數(shù)P,同時(shí)有評(píng)判標(biāo)準(zhǔn)d,因?yàn)橥c(diǎn)經(jīng)過預(yù)篩,誤匹配較少,所以在充分學(xué)習(xí)后,可以得到最優(yōu)的坐標(biāo)系轉(zhuǎn)換矩陣,最終進(jìn)行準(zhǔn)確的形變識(shí)別.

E=E0+Δe

(12)

T=T0+Δt

(13)

(14)

s.t.tr(S)=|ξm|d=T(aγ+E)-aα

(15)

對(duì)準(zhǔn)坐標(biāo)系后,d中對(duì)應(yīng)了每個(gè)點(diǎn)產(chǎn)生的位移,也對(duì)應(yīng)了變形的大小,最終用熱點(diǎn)圖展示出對(duì)應(yīng)的變形位置以及大小.

5 實(shí)驗(yàn)結(jié)果分析

最后用兩組數(shù)據(jù)驗(yàn)證算法的可行性,第1組用手機(jī)拍攝的真實(shí)圖片進(jìn)行驗(yàn)證,第2組利用三維建模得到的圖片進(jìn)行形變識(shí)別的驗(yàn)證.

5.1 實(shí)驗(yàn)1

實(shí)驗(yàn)1.數(shù)據(jù)為手機(jī)拍攝不同角度的4張圖片,如圖4(a)、(b)、(d)、(e)所示,獲取圖片時(shí)保證圖片中物體有重疊的部分.不同于常規(guī)雙目立體視覺需要相機(jī)位置和角度固定,然后進(jìn)行外參標(biāo)定后獲取圖片,本文的方法無需預(yù)先標(biāo)定外參,圖片拍攝的角度也相對(duì)自由,更便于實(shí)際環(huán)境下應(yīng)用.

圖4 實(shí)際物體變形前后的圖像及重建效果.(a)、(b)物體變形前的圖像(c)變形前的三維點(diǎn)云(d)、(e)物體變形后的圖像(f)變形后的三維點(diǎn)云Fig.4 Image before and after deformation of the actual object and reconstruction results.(a)、(b)Image before deformation of the object(c)3D point cloud before deformation(d)、(e)Image after deformation of the object(f)3D point cloud after deformation

如圖 4(c)、圖4(f)所示,重建點(diǎn)云圖中點(diǎn)分布規(guī)律輪廓清晰和真實(shí)物體非常接近,且噪聲點(diǎn)較少,變形前后的點(diǎn)云幾乎僅在變形處存在不同.

通過前后三維信息的對(duì)比得到物體變形的熱點(diǎn)區(qū)域,但是沒有標(biāo)準(zhǔn)的環(huán)境難以量化位姿參數(shù),無法計(jì)算參數(shù)的準(zhǔn)確性.因此實(shí)驗(yàn)2使用3DsMAX構(gòu)建數(shù)據(jù)進(jìn)行實(shí)驗(yàn).

5.2 實(shí)驗(yàn)2

5.2.1 三維重建效果驗(yàn)證

實(shí)驗(yàn)2.對(duì)柱子的三維模型進(jìn)行三維重建及形變識(shí)別.首先用未變形的兩幅圖像來驗(yàn)證三維重建的效果.未變形時(shí)所對(duì)應(yīng)的兩幅圖像如圖5(a)、圖5(d)所示.

圖5 三維模型的圖像及重建效果.(a)、(d)不同視角的圖像(b)、(e)SFM重建效果(c)、(f)本文的重建效果Fig.5 Images of 3D models and reconstruction results.(a)、(d)images from different perspectives(b)、(e)reconstruction results of SFM(c)、(f)reconstruction results of this paper

使用SFM和本文的算法分別進(jìn)行三維信息計(jì)算,對(duì)比各自三維重建的效果.使用SFM對(duì)三維模型進(jìn)行重建得到的點(diǎn)云圖,如圖5(b)、圖5(e)所示,圖5(b)為俯視角的點(diǎn)云圖,圖5(e)為正面視角的點(diǎn)云圖.可以觀測(cè)到點(diǎn)云形狀產(chǎn)生傾斜扭曲,圓柱曲面變平緩,與三維模型有較大的差別.因此倘若利用直接用SFM計(jì)算變形前后的三維模型的點(diǎn)云,進(jìn)而對(duì)比獲得形變會(huì)有較大誤差.

利用本文算法對(duì)三維模型進(jìn)行重建同樣得到點(diǎn)云圖,如圖5(c)、圖5(f)所示,和SFM結(jié)果相比,點(diǎn)云輪廓清晰,與三維模型更接近.

5.2.2 相機(jī)位姿參數(shù)驗(yàn)證

在3DMAX中可以準(zhǔn)確獲得相機(jī)拍攝位置,從而得到兩個(gè)相機(jī)之間的真實(shí)的位姿關(guān)系,與本文算法計(jì)算的結(jié)果進(jìn)行比較,最終得到位姿參數(shù)的準(zhǔn)確性.

相機(jī)的相對(duì)位置關(guān)系為q,為了使表示更為直觀,旋轉(zhuǎn)關(guān)系R被分解為相機(jī)朝向v和水平旋轉(zhuǎn)k.兩個(gè)相機(jī)之間的真實(shí)的位姿關(guān)系q,v,k的對(duì)比結(jié)果見表1、表2以及表3.同時(shí)將本文和SFM方法計(jì)算得到q,v,k對(duì)應(yīng)結(jié)果的誤差對(duì)比,見表4.

表1 q的人工評(píng)估得分對(duì)比Table 1 Comparison of human evaluation scores for q

表2 v的人工評(píng)估得分對(duì)比Table 2 Comparison of human evaluation scores for v

表3 k的人工評(píng)估得分對(duì)比Table 3 Comparison of human evaluation scores for k

表4 兩個(gè)方法在三維模型數(shù)據(jù)上的效果對(duì)比Table 4 Comparison of the effects of the two methods on 3D model data

q與實(shí)際方向偏移了2.85度,相機(jī)朝向v方向和實(shí)際方向偏移了0.114度,水平方向與實(shí)際偏移了0.114度,計(jì)算得到參數(shù)誤差較小.

5.2.3 三維柱體模型形變識(shí)別

準(zhǔn)確的相機(jī)位姿能夠得到高精度的三維信息,進(jìn)而精確地完成形變識(shí)別.為了進(jìn)一步得到算法識(shí)別變形的范圍,實(shí)驗(yàn)驗(yàn)證.用3DMAX構(gòu)建了直徑為19.2的柱子,產(chǎn)生不同大小的形變.當(dāng)變形至直徑為19.8時(shí),算法尚能較清晰識(shí)別出形變區(qū)域,進(jìn)一步構(gòu)造更小的形變后難以得到形變區(qū)域.最終得到算法可識(shí)別相對(duì)柱體直徑而言產(chǎn)生3%及以上的形變.

形變后柱體模型得到點(diǎn)云圖以及形變識(shí)別效果如圖6所示.原圖人眼無法識(shí)別出是否產(chǎn)生了形變,但是在算法得到的三維點(diǎn)云中可以觀測(cè)到柱子側(cè)面凸起,且熱點(diǎn)圖清晰展示了變形的位置.

圖6 三維模型變形后的數(shù)據(jù)Fig.6 Data after deformation of 3D model

5.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)1利用手機(jī)拍攝的圖片,進(jìn)行三維重建,過程中無需預(yù)先標(biāo)定相機(jī)外參,然后保持位姿不變獲取圖片,體現(xiàn)了該方法的方便快捷.得到三維信息后識(shí)別到物體形變的熱點(diǎn),表明其識(shí)別形變的有效性,也側(cè)面驗(yàn)證了三維信息的準(zhǔn)確性.實(shí)驗(yàn)二利用3DMAX構(gòu)建物體,和SFM相比本文算法得到的三維點(diǎn)云更加準(zhǔn)確,同時(shí)得到的位姿參數(shù)也更加準(zhǔn)確.

圖7 模型優(yōu)化參數(shù)的結(jié)果Fig.7 Result of optimizing the parameters of the model

總體而言,實(shí)驗(yàn)驗(yàn)證了博弈思想使用在估計(jì)參數(shù)時(shí)的作用,在通過評(píng)判器和生成器合作迭代協(xié)調(diào)后,參數(shù)得到顯著優(yōu)化,同時(shí)準(zhǔn)確度逐步提升,較為穩(wěn)定.同時(shí)基于參數(shù)結(jié)果,得到三維信息后,對(duì)比后利用熱點(diǎn)圖可以準(zhǔn)確展示物體形變的位置和大小.

6 結(jié)束語

本文采用信號(hào)博弈的方法估計(jì)相機(jī)位姿參數(shù),提高三維重建精度,完成形變識(shí)別.無需預(yù)先標(biāo)定雙目相機(jī)之間的位姿關(guān)系,拓展了適用的場(chǎng)景,有利于更復(fù)雜實(shí)際場(chǎng)景下的運(yùn)用.而且過程中,有著更少的人工參與,具有更高的自動(dòng)化程度.同時(shí)算法采用信號(hào)博弈的方法估計(jì)相機(jī)位姿,得到的參數(shù)更加準(zhǔn)確,重建精度更高,更有利于計(jì)算形變.通過兩組實(shí)驗(yàn)進(jìn)行驗(yàn)證,第1組通過手機(jī)隨意拍攝的圖片進(jìn)行實(shí)驗(yàn),直接識(shí)別了物體的形變,設(shè)備簡(jiǎn)單且無需預(yù)先標(biāo)定雙目相機(jī)位姿.第2組對(duì)三維模型進(jìn)行了形變識(shí)別檢測(cè),實(shí)驗(yàn)驗(yàn)證了算法的有效性.但兩個(gè)實(shí)驗(yàn)都是模擬生活場(chǎng)景,后續(xù)有待在真實(shí)的相關(guān)場(chǎng)景下進(jìn)行驗(yàn)證.