丁一飛,王永紅,胡 悅,黃安琪,但西佐
(合肥工業(yè)大學(xué)儀器科學(xué)與光電工程學(xué)院,安徽 合肥 230009)
樣本塊匹配光柵投影階梯標(biāo)定方法
丁一飛,王永紅,胡悅,黃安琪,但西佐
(合肥工業(yè)大學(xué)儀器科學(xué)與光電工程學(xué)院,安徽合肥 230009)
針對(duì)直接三角法為模型的光柵投影測(cè)量技術(shù)標(biāo)定過(guò)程需要前后移動(dòng)參考平板以獲取標(biāo)定平面的方法,提出一種改進(jìn)的階梯標(biāo)定方法。該方法使用一個(gè)固定階梯面作為標(biāo)定板,將數(shù)字光柵投影到階梯面后,再通過(guò)圖像延拓的方法獲得不同位置的參考平面條紋圖,以獲取標(biāo)定平面,無(wú)需移動(dòng)標(biāo)定板即可實(shí)現(xiàn)標(biāo)定過(guò)程,簡(jiǎn)化標(biāo)定步驟和標(biāo)定系統(tǒng)。實(shí)驗(yàn)結(jié)果表明:使用樣本塊匹配方法延拓獲得的光柵條紋圖邊界銜接效果很好,視場(chǎng)均勻,延拓效果好;使用階梯標(biāo)定方法進(jìn)行實(shí)際測(cè)量并獲得三維結(jié)果,證明其實(shí)用可行。采用該方法克服傳統(tǒng)標(biāo)定方法需要移動(dòng)參考平面的局限性,簡(jiǎn)化系統(tǒng)標(biāo)定步驟,無(wú)需標(biāo)定板移動(dòng)裝置,減少標(biāo)定采集圖像數(shù)量,擴(kuò)大適用范圍。
光柵投影;系統(tǒng)標(biāo)定;樣本塊匹配;階梯標(biāo)定
光柵投影三維形貌測(cè)量系統(tǒng)是通過(guò)采集物體的二維圖像信息,在二維信息的基礎(chǔ)之上建立相應(yīng)物體的三維形貌[1-3]。三維形貌的準(zhǔn)確性是以規(guī)范和精確的二維圖像信息為基礎(chǔ)的。因此,規(guī)范計(jì)算機(jī)視覺(jué)測(cè)量系統(tǒng)參數(shù)是其非常重要的一個(gè)步驟,在大多數(shù)情況下,這些參數(shù)必須通過(guò)實(shí)驗(yàn)和計(jì)算才能得到,這個(gè)過(guò)程稱(chēng)為系統(tǒng)標(biāo)定。
近年來(lái),光柵投影系統(tǒng)的標(biāo)定方法取得了很大的進(jìn)步,許多學(xué)者提出了一系列不同的系統(tǒng)模型和標(biāo)定方法。當(dāng)前最常用的標(biāo)定方法是傳統(tǒng)的攝像機(jī)標(biāo)定方法[4],利用幾何信息已知的標(biāo)定模板作為空間參照物,通過(guò)已知數(shù)據(jù)建立攝像機(jī)圖像像素位置和空間物點(diǎn)之間的關(guān)系。XU等[5]針對(duì)每一個(gè)投影儀與相機(jī)的像素對(duì)應(yīng)關(guān)系分別標(biāo)定參量,避免了鏡頭畸變帶來(lái)的誤差,提高了測(cè)量準(zhǔn)確度;XU和DOUET等[6]提出一種基于圓球的多項(xiàng)式擬合方法,在標(biāo)定準(zhǔn)確度標(biāo)定效率方面均有提高;肖丹等[7]結(jié)合相位高度映射關(guān)系與棋盤(pán)標(biāo)定方法,重構(gòu)三維信息,獲得了較高準(zhǔn)確度;王鵬等[8]提出基于成像光線空間追蹤的攝像機(jī)標(biāo)定方法,建立了成像點(diǎn)與空間直線之間的光線追蹤模型,在噪聲抑制方面取得了提高;葉峰等[9]重新研究了模型求解方法,對(duì)攝像機(jī)的非線性畸變做了進(jìn)一步校正。
然而,在采用直接三角法模型時(shí),傳統(tǒng)的標(biāo)定方法[10-11]仍然需要移動(dòng)一次或幾次參考平板來(lái)完成標(biāo)定文件的獲取。在許多在線測(cè)量環(huán)境下,測(cè)量位置難以安放移動(dòng)裝置來(lái)移動(dòng)標(biāo)定平板(比如高溫環(huán)境,或者狹窄空間)。本文針對(duì)傳統(tǒng)的基于直接三角法模型的標(biāo)定方法進(jìn)行改進(jìn),采用基于樣本塊匹配的階梯標(biāo)定方法,無(wú)需標(biāo)定板移動(dòng)裝置,簡(jiǎn)化了標(biāo)定步驟和系統(tǒng),擴(kuò)大適用范圍。
使用計(jì)算機(jī)生成的數(shù)字光柵光強(qiáng)分布如下式:
式中:a——條紋背景;
b——與對(duì)比度有關(guān)的變量,b/a是條紋圖的對(duì)比度;
P——條紋柵距;
x——水平軸坐標(biāo);
y——豎直軸坐標(biāo)。
圖1 直接三角法系統(tǒng)模型示意圖
由圖1可知,在被測(cè)物曲面高度較小時(shí),可認(rèn)為待測(cè)表面高度Δz和可測(cè)得的圖像形變?chǔ)具有一定的線性關(guān)系,其中Δb為放置物體前后光線在CCD上移動(dòng)的距離;M是攝像機(jī)的放大倍數(shù),θ是照明角,k=Msinθ是靈敏度因子,它可以由實(shí)驗(yàn)標(biāo)定得到。
1.1高度矩陣的求取
在此關(guān)系模型中,求取高度矩陣的過(guò)程即是求解Δz的過(guò)程。攝像機(jī)放大倍數(shù)為
以上兩個(gè)公式聯(lián)立,可得:
因此,測(cè)量出Δb以及靈敏度因子k即可求解Δz。條紋投射至物體上后,由于條紋圖中有形變,條紋圖的光強(qiáng)分布變?yōu)?/p>
其中Δx是形變量,等價(jià)于k·Δz。令φ3d=[(2π/P)(x-kΔz)],這樣式(3)變?yōu)?/p>
其中,φ3d為物體相位,由于φplane和 φ3d均可由4步相移法測(cè)得,聯(lián)立式(1)~式(4),相減可以得到一個(gè)表面形態(tài)ΔZ和相位φplane、φ3d的關(guān)系式:
或者表示為
利用相移法可以得出φ3d和φplane,上式中的K由實(shí)驗(yàn)標(biāo)定得到,進(jìn)而計(jì)算出ΔZ。配合標(biāo)定步驟計(jì)算出K值即可完成基于圖1的高度矩陣求取過(guò)程。
1.2改進(jìn)的階梯標(biāo)定方法
在實(shí)驗(yàn)標(biāo)定過(guò)程中,K定義了相位改變和表面高度變化之間的關(guān)系,可以利用一個(gè)參考平面來(lái)計(jì)算K值。傳統(tǒng)的標(biāo)定方法是將參考平板安裝在可以沿Z方向上準(zhǔn)確直線移動(dòng)的載物臺(tái)上進(jìn)行標(biāo)定,移動(dòng)一個(gè)Δh的距離后,在末端位置即為參考平面。由此,可獲得標(biāo)定文件。
由上述過(guò)程可以看出,該標(biāo)定方法需要將參考平板安裝在可以沿Z方向上精確直線移動(dòng)的載物臺(tái)上進(jìn)行。然而在很多在線測(cè)量過(guò)程中,很難安裝標(biāo)定板移動(dòng)裝置來(lái)移動(dòng)標(biāo)定板(如高溫環(huán)境,或者狹窄空間等),這一問(wèn)題限制了光柵投影測(cè)量系統(tǒng)的適用范圍。針對(duì)這一局限性,本文提出了一種新的階梯標(biāo)定方法。
如圖2所示,使用一個(gè)高度差已知的階梯面來(lái)代替?zhèn)鹘y(tǒng)的參考平面,將生成的數(shù)字光柵投影到該階梯面,在階梯的上下A、B面形成錯(cuò)位的投影條紋。A、B兩個(gè)面都只有部分的光柵投影條紋信息,如果想要得到完整覆蓋整個(gè)標(biāo)定平面的標(biāo)定文件,需要通過(guò)一定的方法對(duì)A、B面現(xiàn)有的光柵投影條紋進(jìn)行延拓,直至整個(gè)參考平面的大小。這樣實(shí)現(xiàn)了使用一副階梯條紋圖,而同時(shí)獲得了兩個(gè)參考平面上的相位分布。假設(shè)由上半部位置延拓得到的參考面上的相位分布表示為φtop;由下半部位置得到的參考平面上的相位分布為φbottom。因?yàn)殡A梯高度Δh已知,靈敏度因子K可以由下式算出:
聯(lián)立式(6)則有:
或表示為
式中:φobject=φ3d——物體相位;
Δφobject(x,y)——放置物體前后物面的相位差;
Δφplane(x,y)——標(biāo)定時(shí)由上下兩部分分別延拓得到的參考平面相位差;
Δh——階梯高度,可根據(jù)實(shí)驗(yàn)要求選用不同高度的階梯。
圖2 階梯標(biāo)定流程圖
在實(shí)際的光柵投影測(cè)量標(biāo)定過(guò)程中,采集到的是一幅投影在階梯上下表面的光柵條紋圖,在上下面中分別截取A、B兩個(gè)區(qū)域,再將A、B區(qū)域分別延拓至整個(gè)參考平面的大小。
這種情況下,采用樣本塊匹配的圖像修描方法[12-13]根據(jù)光柵投影圖的條紋特征來(lái)對(duì)其進(jìn)行延拓。其核心思想[14]是利用圖像的可信度值和等照度線對(duì)圖像進(jìn)行樣本匹配。對(duì)一幅原始圖像I,如圖3所示,待填充的目標(biāo)區(qū)域用Ω表示,它的邊緣用δΩ表示,已知像素區(qū)域稱(chēng)為源區(qū)域,用Φ表示,則I=Ω+Φ。邊緣δΩ上的每一個(gè)像素點(diǎn)p都對(duì)應(yīng)一個(gè)以這個(gè)像素點(diǎn)為中心的待填充的窗口區(qū)域ψp,這個(gè)窗口區(qū)域包含了部分的源區(qū)域和部分的目標(biāo)區(qū)域,它的尺寸應(yīng)該大于圖像中最大的紋理單元。在對(duì)圖像的空白區(qū)域進(jìn)行修延拓之前,需要輸入兩個(gè)參量,第1個(gè)是需要延拓的目標(biāo)區(qū)域Ω的邊緣δΩ,第2個(gè)是待填充的窗口模板ψp的大小。選擇不同的窗口模板大小對(duì)多幅光柵條紋圖進(jìn)行延拓處理的實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明當(dāng)窗口模板大小設(shè)置為7×7時(shí)可以獲得較好的延拓效果。在確定了參量后,塊填充就由算法自動(dòng)完成,主要分為3個(gè)步驟:
1)計(jì)算修復(fù)塊的優(yōu)先權(quán)
圖3 原始圖像
圖像中的每個(gè)像素,除了待修補(bǔ)的區(qū)域外,都有各自的置信度(confidence),修補(bǔ)的區(qū)塊則根據(jù)包含的像素有不同的優(yōu)先權(quán)(priority)。修補(bǔ)區(qū)域的優(yōu)先權(quán)決定了以后的修補(bǔ)優(yōu)先順序,優(yōu)先權(quán)越高,越先處理修補(bǔ)區(qū)域。在計(jì)算優(yōu)先權(quán)大小時(shí),應(yīng)考慮幾個(gè)因素:①區(qū)域比例的影響,即修補(bǔ)區(qū)域內(nèi)像素的置信度大??;②結(jié)構(gòu)信息的影響,即待修補(bǔ)區(qū)包含的線性結(jié)構(gòu)信息能否與周?chē)纬梢粋€(gè)連續(xù)的線性結(jié)構(gòu),是否閉合。算法分別使用了置信度項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p)來(lái)表示這2個(gè)因素。分別定義如下:
式中:np——待修復(fù)區(qū)域Ω的邊界δΩ在點(diǎn)p處的法向量;
▽Ip——已知區(qū)域Φ的邊界的梯度向量的垂直向量;
α——標(biāo)準(zhǔn)化因子(灰度圖像取α=255)。
?p∈Ω,C(p)=0;?p∈I-Ω,C(p)=1。
最后,?。?/p>
2)對(duì)待修補(bǔ)區(qū)域進(jìn)行紋理和結(jié)構(gòu)的延拓
當(dāng)目標(biāo)區(qū)域邊界上所有待修復(fù)塊的優(yōu)先級(jí)都計(jì)算完成后,尋找具有最大優(yōu)先權(quán)的待修復(fù)塊ψ。假設(shè)ψ是源區(qū)域中與ψ最匹配的塊(一般情況下,ψ整塊都應(yīng)包含在已知區(qū)域Φ中),匹配度公式如下:
3)更新已延拓區(qū)域的置信度
目標(biāo)塊填充完成后,原來(lái)塊中的邊界點(diǎn)變成已知點(diǎn),這時(shí)需重新計(jì)算已知點(diǎn)的置信度,以及邊界點(diǎn)的優(yōu)先權(quán)。對(duì)于新加入到修補(bǔ)區(qū)域塊內(nèi)的像素,在此都將它們?cè)O(shè)為與p點(diǎn)位置的像素有相同的置信度,如下式所示:
置信度更新過(guò)后,一次延拓過(guò)程結(jié)束。這時(shí),目標(biāo)區(qū)域和源區(qū)域發(fā)生了變化,隨之帶來(lái)邊緣也發(fā)生了改變。重復(fù)以上3個(gè)步驟進(jìn)行新一輪的過(guò)程,直到整個(gè)目標(biāo)區(qū)域延拓完畢。圖5是一個(gè)將圓形的條紋區(qū)域延拓至整個(gè)圖片的范圍的應(yīng)用實(shí)例??梢钥吹剑舅惴ê芎玫乩昧烁缮鎴D的紋理特征,有效地合成條紋圖的紋理信息,延拓后的圖像邊界銜接較好,視場(chǎng)較均勻,條紋模式以及灰度等級(jí)一致,延拓效果很好。算法流程圖如圖6所示。
圖4 樣本塊填充
圖5 延拓算法實(shí)例
圖6 延拓算法流程圖
為了驗(yàn)證本文所述的基于樣本塊匹配的階梯標(biāo)定方法,組建了測(cè)量實(shí)驗(yàn)系統(tǒng),被測(cè)物是一個(gè)形貌特征明顯的玩具臉譜,如圖7所示。
圖7 測(cè)量系統(tǒng)與被測(cè)物
組建完實(shí)驗(yàn)系統(tǒng)后,分別使用傳統(tǒng)的移動(dòng)參考平板的方法和基于樣本塊匹配的標(biāo)定方法來(lái)進(jìn)行系統(tǒng)標(biāo)定。圖8是采用本文標(biāo)定方法所需要的階梯條紋圖,階梯高度2.5mm;圖9是通過(guò)使用基于樣本塊匹配的圖像修描算法由圖8上下表面分別延拓得到的兩幅條紋圖;圖10所示是采用原始標(biāo)定方法獲得的兩幅標(biāo)定條紋圖,圖10(a)是初始位置的光柵條紋,相當(dāng)于圖8中階梯的上半部分,圖10(b)是移動(dòng)2.5mm后的光柵條紋,相當(dāng)于圖8中階梯的下半部分。
在傳統(tǒng)的標(biāo)定方法中,獲取標(biāo)定文件共需要在初始位置、末端位置各采集4幅分別帶有90°相位差的條紋圖,獲得其包裹相位圖,如圖11所示。而采用本文標(biāo)定方法后,只需要采集4副階梯條紋圖,通過(guò)對(duì)其上下表面進(jìn)行延拓處理,即可獲得需要的包裹相位圖,如圖12所示。可以看到,在傳統(tǒng)的包裹相位圖中由于其兩側(cè)區(qū)域超出了參考平板的范圍,所以沒(méi)有采集到有效的條紋信息;而在延拓包裹相位圖中,由于可以自由選擇需要延拓的區(qū)域,從而使無(wú)效的兩側(cè)區(qū)域也得到了充分利用。然后通過(guò)軟件計(jì)算獲得標(biāo)定文件,至此系統(tǒng)標(biāo)定過(guò)程結(jié)束。
圖8 階梯條紋
圖9 延拓條紋圖
圖10 原始條紋圖
圖11 傳統(tǒng)包裹相位圖
圖12 延拓包裹相位圖
然后使用階梯標(biāo)定方法獲得的標(biāo)定文件對(duì)被測(cè)物進(jìn)行測(cè)量。結(jié)果如圖13所示。
圖13(a)是利用四步相移法獲得的包含被測(cè)物相位信息變化的條紋圖,圖13(b)是對(duì)其進(jìn)行濾波[15]、解包裹后得到物體真實(shí)相位圖,其中紅線位置是所取截面曲線的位置。最后將所獲得的相位圖、標(biāo)定數(shù)據(jù)進(jìn)行解算得,進(jìn)行三維重構(gòu)的結(jié)果如圖14所示。
圖13 物體相位圖
圖14 三維顯示
圖15 截面曲線對(duì)比
為對(duì)標(biāo)定測(cè)量方法進(jìn)行比對(duì),分別采用傳統(tǒng)標(biāo)定方法和階梯標(biāo)定方法進(jìn)行了三維輪廓測(cè)量,在物體相位圖中取相同位置的高度信息對(duì)比,如圖15所示。其中紅色曲線表示傳統(tǒng)方法測(cè)量獲取的三維輪廓截面曲線,藍(lán)色曲線表示改進(jìn)后的階梯標(biāo)定方法的同一截面曲線,可以看到,兩條輪廓截面曲線基本吻合。使用Matlab計(jì)算其相關(guān)指數(shù)為0.9744,說(shuō)明其曲線擬合程度很好,與傳統(tǒng)標(biāo)定方法相比測(cè)量結(jié)果差距很小,驗(yàn)證了階梯標(biāo)定方法的可行性。
本文針對(duì)采用直接三角法模型時(shí)傳統(tǒng)的標(biāo)定方法需要移動(dòng)參考平板的問(wèn)題進(jìn)行了改進(jìn),并采用基于樣本塊匹配的圖像修描算法來(lái)實(shí)現(xiàn)光柵條紋圖的延拓,從而完成標(biāo)定文件的獲取。方法無(wú)需移動(dòng)標(biāo)定板即可實(shí)現(xiàn)標(biāo)定過(guò)程,同時(shí)減少了需要采集的標(biāo)定圖像數(shù)量,簡(jiǎn)化了標(biāo)定步驟,擴(kuò)大了該技術(shù)的適用范圍。
[1]尚忠義,李偉仙,董明利,等.基于四步相移光柵投影的三維形貌測(cè)量系統(tǒng)[J].應(yīng)用光學(xué),2015(4):584-589.
[2]馬勇平.光柵投影相位測(cè)量輪廓術(shù)在SMT錫膏三維檢測(cè)中的應(yīng)用研究[J].電子質(zhì)量,2015(6):1-4.
[3]王選澤,吳雅君,何濤.一種從粗到精逐步細(xì)化的變尺度光柵投影測(cè)量方法[J].應(yīng)用光學(xué),2015(5):774-777.
[4]劉順濤,駱華芬,陳雪梅,等.結(jié)構(gòu)光測(cè)量系統(tǒng)的標(biāo)定方法綜述[J].激光技術(shù),2015(2):252-258.
[5]XU J,XI N,ZHANG C,et al.Real-time 3-D shape inspectionsystemofautomotivepartsbasedon structured light pattern[J].Optics&Laser Technology,2011,43(1):1-8.
[6]XU J,DOUET J,ZHAO J G,et al.A simple calibration methodforstructuredlight-based3-Dprofile measurement[J].Optics&Laser Technology,2013,48(5):187-193.
[7]肖丹,陳良洲,干江紅.基于數(shù)字光柵相移法的三維重構(gòu)[J].光電技術(shù)應(yīng)用,2011,26(5):17-20.
[8]王鵬,張求知,李文強(qiáng),等.基于成像光線空間追蹤的攝像機(jī)標(biāo)定方法研究[J].儀器儀表學(xué)報(bào),2015(1):224-229.
[9]葉峰,王敏,陳劍東,等.共面點(diǎn)的攝像機(jī)非線性畸變校正[J].光學(xué)精密工程,2015,23(10):2962-2970.
[10]安東,陳李,丁一飛,等.光柵投影相位法系統(tǒng)模型及標(biāo)定方法[J].中國(guó)光學(xué),2015(2):248-254.
[11]SU X Y,SONG W Z,CAO Y P,et al.Both phaseheight mapping and coordinate calibration simultaneously in PMP[C]∥Proceedings of the International Society for Optical Engineering,19th Congress of the International Commissing for Optics:Optics for the Quality of Life. Firenze:SPIE Press,2003:847-875.
[12]黃菁,朱日宏,陳磊.基于樣本塊匹配的干涉圖延拓方法[J].光學(xué)學(xué)報(bào),2007(7):1217-1223.
[13]周美麗,白宗文.基于樣本塊的圖像修補(bǔ)系統(tǒng)設(shè)計(jì)[J].電子測(cè)量技術(shù),2015,38(8):73-75.
[14]CRIMINISIA,PéREZ P,TOYAMA K.Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing,2004,13(9):1200-1212.
[15]王永紅,李駿睿,孫建飛,等.散斑干涉相位條紋圖的頻域?yàn)V波處理[J].中國(guó)光學(xué),2014,7(3):389-395.
(編輯:李剛)
Step calibration method of grating projection based on exemplar matching
DING Yifei,WANG Yonghong,HU Yue,HUANG Anqi,DAN Xizuo
(School of Instrument Science and Opto-electronics Engineering,Hefei University of Technology,Hefei 230009,China)
In grating projection profilometry based on direct triangulation model,the calibration process needs to move reference plate back and forth to obtain calibration planes.To solve the problem,this paper proposes an improved step calibration method.The method uses a fixed step surface as calibration target,when the digital grating projected to the step surface,reference planefringeindifferentpositionswasobtainedbyextendedimagemethod,andthenthe calibration planes were also obtained.Now the calibration process can be achieved without moving thereferenceplate,thecalibrationprocedureandcalibrationsystemaresimplifiedtoo. Experimental results show that the grating fringe images obtained via exemplar matching method,have a good result of boundary convergence continuation of grating image,uniform field of view,the fringe pattern and gray level were consistent.Use the step calibration method for actual measurement and get the object three-dimensional morphology.It is proved that this method is accurate and reliable.This method overcomes the limitations of the traditional calibration method that we need move reference plate,simplifies the system calibration procedures,dispenses with calibration plate mobile device,reduces the number of collected images,expand its scope of application.
grating projection;system calibration;exemplar matching;step calibration
A
1674-5124(2016)08-0007-06
10.11857/j.issn.1674-5124.2016.08.002
2016-02-17;
2016-03-21
國(guó)家自然科學(xué)基金項(xiàng)目(51375136);中航工業(yè)產(chǎn)學(xué)研專(zhuān)項(xiàng)(CXY2013HFGD22)
丁一飛(1990-),男,安徽廬江縣人,碩士研究生,專(zhuān)業(yè)方向?yàn)閮x器儀表工程。