陳波,張英杰,張佳瑞,代愽超

(西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安)

結(jié)構(gòu)光三維測量技術(shù)具有非接觸性、測量系統(tǒng)簡單、測量效率高和易于實(shí)現(xiàn)等特點(diǎn),被廣泛應(yīng)用于產(chǎn)品快速成型、在線測量、故障缺陷檢測等諸多領(lǐng)域[1-3]?；谌欠ㄔ磉M(jìn)行結(jié)構(gòu)光測量時(shí),獲取結(jié)構(gòu)光條紋中心的高精度圖像坐標(biāo)是測量過程中的核心步驟[4]。

線結(jié)構(gòu)光的光強(qiáng)特性表明,條紋的灰度在橫截面上基本服從高斯分布[5],條紋中心位于截面灰度最大值附近。因此,學(xué)者們提出了極值法、幾何中心法、曲線擬合法、灰度重心法[6]和Steger法[7]等常用的條紋中心提取方法。極值法和幾何中心法實(shí)現(xiàn)簡單但是精度不高;曲線擬合法、灰度重心法和Steger算法均為亞像素中心提取方法,且抗噪效果較好。無論對于哪種中心提取方法,提取精度都依賴于條紋的截面灰度分布特征。實(shí)際上,結(jié)構(gòu)光條紋灰度會受到各種因素的影響而不再近似服從高斯分布,特別是當(dāng)被測物體表面的曲率和反射率變化較大時(shí),條紋的截面灰度分布會發(fā)生嚴(yán)重退化[8],引起條紋亮度不均勻、灰度最大值發(fā)生偏移等問題,從而導(dǎo)致條紋中心提取精度降低。針對這一問題,周興敏等提出基于雙三角光路修正投影光束反射光斑重心偏移的方法[9],但該方法需要一個(gè)左右對稱設(shè)計(jì)的雙三角測量頭,測量系統(tǒng)硬件復(fù)雜且對標(biāo)定要求高。Yin等提出一種基于自適應(yīng)卷積技術(shù)的方法[10]去修正條紋的灰度畸變,但該方法只局限于單根條紋的中心提取,并且需要對整幅圖像進(jìn)行卷積運(yùn)算。劉振等提出利用鄰域條紋的相關(guān)性建立相關(guān)系數(shù)來解決灰度分布退化的問題[11],但對灰度分布發(fā)生突變的條紋提取效果不佳,且相關(guān)系數(shù)計(jì)算復(fù)雜。

本文首先根據(jù)結(jié)構(gòu)光能量傳播原理,建立了高斯結(jié)構(gòu)光的條紋灰度退化模型,分析并推導(dǎo)了條紋灰度退化的過程表達(dá)式,然后提出了一種通過消除條紋灰度退化項(xiàng)的灰度調(diào)整方法。

1 測量模型與灰度退化分析

結(jié)構(gòu)光測量系統(tǒng)由投影儀、攝像機(jī)和被測物體組成,測量原理如圖1所示。投影儀投射出帶有高斯條紋的圖像,條紋遇到被測物體產(chǎn)生變形,在攝像機(jī)端通過CCD圖像傳感器接收條紋信號,對攝像機(jī)和投影儀進(jìn)行三維世界坐標(biāo)與二維圖像坐標(biāo)轉(zhuǎn)換關(guān)系的標(biāo)定之后,計(jì)算機(jī)利用條紋中心的圖像坐標(biāo),采用線面求交法得到物體表面的三維信息。

圖1 測量系統(tǒng)圖

理論上可以認(rèn)為,結(jié)構(gòu)光條紋的灰度在橫截面上服從高斯分布,但在實(shí)際情況下,條紋的灰度分布受到各種因素的影響會產(chǎn)生退化,導(dǎo)致條紋中心位置提取不準(zhǔn)確。這些因素包括圖像采集系統(tǒng)的隨機(jī)噪聲、外界環(huán)境光影響和被測物體的表面特征調(diào)制[12]。其中,隨機(jī)噪聲和環(huán)境光的影響可以選用合適的濾波方式與背景相減去除[13],而被測物是整個(gè)測量環(huán)節(jié)中最不具確定性的部分,其復(fù)雜的表面形狀、反射率系數(shù)等特征是引起條紋灰度退化的主要原因。因此,分析并減小物體表面特征對條紋灰度的影響有利于提高條紋中心提取的精度。

一般測量物體表面均由平面和曲面組成,為了分析物體表面特征對條紋灰度分布的影響,將結(jié)構(gòu)光系統(tǒng)模型簡化為圖2所示的二維模型。圖中將被測物簡化為一個(gè)半徑為r的圓,圓心為Oc(x0,y0),假設(shè)物體表面為理想漫反射表面,且物體表面由具有不同反射率系數(shù)的曲面組成;圖中的高斯曲線S1表示投射條紋的截面灰度分布,不規(guī)則曲線S2表示拍攝條紋的截面灰度分布。測量系統(tǒng)中,設(shè)投影儀投射面平行于X軸,投射方向沿Y軸,θ為投射方向與物體表面法線的夾角,β為拍攝方向與物體表面法線的夾角,α為投射方向與拍攝方向的夾角。

圖2 條紋灰度退化分析模型

已知投射條紋的截面光強(qiáng)分布曲線為高斯曲線,數(shù)學(xué)表達(dá)式為

(1)

式中:A表示投射條紋灰度的幅值;σ為標(biāo)準(zhǔn)差,表示條紋的跨度;Xc為條紋中心的X坐標(biāo),并且滿足Xc=3σ+1。

(2)

(3)

式中:Kd1和Kd2分別表示圖2中被測物體表面上不同顏色區(qū)域的漫反射率系數(shù);Xk為物體表面反射率突變處的X坐標(biāo)。

式(3)表明,攝像機(jī)接收到的條紋光強(qiáng)分布受到物體表面反射率系數(shù)、入射光線角θ和拍攝光線角β的調(diào)制。圖3顯示了圖2模型中被測物體表面上不同反射率系數(shù)分布情形下對拍攝條紋光強(qiáng)的影響,圖3a表明物體反射率均勻,此時(shí)得到的條紋灰度符合高斯分布,圖3b表明物體反射率由高向低突變,此時(shí)條紋灰度極大值向左偏移,圖3c表明物體反射率由低向高突變,此時(shí)條紋灰度極大值向右偏移。此外,式(2)表明,對于固定的測量系統(tǒng),θ和β由物體的曲率半徑r決定。圖4顯示了曲率半徑在X方向?qū)θ肷浣呛团臄z角的余弦比值的影響,圖4表明曲率半徑越小,物體表面法線變化越劇烈,兩夾角的余弦比值曲線變化越明顯,反映到式(3)中,對條紋灰度退化的影響程度越大。

(a)Kd1=Kd2=0.8

(b)Kd1=0.8,Kd2=0.4

(c)Kd1=0.4,Kd2=0.8圖3 反射率對條紋灰度分布的影響

圖4 曲率半徑對θ與β余弦之比的影響

以上分析表明,結(jié)構(gòu)光經(jīng)過物體表面特征調(diào)制后,拍攝條紋的灰度會產(chǎn)生復(fù)雜的退化,進(jìn)而引起條紋斷線、灰度丟失以及重心偏移等問題。若直接采用中心提取算法,對中心坐標(biāo)會造成較大的測量誤差,所以要提高三維測量精度,必須對退化的條紋進(jìn)行灰度調(diào)整。

2 條紋灰度調(diào)整與中心提取

圖1表明,結(jié)構(gòu)光三維測量實(shí)質(zhì)上是結(jié)構(gòu)光能量的傳遞過程,設(shè)P為被測物表面上任意的一點(diǎn),令該點(diǎn)的表面反射率為KdP,入射光線角為θP,拍攝光線角為βP,由式(3)導(dǎo)出P點(diǎn)的灰度調(diào)制系數(shù)為

(4)

根據(jù)三角測量原理,假設(shè)P點(diǎn)對應(yīng)于投影圖像坐標(biāo)中的Pp(ξP,ηP)點(diǎn)和拍攝圖像坐標(biāo)中的Pc(uP,vP)點(diǎn)。設(shè)投影圖像上Pp點(diǎn)的灰度值為I(ξP,ηP),拍攝圖像上Pc點(diǎn)的灰度值為I(uP,vP),實(shí)際拍攝中,需要考慮環(huán)境光分量的影響,根據(jù)式(3)和式(4),可以推導(dǎo)出

I(uP,vP)=f(KdP,θP,βP)I(ξP,ηP)+Ia

(5)

式中:Ia表示環(huán)境反射光強(qiáng),由拍攝環(huán)境決定,一般在固定拍攝場景下可以認(rèn)為Ia為常數(shù)。

式(5)表明,灰度調(diào)制系數(shù)f(KdP,θP,βP)是引起拍攝條紋灰度退化的主要原因,在已知物體表面上各點(diǎn)反射率系數(shù)Kd、入射角θ、拍攝角β的情況下,可以通過式(4)直接計(jì)算出各點(diǎn)的調(diào)制信息,再消除環(huán)境光的影響,便能實(shí)現(xiàn)退化條紋的灰度調(diào)整。調(diào)整公式為

(6)

式中:I′(uP,vP)表示圖像坐標(biāo)中Pc點(diǎn)經(jīng)灰度調(diào)整后的灰度值,滿足I′(uP,vP)=I(ξP,ηP),所以對拍攝條紋橫截面上各像素點(diǎn)進(jìn)行灰度調(diào)整后,條紋的截面灰度分布基本與投射條紋一致。

在實(shí)際測量過程中,Kd、θ、β均與被測物體上各點(diǎn)的空間位置有關(guān),并且被測物體相對于結(jié)構(gòu)光測量系統(tǒng)的空間關(guān)系是未知的,所以無法直接計(jì)算出灰度調(diào)制信息。如果已知I(uP,vP)和I(ξP,ηP),則可以通過式(5)反求對應(yīng)點(diǎn)的灰度調(diào)制信息,但事實(shí)上無法通過單幅拍攝圖像找到Pc點(diǎn)和Pp點(diǎn)的匹配關(guān)系。

考慮到在固定測量環(huán)境下多次對被測物體進(jìn)行拍攝,物體上各點(diǎn)的表面特征參數(shù)不發(fā)生改變。本文采用增加投影單色灰度圖像的方式來間接計(jì)算各點(diǎn)的灰度調(diào)制信息,其中單色灰度圖像指圖像中各點(diǎn)的灰度值相等,即I(ξ,η)=C,C為常數(shù)且C∈(0,255),此時(shí)拍攝圖像可以表示為

I(ui,vi)=f(Kdi,θi,βi)C+Ia,i=1,2,…,N

(7)

式中:N表示測量點(diǎn)的個(gè)數(shù);(ui,vi)表示第i個(gè)測量點(diǎn)映射到拍攝圖像中的像素坐標(biāo),因此圖像像素點(diǎn)和測量點(diǎn)具有一一對應(yīng)的關(guān)系。式(7)表明,投影單色灰度圖像后,由于環(huán)境光Ia為常數(shù),從而可以通過拍攝圖像的灰度信息反求出與各像素點(diǎn)所對應(yīng)的灰度調(diào)制信息。

基于上述思路,本文提出一種條紋灰度退化的調(diào)整方法,具體的實(shí)現(xiàn)步驟如下。

(1)在固定測量系統(tǒng)與拍攝環(huán)境下,投影儀分別投射兩幅單色灰度圖像和一幅高斯條紋圖像,其中單色灰度圖像的灰度值分別為C1、C2,并且滿足C1≠C2。此時(shí),相機(jī)分別拍攝得到兩幅單灰度調(diào)制圖像I1與I2和一幅高斯條紋調(diào)制圖像I3,則有

I1(ui,vi)=f(Kdi,θi,βi)C1+Ia,i=1,2,…,N

(8)

I2(ui,vi)=f(Kdi,θi,βi)C2+Ia,i=1,2,…,N

(9)

I3(ui,vi)=f(Kdi,θi,βi)I(ξi,ηi)+Ia,

i=1,2,…,N

(10)

式中:(ξi,ηi)表示第i個(gè)測量點(diǎn)映射到投射的高斯條紋圖像中的像素坐標(biāo)。

(2)在3次相機(jī)拍攝過程中,認(rèn)為環(huán)境光分量是不變的,由于C1、C2已知,聯(lián)立式(8)、式(9),可以逐點(diǎn)計(jì)算出每個(gè)像素點(diǎn)對應(yīng)的灰度調(diào)制信息為

i=1,2,…,N

(11)

得到灰度調(diào)制信息后,將其代入式(8)中,得到環(huán)境光分量為

i=1,2,…,N

(12)

(3)將求得的灰度調(diào)制信息和環(huán)境光分量代入式(6),逐點(diǎn)對高斯條紋調(diào)制圖像I3進(jìn)行灰度調(diào)整,計(jì)算式為

i=1,2,…,N

(13)

經(jīng)過上述灰度調(diào)整之后,基本消除了因物體表面屬性引起的條紋灰度退化問題,即調(diào)整后的條紋截面灰度基本滿足高斯分布,于是本文選擇計(jì)算效率較高、可達(dá)到亞像素級精度的灰度重心法進(jìn)行條紋中心提取,其表達(dá)式為

(14)

式中:ok,j為圖像上第k行中第j根條紋的中心坐標(biāo);(p,q)為該條紋所在的位置區(qū)間;Ii為第i個(gè)像素的灰度值。

3 實(shí)驗(yàn)與分析

為檢驗(yàn)本文方法的有效性,進(jìn)行了實(shí)物實(shí)驗(yàn),本實(shí)驗(yàn)系統(tǒng)由一個(gè)數(shù)字投影儀(Optoma DN322,分辨率為1 024×768像素)、一個(gè)工業(yè)相機(jī)(Point GX-FW-28S5C/M-C CCD,分辨率為1 600×1 200像素)和一臺計(jì)算機(jī)(Pentium 3.2 GHz CPU,4 GB內(nèi)存)組成。

為了得到不同反射率條件下的條紋圖像,在白色紙上打印出黑白相間的模板,并平貼在一平板上作為被測物體。在暗室環(huán)境下,調(diào)整曝光參數(shù)以保證相機(jī)CCD處于不飽和狀態(tài),然后固定攝像機(jī)參數(shù),在同一場景內(nèi)分別由投影儀投射兩幅單色灰度圖像和一幅高斯條紋圖像。圖5為相機(jī)拍攝到的部分受調(diào)制的圖像,圖5a對應(yīng)于投影儀投射高斯條紋圖像,圖5b對應(yīng)于投影儀投射灰度值為200的單色灰度圖像。圖5a表明物體表面反射率大大影響了拍攝條紋的質(zhì)量,其中橫線標(biāo)記處依次代表低亮度條紋、反射率突變處條紋以及正常條紋。對其截面灰度分布進(jìn)行分析,結(jié)合單灰度退化圖像中相同像素位置的灰度分布,利用本文所提方法對條紋灰度進(jìn)行調(diào)整,得到圖6所示的條紋灰度經(jīng)調(diào)整前后的分布曲線,以及調(diào)整后的條紋圖像。表1給出了橫線標(biāo)記的截面經(jīng)過灰度調(diào)整前后利用灰度重心法得到的條紋重心位置。

表1 灰度調(diào)整前后的截面條紋重心

(a)高斯條紋退化圖

(b)單灰度退化圖圖5 相機(jī)拍攝到的部分受調(diào)制的圖像

圖6a所示低亮度條紋處于反射率較低的黑色區(qū)域,平均灰度低。雖然其灰度分布對稱,重心基本沒有偏移,但是對整幅圖像提取中心時(shí),需要設(shè)定一個(gè)灰度閾值對條紋進(jìn)行分割,導(dǎo)致該類條紋因?yàn)樘卣鞑幻黠@易被當(dāng)成背景處理,從而無法提取條紋中心。經(jīng)過灰度調(diào)整之后,條紋亮度增加,便于提取條紋中心。圖6b所示條紋處于黑白交界區(qū)域,該區(qū)域反射率產(chǎn)生突變,灰度值也在交界處突然變大,導(dǎo)致條紋重心向反射率大的一側(cè)偏移,經(jīng)灰度調(diào)整之后,消除了條紋灰度畸變,灰度分布基本符合高斯分布,條紋重心坐標(biāo)也得到了較大的修正。圖6c所示正常條紋處于反射率較高的白色區(qū)域,條紋質(zhì)量較好,灰度調(diào)整前后灰度值和中心位置變化不大。圖6d所示圖像表明,經(jīng)過灰度調(diào)整后,條紋圖像的整體質(zhì)量得到改善,相比于圖5a中的原圖像,條紋沿其延伸方向灰度分布均勻,基本不會產(chǎn)生突變。

此外,為了進(jìn)一步驗(yàn)證該方法的適用性,以表面曲率變化較大的人臉石膏模型進(jìn)行對比實(shí)驗(yàn),條紋中心提取結(jié)果如圖7所示。圖7a為拍攝圖像直接經(jīng)過灰度重心法得到的條紋中心提取結(jié)果,在物體表面曲率和法線方向變化較大的區(qū)域,如圖7a中矩形標(biāo)記處,嚴(yán)重影響了結(jié)構(gòu)光的入射角和拍攝角,使得條紋亮度降低。對該區(qū)域放大,如圖7b所示, 可以觀察到條紋中心產(chǎn)生大量斷線的現(xiàn)象,并且在中心線斷裂端(橢圓標(biāo)記處),伴隨著許多噪聲中心點(diǎn),嚴(yán)重降低了測量精度。圖7c為經(jīng)本文方法調(diào)整后再提取的條紋中心結(jié)果,為了便于分析對比,將其表面曲率變化較大的區(qū)域進(jìn)行放大,如圖7d所示,結(jié)果表明,調(diào)整后的條紋特征更加明顯,條紋亮度顯著提高,提取的條紋中心沒有產(chǎn)生斷線和噪聲現(xiàn)象,并且與條紋的延伸方向更加吻合。

(a)低亮度條紋

(b)反射率突變處條紋

(c)正常條紋

(d)灰度調(diào)整后的圖像圖6 條紋初始及調(diào)整后的灰度對比

(a)灰度調(diào)整前 (b)局部放大圖

(c)灰度調(diào)整后 (d)局部放大圖圖7 人臉模型條紋中心提取結(jié)果

由上述實(shí)驗(yàn)結(jié)果分析可知,本文提出的灰度調(diào)整方法能有效降低物體表面反射率對條紋質(zhì)量的影響,改善了條紋在其橫截面上的灰度分布,修正了因?yàn)闂l紋灰度突變引起的中心偏移。同時(shí),本方法可以對復(fù)雜曲面的變形條紋進(jìn)行灰度調(diào)整,解決了復(fù)雜曲面圖像中因條紋亮度不均勻而引起的中心線局部斷線問題。

4 結(jié) 論

本文對結(jié)構(gòu)光經(jīng)物體表面特征調(diào)制后的灰度分布模型進(jìn)行分析,提出了一種對條紋灰度退化的調(diào)整方法。所提方法根據(jù)光線能量傳遞模型,通過投影單色灰度圖像間接計(jì)算出攝像機(jī)采集圖像上各像素點(diǎn)對于物體表面特征的調(diào)制信息,并將其代入實(shí)際變形條紋以消除灰度退化項(xiàng),實(shí)現(xiàn)了對退化圖像的灰度調(diào)整,降低了物體表面曲率與反射率對條紋灰度分布的退化影響。實(shí)驗(yàn)結(jié)果表明,本方法能有效地提升條紋質(zhì)量,并消除條紋橫截面上的灰度突變,同時(shí)能解決復(fù)雜物體圖像中因?yàn)榱炼忍投鸬臈l紋中心局部斷線問題,從而保證了測量數(shù)據(jù)的完整性與可靠性。

[1] USAMENTIAGA R, MOLLEAD J, GARCIA D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments [J]. Machine Vision and Applications, 2012, 23(1): 179-196.

[2] 李鳳嬌, 李小菁, 劉震. 基于多尺度分析的激光光條中心點(diǎn)坐標(biāo)提取方法 [J]. 光學(xué)學(xué)報(bào), 2014, 34(11): 103-108. LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers [J]. Acta Optica Sinica, 2014, 34(11): 103-108.

[3] XUE Q, WANG Z, HUANG J. Improving the measuring accuracy of structured light measurement system [J]. Optical Engineering, 2014, 53(11): 112204.

[4] 江永付, 江開勇, 林俊義. 線結(jié)構(gòu)光光條中心亞像素精確提取方法 [J]. 激光與光電子學(xué)進(jìn)展, 2015, 52(7): 179-185. JIANG Yongfu, JIANG Kaiyong, LIN Junyi. Extrication method for sub-pixel center of linear structured light stripe [J]. Laser & Optoelectronics Progress, 2015, 52(7): 179-185.

[5] 賀俊吉, 張廣軍. 結(jié)構(gòu)光三維視覺檢測中光條圖像處理方法研究 [J]. 北京航空航天大學(xué)學(xué)報(bào), 2003, 29(7): 593-597. HE Junji, ZHANG Guangjun. Study on method for processing image of strip in structured-light 3D vision measuring technique [J]. Journal of Beijing University of Aeronautics and Astronautics, 2003, 29(7): 593-597.

[6] TRUCCO E, FISHER R B, FITZGIBBON A W, et al. Calibration, data consistency and model acquisition with a 3-D laser striper [J]. International Journal of Computer Integrated Manufacturing, 1998, 11(4): 293-310.

[7] STEGER C. An unbiased detector of curvilinear structures [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[8] 王順, 徐靜珠, 張益昕, 等. 結(jié)構(gòu)光光條中心點(diǎn)信度評價(jià)方法與應(yīng)用 [J]. 光學(xué)學(xué)報(bào), 2011(11): 203-209. WANG Shun, XU Jingzhu, ZHANG Yixin, et al. Reliability evaluation method and application for light stripe center extraction [J]. Acta Optica Sinica, 2011(11): 203-209.

[9] 周興敏, 劉恒彪, 葛劍敏. 激光三角測量中物面反射光斑重心偏移的修正 [J]. 光學(xué)學(xué)報(bào), 2015, 35(5): 153-157. ZHOU Xingmin, LIU Hengbiao, GE Jianmin. Reflected spot center offset correction in laser triangulation measurement [J]. Acta Optica Sinica, 2015, 35(5): 153-157.

[10]YIN X Q, TAO W, FENG Y Y, et al. Laser stripe extraction method in industrial environments utilizing self-adaptive convolution technique [J]. Applied Optics, 2017, 56(10): 2653-2660.

[11]劉振, 李聲, 馮常. 基于互相關(guān)算法的激光條紋中心提取 [J]. 中國激光, 2013, 40(5): 197-202. LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm [J]. Chinese J Lasers, 2013, 40(5): 197-202.

[12]李瑩瑩, 張志毅, 袁林. 線結(jié)構(gòu)光光條中心提取綜述 [J]. 激光與光電子學(xué)進(jìn)展, 2013, 50(10): 9-18. LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on liner structured light stripe center extraction [J]. Laser & Optoelectronics Progress, 2013, 50(10): 9-18.

[13]許寧. 線結(jié)構(gòu)光光條圖像處理方法研究 [D]. 哈爾濱: 哈爾濱工程大學(xué), 2007: 17-21.

[14]陸楓, 何云峰. 計(jì)算機(jī)圖形學(xué)基礎(chǔ) [M]. 北京: 電子工業(yè)出版社, 2008: 288-292.

[本刊相關(guān)文獻(xiàn)鏈接]

劉濤,楊樹明,蔣莊德.超振蕩透鏡的三維全矢量電磁分析方法.2017,51(8):1-5.[doi:10.7652/xjtuxb201708001]

陳冬,王亞寧,劉亞雄,等.雙投影光固化成型方法研究.2017,51(2):149-154.[doi:10.7652/xjtuxb201702023]

何徽,溫偉峰,張登洪,等.條紋相機(jī)掃描速度調(diào)節(jié)電路.2013,47(12):66-70.[doi:10.7652/xjtuxb201312012]

趙一博,韓妙飛,閆相國.幾種漫射光學(xué)成像圖像重建算法的比較研究.2012,46(4):106-111.[doi:10.7652/xjtuxb201204 018]

秦玉偉,趙宏,莊仲琴.熱光源譜域光學(xué)相干層析成像系統(tǒng).2011,45(11):63-67.[doi:10.7652/xjtuxb201111013]