吳 芳，茅 健,周玉鳳，李 情

(上海工程技術(shù)大學(xué) 機(jī)械工程學(xué)院，上海 201620)

基于三線結(jié)構(gòu)光的相機(jī)平面標(biāo)定方法研究

吳 芳，茅 健,周玉鳳，李 情

(上海工程技術(shù)大學(xué) 機(jī)械工程學(xué)院，上海 201620)

相機(jī)標(biāo)定技術(shù)是結(jié)構(gòu)光三維視覺測量的關(guān)鍵技術(shù)之一，結(jié)構(gòu)光測量系統(tǒng)的相機(jī)標(biāo)定的精度對三維測量的精度有很大影響；首先對三線結(jié)構(gòu)光系統(tǒng)圖的相機(jī)標(biāo)定方法進(jìn)行了分析，簡單介紹了工業(yè)相機(jī)成像的幾何模型及標(biāo)定的原理；其次利用Harris角點(diǎn)檢測方法提取特征點(diǎn)坐標(biāo)，并選用了BP神經(jīng)網(wǎng)絡(luò)來校正工業(yè)相機(jī)的畸變模型，以提高標(biāo)定算法的優(yōu)化速度和標(biāo)定精度；最后采用張正友的平面標(biāo)定法對校正后的攝像機(jī)模型進(jìn)行標(biāo)定實(shí)驗(yàn)，由實(shí)驗(yàn)結(jié)果知，該方法具有一定的準(zhǔn)確性和有效性，在一定誤差范圍內(nèi)，基于神經(jīng)網(wǎng)絡(luò)畸變校正的張正友相機(jī)標(biāo)定能夠有效提高視覺檢測的精度。

三線結(jié)構(gòu)光；相機(jī)標(biāo)定；針孔模型；畸變模型；平面標(biāo)定方法；BP神經(jīng)網(wǎng)絡(luò)

0 引言

在醫(yī)學(xué)、航空、機(jī)器人等諸多現(xiàn)代化應(yīng)用中，線結(jié)構(gòu)光測量技術(shù)一直都是研究的熱點(diǎn)。隨著計(jì)算機(jī)技術(shù)和機(jī)器視覺技術(shù)的不斷發(fā)展，結(jié)構(gòu)光三維測量的精度要求也隨之提高，而相機(jī)的標(biāo)定精度對測量精度有很大影響，相機(jī)標(biāo)定精度的高低在某種程度上也反映了測量精度的高低[1]，因此對工業(yè)相機(jī)標(biāo)定方法的研究具有重要意義。相機(jī)參數(shù)實(shí)際上是相對于某種幾何成像模型的，這個(gè)模型是對相機(jī)鏡頭成像過程的簡化，如針孔模型[2]，它是相機(jī)標(biāo)定研究的基礎(chǔ)。然而，考慮到針孔模型不能準(zhǔn)確建立相機(jī)成像的幾何模型，為了解決這個(gè)問題還需要考慮相機(jī)的鏡頭畸變[3]，所以相機(jī)畸變誤差校正成為相機(jī)標(biāo)定研究的重要內(nèi)容。相機(jī)標(biāo)定的過程就是確定其內(nèi)外參數(shù)的過程，經(jīng)典的相機(jī)標(biāo)定方法主要包括張正友法、DLT方法、兩步法、透視變換法、雙平面法等。

1)DLT方法：張艷珍和歐宗瑛提出一種新的相機(jī)線性標(biāo)定方法，該方法采用的攝像機(jī)畸變模型為一階徑向畸變模型，分步線性求解相機(jī)的內(nèi)外參數(shù)，能夠快速求解。但是畸變問題沒有有效解決。DLT方法[4]是針孔模型的擴(kuò)展，在不考慮鏡頭畸變的影響的情況下，可以使用線性方法標(biāo)定，但是由于它沒有考慮到成像畸變因素，因此標(biāo)定精度較低。

2)兩步標(biāo)定法：兩步標(biāo)定法是由Roger Y. Tsai提出的，該方法中大部分參數(shù)是采用線性直接求解的，只有少數(shù)參數(shù)是采用迭代方法求解[5-6]，所以迭代少，計(jì)算速度較快，但是該模型畸變模型較為簡單，不能較好地解決圖像畸變問題。

3)張正友標(biāo)定方法：劉艷、李騰飛提出的一種張正友標(biāo)定改進(jìn)方法[7-10]，該方法把相機(jī)的內(nèi)外參數(shù)的初始值求解出來并運(yùn)用最小二乘法進(jìn)行優(yōu)化，進(jìn)而得到相機(jī)內(nèi)外參數(shù)的最終值，初始數(shù)值的魯棒性雖然提高了，但是相機(jī)畸變的解決效果不好。

從上述分析可知，上述幾種方法都不能有效解決三線結(jié)構(gòu)光測量系統(tǒng)相機(jī)的畸變問題，因此有必要對相機(jī)標(biāo)定進(jìn)行研究。而神經(jīng)網(wǎng)絡(luò)方法具有很強(qiáng)的學(xué)習(xí)能力和非線性能力，它有著與相機(jī)標(biāo)定相似的工作機(jī)制。相機(jī)的畸變問題可以利用神經(jīng)網(wǎng)絡(luò)來解決。因此本文利用神經(jīng)網(wǎng)絡(luò)的非線性映射能力建立相機(jī)畸變的準(zhǔn)確模型。

多線結(jié)構(gòu)光模式是光帶模式的擴(kuò)展，多線結(jié)構(gòu)光相比單線結(jié)構(gòu)光而言，具有測量速度快、精度高、抗干擾能力強(qiáng)，多線結(jié)構(gòu)光測量系統(tǒng)簡單，容易搭建系統(tǒng)平臺。因此本文選擇三線結(jié)構(gòu)光模式，并針對其進(jìn)行相機(jī)標(biāo)定，提出一種基于三線結(jié)構(gòu)光測量系統(tǒng)的相機(jī)平面標(biāo)定方法，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于三線結(jié)構(gòu)光的相機(jī)標(biāo)定中。本文采用BP神經(jīng)網(wǎng)絡(luò)校正相機(jī)畸變模型，然后采用張正友的平面標(biāo)定法對校正后的相機(jī)模型進(jìn)行matlab標(biāo)定仿真，并將仿真結(jié)果與未加BP神經(jīng)網(wǎng)絡(luò)校正的標(biāo)定結(jié)果進(jìn)行了對比分析。

1 相機(jī)標(biāo)定原理

1.1 基于BP神經(jīng)網(wǎng)絡(luò)的相機(jī)畸變校正模型

本文采用BP神經(jīng)網(wǎng)絡(luò)校正攝像機(jī)畸變模型，設(shè)圖像像素坐標(biāo)為(u,v)、世界坐標(biāo)為(Xw,Yw,Zw)，則該網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)校正攝像機(jī)畸變模型

該BP算法包括以下兩個(gè)重要的過程。

1)正向傳播過程：輸入信號從輸入層傳向中間隱含層，再由隱含層傳向輸出層。

2)反向傳播過程：當(dāng)輸出層得不到期望的輸出時(shí)，則轉(zhuǎn)入反向傳播過程，將誤差信號沿正向傳播的通路反向返回。

網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)如下：

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)是一個(gè)重要環(huán)節(jié)，主要包括輸入層數(shù)據(jù)的設(shè)計(jì)、學(xué)習(xí)率的確定、增量因子、減量因子、動(dòng)量因子、動(dòng)量項(xiàng)權(quán)值的設(shè)計(jì)。它們的具體說明如下：

1)輸入層數(shù)據(jù)：圖像像素坐標(biāo)輸出層數(shù)據(jù)：經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后輸出(Xw,Yw)的二維坐標(biāo)；

2)學(xué)習(xí)率η：采用的學(xué)習(xí)率η自適應(yīng)調(diào)整公式如下：

(1)

式(1)中，a為減量因子，b為增量因子，E為誤差函數(shù)。

3)減量因子：a=0.9；

4)增量因子：b=1.1；

5)動(dòng)量因子：α=0.8；

6)動(dòng)量項(xiàng)的權(quán)值：附加動(dòng)量項(xiàng)的權(quán)值調(diào)整公式如公式(2)和(3)所示：

(2)

(3)

式中Δvlj(j=1，2，...；l=1，2，...)隱含層與輸出層間權(quán)值的調(diào)整量，Δwji(i=1，2...；j=1，2，...)隱含層與輸入層間權(quán)值的調(diào)整量，α為動(dòng)量因子，0<α<1，帶有α的那一項(xiàng)為動(dòng)量項(xiàng)，取值為0.8，n為迭代次數(shù)。

通過學(xué)習(xí)二維與三維之間的坐標(biāo)關(guān)系，利用本文創(chuàng)建的神經(jīng)網(wǎng)絡(luò)可以得出二維圖像像素坐標(biāo)與三維世界坐標(biāo)之間的關(guān)系?？紤]到本文設(shè)計(jì)的網(wǎng)絡(luò)是為了實(shí)現(xiàn)從圖像坐標(biāo)到三維坐標(biāo)之間的映射，即從圖像像素坐標(biāo)(u,v)到(Xw,Yw,Zw)的映射關(guān)系，同時(shí)采用基于平面共面點(diǎn)的方法來進(jìn)行標(biāo)定，也就是令三維坐標(biāo)中的Zw=0把三維降低為二維，這樣既可以提高運(yùn)行速度，又不影響精度。

該網(wǎng)絡(luò)設(shè)計(jì)具有以下優(yōu)點(diǎn)：

1)動(dòng)態(tài)的進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)；

2)取得合理地學(xué)習(xí)率；

3)網(wǎng)絡(luò)的收斂速度加快；

4)防止網(wǎng)絡(luò)振蕩的產(chǎn)生。

1.2 平面標(biāo)定方法

張正友法[11]是一種介于傳統(tǒng)標(biāo)定法和自標(biāo)定法之間的一種標(biāo)定方法，該方法操作簡便，精度高，成本低，速度快，是標(biāo)定方法中的不二選擇[12]。本文標(biāo)定方法需要對標(biāo)定板進(jìn)行不同空間角度的抓拍圖像，設(shè)Ow-XwYwZw為世界坐標(biāo)系，Oc-XcYcZc為相機(jī)坐標(biāo)系，標(biāo)定板在平Zw=0面上，由于圖像已經(jīng)進(jìn)行了畸變校正，所以不用考慮攝像機(jī)畸變，則可以得到單應(yīng)性矩陣、相機(jī)的內(nèi)部參數(shù)以及世界坐標(biāo)系、相機(jī)坐標(biāo)系之間的關(guān)系，如(4)式所示：

(4)

式(4)中的各個(gè)字母的含義如下：

1)H即為單應(yīng)性矩陣；

2)A中元素為攝像機(jī)機(jī)的內(nèi)部參數(shù)；

3)s=Zc，即相機(jī)坐標(biāo)系的第3個(gè)數(shù)值；

4)T為從世界坐標(biāo)系到相機(jī)坐標(biāo)系的平移矩陣；

5)r1、r2、r3為從世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣R的列向量。

2 相機(jī)參數(shù)標(biāo)定仿真

2.1 harris角點(diǎn)提取

本文實(shí)驗(yàn)所采用的標(biāo)定板為8×11黑白方塊，其方塊大小為30×30 mm，如圖2所示。攝像機(jī)采用的是瑞士Photonfocus工業(yè)相機(jī)，其分辨率為2 048*1 088。

采集6幅圖片并應(yīng)用基于圖像灰度的角點(diǎn)檢測算法中的harris角點(diǎn)檢測方法[13-14]進(jìn)行特征點(diǎn)提取，因?yàn)榻屈c(diǎn)檢測方法能夠檢測出圖像中相對準(zhǔn)確地角點(diǎn)、具有精準(zhǔn)的定位性能、對噪聲具有較強(qiáng)的魯棒性、較高的計(jì)算速率。對其中一幅棋盤圖像進(jìn)行特征點(diǎn)提取，其提取的檢測結(jié)果如圖3所示。

圖2 棋盤格標(biāo)定板

圖3 特征點(diǎn)提取

2.2 基于BP網(wǎng)絡(luò)的畸變校正

取88個(gè)harris角點(diǎn)坐標(biāo)如圖3所示，將這88個(gè)harris角點(diǎn)坐標(biāo)分為兩部分：(1)一部分為78個(gè)harris標(biāo)定點(diǎn)；(2)另一部分為10個(gè)harris測試點(diǎn)。利用MATLAB進(jìn)行仿真的測試結(jié)果如表1、表2所示，分別得出橫、縱軸方向的期望輸出與預(yù)測輸出的誤差。從表1、表2可以看出期望輸出與預(yù)測輸出的誤差比較小，BP神經(jīng)網(wǎng)絡(luò)的畸變校正效果良好。

表1 BP網(wǎng)絡(luò)橫軸方向坐標(biāo)的預(yù)測輸出

表2 BP網(wǎng)絡(luò)縱軸方向坐標(biāo)的預(yù)測輸出

2.3 張正友相機(jī)參數(shù)標(biāo)定

將上述經(jīng)過BP神經(jīng)網(wǎng)絡(luò)校正后的6幅圖像進(jìn)行張正友相機(jī)參數(shù)標(biāo)定。Harris角點(diǎn)的選取原則同上，但是此時(shí)是從經(jīng)過BP神經(jīng)網(wǎng)絡(luò)校正后的圖像中選取harris角點(diǎn)坐標(biāo)。

圖4 標(biāo)定板與相機(jī)的三維空間位置關(guān)系

圖5 棋盤角點(diǎn)提取誤差

仿真獲得的標(biāo)定板與相機(jī)的空間位置關(guān)系如圖4所示，仿真獲得的角點(diǎn)提取的誤差如圖5所示，由圖5角點(diǎn)的聚散程度和分布位置可知這6幅圖的角點(diǎn)提取效果良好。6號藍(lán)色圈圈和5號紫色點(diǎn)比較集中的聚集在(0,0)附近，其他點(diǎn)次之，6幅圖的角點(diǎn)只有極少數(shù)偏離原點(diǎn)程度大，但都是在允許的范圍之內(nèi)，6幅圖的角點(diǎn)的橫縱坐標(biāo)均在-1～1 pixel范圍內(nèi)，這說明整體標(biāo)定誤差較小。接下來，對多幅圖像的角點(diǎn)的校正圖像坐標(biāo)值和空間坐標(biāo)值進(jìn)行張正友平面標(biāo)定，得到相機(jī)的內(nèi)參數(shù)矩陣A、畸變系數(shù)K為：

即主點(diǎn)坐標(biāo)(u0,v0)為(262.39614,-4.30536)。u軸和v軸上的尺度因子分別為1412.60686、1351.43474。徑向畸變系數(shù)分別為k1=-0.48395、k2=0.55451、k3=0.00000。切向畸變系數(shù)分別為p1=0.06800，p2=0.00059。利用matlab可以得到外部參數(shù)標(biāo)定結(jié)果，即：旋轉(zhuǎn)矩陣R和平移矩陣T為：

2.4 標(biāo)定精度評價(jià)

在完成前面工作的基礎(chǔ)上，標(biāo)定精度的評價(jià)也是本文的一個(gè)重要部分，從標(biāo)定精度評價(jià)部分可以看出相機(jī)標(biāo)定的好壞。

針對相機(jī)畸變問題，可以通過BP神經(jīng)網(wǎng)絡(luò)進(jìn)行畸變校正；針對相機(jī)的內(nèi)外參數(shù)的求解問題，本文利用張正友平面標(biāo)定法和Matlab tool box工具[15]，求解出相機(jī)的全部內(nèi)外參數(shù)。對有無BP神經(jīng)網(wǎng)絡(luò)校正進(jìn)行了對比試驗(yàn)，結(jié)果如表3所示。

表3 有無BP神經(jīng)網(wǎng)絡(luò)校正的誤差對比

在此之前伍尤富做過類似的研究，提出過一種神經(jīng)網(wǎng)絡(luò)的攝像機(jī)平面模板標(biāo)定方法[16]，他采用動(dòng)態(tài)因子的學(xué)習(xí)算法，沒有采用自適應(yīng)學(xué)習(xí)率，精度較高，但是速度一般。譚曉波使用攝像機(jī)平面標(biāo)定方法[17]，其沒有使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行校正，得到的標(biāo)定相對誤差為0.009 86，而本文方法，即經(jīng)過BP神經(jīng)網(wǎng)絡(luò)校正后的相對誤差為0.004 6。

可以明顯看出，加BP神經(jīng)網(wǎng)絡(luò)校正的誤差小于不加BP神經(jīng)網(wǎng)絡(luò)的情況，同時(shí)該方法也更加簡潔快速。由于采用的是經(jīng)過BP網(wǎng)絡(luò)校正后的整幅圖像的特征點(diǎn)，而不是采用圖像中心附近畸變較小的特征點(diǎn)，它有明顯的優(yōu)點(diǎn)：(1)標(biāo)定的魯棒性提高了；(2)避免了傳統(tǒng)標(biāo)定非線性優(yōu)化的繁瑣性；(3)標(biāo)定速度和標(biāo)定精度提高了。

標(biāo)定精度提高了，但是誤差并沒有完全消除。在本文實(shí)驗(yàn)中，誤差產(chǎn)生的原因有很多，主要包括以下幾個(gè)部分：(1)棋盤格標(biāo)定模板的誤差；(2)標(biāo)定角點(diǎn)提取的誤差；(3)harris測試點(diǎn)的數(shù)目不同，誤差大小可能也不一樣；(4)采集圖片數(shù)量不同，誤差大小可能也不一樣；(5)標(biāo)定系統(tǒng)的誤差，采取的標(biāo)定方法不同誤差大小可能也不一樣，由于時(shí)間有限，并沒有對現(xiàn)在已有的每一種方法進(jìn)行實(shí)驗(yàn)對比。

3 結(jié)論

本文選用BP神經(jīng)網(wǎng)絡(luò)來校正畸變模型，采用一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，通過分析工業(yè)相機(jī)標(biāo)定與神經(jīng)網(wǎng)絡(luò)的關(guān)系，提出了基于三線結(jié)構(gòu)光的BP神經(jīng)網(wǎng)絡(luò)畸變校正的攝像機(jī)標(biāo)定改進(jìn)方法。matlab仿真驗(yàn)證了該方法的準(zhǔn)確性和有效性，在一定誤差范圍內(nèi)，神經(jīng)網(wǎng)絡(luò)的相機(jī)標(biāo)定能夠有效提高三維測量的精度。該方法有效地利用了神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，動(dòng)態(tài)的進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，標(biāo)定速度和標(biāo)定精度都有所提高。但是，在短時(shí)間內(nèi)，沒有辦法把該標(biāo)定技術(shù)與圖像處理技術(shù)融合起來，這是今后的重點(diǎn)研究內(nèi)容之一。其次，本文方法雖然能有效降低圖像畸變帶來的誤差，但是并不代表沒有其它方面的誤差，如鏡面反射、漫反射、光源、圖片數(shù)目、硬件配置等帶來的誤差。所以，各種誤差產(chǎn)生的原因及解決辦法也是今后的研究內(nèi)容之一。

[1] 郭海豐.基于神經(jīng)網(wǎng)絡(luò)的攝像機(jī)標(biāo)定方法研究[D].沈陽：東北大學(xué),2009.

[2] Chen Xiaobo, Xi Juntong, Jin Ye, et al. Accurate calibration for a camera-projector measurement system based on structured light projection[J].Optics and Lasers in Engineering ,2009:1-10.

[3] Zhang Zhengyou.Flexible camera calibration by viewing a plane from unknown orientations[A].Computer Vision.The Proceedings of the Seventh IEEE International Conference on[C]. 1999:2-8.

[4] Fuqiang Zhou, Yi Cui, Bin Peng, Yexin Wang.A novel optimization method of camera parameters used for vision measurement[J].Optics & Laser Technology,2012：1-10.

[5] 羅 聰.基于線結(jié)構(gòu)光的三維重構(gòu)[D].北京：中國科學(xué)院研究生院(光電技術(shù)研究所),2015.

[6] 賈 丹.攝像機(jī)現(xiàn)場標(biāo)定算法研究[D].哈爾濱：哈爾濱工程大學(xué),2007.

[7] 劉 艷,李騰飛.對張正友相機(jī)標(biāo)定法的改進(jìn)研究[J].光學(xué)技術(shù),2014,06:565-570.

[8] 吉 玲. 雙目立體視覺中三維重建關(guān)鍵技術(shù)研究[D]. 天津：天津理工大學(xué), 2015.

[9] 王 政, 胡志雄. 基于張正友標(biāo)定算法的內(nèi)參數(shù)線性與非線性解算[J]. 鄭州師范教育, 2013(2):68-71.

[10] 岳曉峰, 祁 歡. 基于張正友平面模板法的雙目立體視覺系統(tǒng)標(biāo)定[J]. 機(jī)械工程師, 2014(2):1-3.

[11] Zhang Zhengyou. A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence .2000 11(22):3-22.

[12] 符 紅.結(jié)構(gòu)光投影三維輪廓測量系統(tǒng)的標(biāo)定[D].杭州：浙江大學(xué),2013.

[13] 金偉龍,周美英.基于不同BP網(wǎng)絡(luò)層數(shù)的雙目立體視覺標(biāo)定研究[J].光學(xué)技術(shù),2015(1):2-5.

[14] 于 泓.攝像機(jī)標(biāo)定算法研究[D].濟(jì)南：山東大學(xué),2006.

[15] 徐世杰,陜 毅.攝像機(jī)標(biāo)定算法的MATLAB語言實(shí)現(xiàn)[J].應(yīng)用科技,2004(7):1-3.

[16] 伍尤富. 基于神經(jīng)網(wǎng)絡(luò)的攝像機(jī)平面模板標(biāo)定方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2008,29(6):1527-1528.

[17] 譚曉波. 攝像機(jī)標(biāo)定及相關(guān)技術(shù)研究[D]. 長沙：國防科學(xué)技術(shù)大學(xué), 2004.

ResearchonCameraPlaneCalibrationBasedonThree-WireStructuredLight

WuFang,MaoJian,ZhouYufeng,LiQing

(SchoolofMechanicalEngineering,ShanghaiUniversityofEngineeringScience,Shanghai201620,China)

Camera calibration technology is one of the key techniques of structured light 3D vision measurement. The precision of camera calibration of structured light measurement system has great influence on the accuracy of 3D measurement. The camera calibration method of the three-line structured light system diagram is analyzed, and the geometric model and calibration principle of the industrial camera are introduced. Secondly, the Harris corner detection method is used to extract the feature point coordinates, and BP neural network is used to correct The calibration model of the camera is calibrated by Zhang Zhengyou's plane calibration method, and the experimental results show that this method has certain accuracy and validity, and it can improve the precision and effect of the calibration algorithm. In a certain error range, the calibration of the camera based on neural network distortion correction can effectively improve the accuracy of visual inspection.

three-wire structured light; camera calibration; pinhole model; distortion model; plane calibration method; BP neural network

2016-12-20；

2017-02-06。

吳 芳(1991-), 女, 安徽池州人，碩士研究生, 主要從事多線結(jié)構(gòu)光的機(jī)器視覺測量方向的研究。

1671-4598(2017)07-0206-03DOI：10.16526/j.cnki.11-4762/tp

TP

A

茅 健(1972-), 男, 江蘇南通人，博士, 副教授,碩士生導(dǎo)師, 主要從事精度檢測與質(zhì)量控制、先進(jìn)制造技術(shù)等方向的研究。