李晉惠，岳　鑫，高　飛

(西安工業(yè)大學(xué) 理學(xué)院，西安 710021)

?

雙目標(biāo)定中棋盤格圖像角點(diǎn)樣本篩選及標(biāo)定*

李晉惠，岳鑫，高飛

(西安工業(yè)大學(xué) 理學(xué)院，西安 710021)

摘要：針對(duì)攝像機(jī)在標(biāo)定時(shí)采集到的圖片樣本存在樣本不理想而導(dǎo)致標(biāo)定結(jié)果不準(zhǔn)確的問題.文中基于棋盤標(biāo)定板的特性提出了一種棋盤格圖像樣本篩選方法.利用棋盤格中角點(diǎn)的排序的條件，針對(duì)圖片樣本的合法性進(jìn)行檢查，排除角點(diǎn)檢測(cè)不準(zhǔn)確的樣本，從而達(dá)到提高標(biāo)定準(zhǔn)確度的目的.研究表明：對(duì)于同一組樣本數(shù)據(jù)與同樣的標(biāo)定方法，利用篩選后的樣本進(jìn)行標(biāo)定結(jié)果的相對(duì)誤差減小到0.55%，成功率達(dá)到90%以上，提高了樣本的可用性與標(biāo)定的準(zhǔn)確度.

關(guān)鍵詞：雙目標(biāo)定；棋盤格圖像；角點(diǎn)檢測(cè)；樣本篩選

雙目標(biāo)定是雙目視覺中的首要問題，通過標(biāo)定可以得到世界坐標(biāo)系中物體在圖像坐標(biāo)系的關(guān)系，利用這種關(guān)系結(jié)合其他算法可以實(shí)現(xiàn)測(cè)距、定位等功能.攝像機(jī)雙目標(biāo)定的首要目的是獲取攝像機(jī)的內(nèi)外參數(shù)，當(dāng)前攝像機(jī)標(biāo)定的方法主要有傳統(tǒng)標(biāo)定法以及自標(biāo)定法[1].張正友在2000年提出了基于棋盤格標(biāo)定板的傳統(tǒng)標(biāo)定法，該方法是應(yīng)用相對(duì)廣泛且精度相對(duì)較高的一種標(biāo)定方法，張正友標(biāo)定法的關(guān)鍵步驟是角點(diǎn)位置的精確獲取[2].

棋盤格角點(diǎn)做為一種特殊的角點(diǎn)，通常有兩大類檢測(cè)方法：基于邊緣的角點(diǎn)檢測(cè)法和基于灰度的角點(diǎn)檢測(cè)方法.基于邊緣的角點(diǎn)檢測(cè)法一般是利用圖像的邊緣輪廓并從中提取封閉或非封閉的輪廓曲線，通過搜索輪廓線上的曲率值，梯度方向變化或利用多邊形逼近查找交點(diǎn)來提取角點(diǎn)[3].

文獻(xiàn)[4]在邊緣方向角的基礎(chǔ)上提出了采用圖像邊緣方向角(Edge Direction Angle,EDA)進(jìn)行角點(diǎn)檢測(cè)的方法，該方法能準(zhǔn)確檢測(cè)角點(diǎn)的位置,除去偽角點(diǎn),而且能檢測(cè)出不同區(qū)域?qū)?yīng)的角點(diǎn)的凸凹性.文獻(xiàn)[5]利用雙曲正切函數(shù)的特點(diǎn)，提出了基于雙曲正切函數(shù)的邊緣檢測(cè)方法，該方法可以達(dá)到較好的檢測(cè)精度，也可以在一定程度上抑制噪聲對(duì)角點(diǎn)亞像素定位的影響.基于灰度的角點(diǎn)檢測(cè)方法主要考慮圖像中的亮度變化，并把角點(diǎn)定義為圖像中與其相鄰點(diǎn)亮度差距最大的點(diǎn)，通過曲率和梯度進(jìn)行檢測(cè).文獻(xiàn)[6]在灰度角點(diǎn)檢測(cè)的基礎(chǔ)上提出一種結(jié)合像素點(diǎn)灰度差的Harris角點(diǎn)檢測(cè)的改進(jìn)算法，該算法提高了原來算法的檢測(cè)檢測(cè)速率和和角點(diǎn)檢測(cè)的準(zhǔn)確性.文獻(xiàn)[7]利用角點(diǎn)檢測(cè)器，達(dá)到了在不對(duì)棋盤格圖像做預(yù)處理情況下，檢測(cè)出有一定噪聲或者較模糊的圖像上的棋盤格角點(diǎn).但是在標(biāo)定中獲取棋盤標(biāo)定板圖片時(shí)，由于不同的光線強(qiáng)度、標(biāo)定板離攝像機(jī)距離遠(yuǎn)近等因素，造成數(shù)字圖片的質(zhì)量參差不齊，標(biāo)定板樣本的質(zhì)量不能保證.在這種較為惡略條件下這些算法可能會(huì)存在無法檢測(cè)出標(biāo)定板角點(diǎn)或角點(diǎn)檢測(cè)出錯(cuò)的情況，使低質(zhì)量的樣本圖片在標(biāo)定時(shí)影響到標(biāo)定的效果.因此為了減少或避免由于標(biāo)定樣本的問題造成角點(diǎn)檢測(cè)不準(zhǔn)確最后增加標(biāo)定誤差的情況.

文中結(jié)合棋盤標(biāo)定板的特性提出一種標(biāo)定樣本篩選方法.該方法利用標(biāo)定時(shí)樣本中的棋盤格圖片中的角點(diǎn)順序?qū)z測(cè)出的角點(diǎn)進(jìn)行比較，將不符合其角點(diǎn)順序的樣本排除，提高樣本的質(zhì)量，從而達(dá)到提高標(biāo)定精確度的目的.

1模型與方法

1.1攝像機(jī)的標(biāo)定

標(biāo)定的目的是求解攝像機(jī)內(nèi)參數(shù)和外參數(shù).內(nèi)參數(shù)是由攝像機(jī)幾何模型和透鏡的畸變模型定義的，外參數(shù)與攝像機(jī)的安裝位置以及角度有關(guān).攝像機(jī)模型中最簡(jiǎn)單的是針孔模型，而攝像機(jī)是不能擺脫透鏡單獨(dú)使用的.理論上是可能定義出一種不會(huì)引入任何畸變的透鏡，然而沒有完美的透鏡.所以在獲取圖像的過程中又會(huì)加入透鏡產(chǎn)生的畸變因素.雙目攝像機(jī)的標(biāo)定是在單個(gè)攝像機(jī)的基礎(chǔ)上計(jì)算空間上兩臺(tái)攝像機(jī)幾何關(guān)系的過程.

雙目攝像機(jī)標(biāo)定的求解步驟為：①獲取多組左右攝像機(jī)圖像；②對(duì)攝像機(jī)采集到的標(biāo)定板圖像進(jìn)行角點(diǎn)檢測(cè)，獲取標(biāo)定板中的角點(diǎn)；③分別對(duì)左右攝像機(jī)標(biāo)定，獲取左右攝像機(jī)的參數(shù)；④左右攝像機(jī)立體標(biāo)定，得到左右攝像機(jī)的相對(duì)位置.

在攝像機(jī)標(biāo)定中我們通常定義三個(gè)坐標(biāo)系如圖1所示，世界坐標(biāo)系(Xw,Yw,Zw)是用于描述攝像機(jī)和物體之間的位置的三維空間參考坐標(biāo)系.在攝像機(jī)坐標(biāo)系(Xc,Yc,Zc)的原點(diǎn)為鏡頭的光心，Zc軸與光軸重合， 與圖像物理坐標(biāo)系中的(x,y)軸平行.圖像坐標(biāo)系分為圖像像素坐標(biāo)系(u,v)，圖像物理坐標(biāo)系(x,y)兩種.其中圖像像素坐標(biāo)系是以圖像左上角為原點(diǎn)，以像素為坐標(biāo)單位的直角坐標(biāo)系.u,v分別表示圖像中的行數(shù)和列數(shù).圖像物理坐標(biāo)系是以光軸與像平面的交點(diǎn)為原點(diǎn)，以毫米為單位的直角坐標(biāo)系.其x,y軸分別與圖像像素坐標(biāo)系的u,v軸平行.

圖1　攝像機(jī)標(biāo)定模型

1.2雙目標(biāo)定

在世界坐標(biāo)中任意一點(diǎn)(Xw,Yw,Zw)可以經(jīng)過旋轉(zhuǎn)和平移達(dá)到攝像機(jī)坐標(biāo)系中，記為Pc(Xc,Yc,Zc).則有

(1)

其中T是1*3的平移向量，矩陣R是3*3的正交旋轉(zhuǎn)矩陣.攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系的關(guān)系中攝像機(jī)坐標(biāo)系中的點(diǎn)Pc(Xc,Yc,Zc)轉(zhuǎn)換到圖像物理坐標(biāo)系中的點(diǎn)p1(x,y)滿足如下關(guān)系

(2)

其中f為攝像機(jī)的焦距.再由圖像物理坐標(biāo)系轉(zhuǎn)換到圖像像素坐標(biāo)系，關(guān)系如下：

(3)

式中:(u0,0)為圖像物理坐標(biāo)系(x,y)在圖像像素坐標(biāo)系(u,v)中的坐標(biāo).dx,dy為像面上每一個(gè)像素在x軸和y軸方向上的物理尺寸.由式(2)和式(3)可以推出：

(4)

令fx=f/dx、fy=f/dy，分別代表以x軸與y軸方向上的像素為單位表示的等效焦距.通過這三個(gè)坐標(biāo)系的轉(zhuǎn)換，可完成世界坐標(biāo)系中的任意一點(diǎn)到圖像像素坐標(biāo)系的轉(zhuǎn)換.標(biāo)定的結(jié)果是求出內(nèi)參數(shù)(fx、fy、u0、v0)和外參數(shù)(R、T).

雙目標(biāo)定是在兩個(gè)攝像機(jī)分別進(jìn)行標(biāo)定后的基礎(chǔ)上，對(duì)兩個(gè)攝像機(jī)在世界坐標(biāo)中的相對(duì)關(guān)系進(jìn)行求解.即求解旋轉(zhuǎn)矩陣Rd和平移向量Td(為了方便區(qū)分這里的Rd和Td為上面提到的外參數(shù)R、T).求解Rd和Td的過程依賴與左右攝像機(jī)標(biāo)定出來的外參數(shù)，分別為Rl、Tl和Rr、Tr.

由世界坐標(biāo)系下任意一點(diǎn)Pw(xw,yw,zw)在左攝像機(jī)的投影Pl和右攝像機(jī)投影Pr滿足

(5)

在世界坐標(biāo)系下的一點(diǎn)P，在兩個(gè)相機(jī)上可以用Pl=Rd(Pr-Td)關(guān)聯(lián)，則通過這三個(gè)等式可以推出：

(6)

1.3篩選雙目圖像方法描述

影響到相機(jī)標(biāo)定的因素通常有光源、標(biāo)定圖片的數(shù)量以及棋盤格尺寸等.針對(duì)這些因素，可以分別采取選擇較高照度的光源，增加標(biāo)定圖像的數(shù)量以及使用小尺寸的棋盤格的辦法以提高標(biāo)定效果[8].在實(shí)驗(yàn)中還發(fā)現(xiàn)當(dāng)棋盤格距離較遠(yuǎn)時(shí)容易產(chǎn)生角點(diǎn)檢測(cè)錯(cuò)誤的情況，但可以通過調(diào)整距離避免.在實(shí)際應(yīng)用中有時(shí)無法保證每一張圖片都具有較高的質(zhì)量，從而會(huì)帶來一定的誤差，針對(duì)這種情況，本文提出角點(diǎn)檢測(cè)后對(duì)圖片的篩選方法.該方法采用篩選雙目圖像方法，利用棋盤格中相應(yīng)角點(diǎn)應(yīng)該在同一直線上的方法，剔除不符合條件的標(biāo)定板圖像對(duì).從而使最終標(biāo)定達(dá)到較好的結(jié)果.

設(shè)棋盤標(biāo)定板為n個(gè)角點(diǎn)的棋盤格(n與m分別為棋盤的每行和每列有多少個(gè)角點(diǎn))，標(biāo)定板中所有角點(diǎn)需滿足同一列的角點(diǎn)之間的斜率大致相同的條件,也就是說，同一列的角點(diǎn)應(yīng)該在同一直線上.

每一幅圖像中的角點(diǎn)關(guān)系需滿足如下條件：

(7)

式中：Px為第x個(gè)角點(diǎn)；k(Px,Px+1)為點(diǎn)Px與點(diǎn)Px+1之間的斜率；k為兩個(gè)相鄰線段斜率之差的絕對(duì)值；σ為一個(gè)足夠小的正數(shù)；a0為正整數(shù).

當(dāng)同時(shí)獲取的左右兩幅標(biāo)定板圖像均滿足如上條件時(shí)，將這一組圖片保存下來.若其中任意一個(gè)圖片未滿足條件則需要將這一組兩幅圖片同時(shí)篩選掉.在將所有圖片驗(yàn)證并且篩選完成后，用雙目標(biāo)定法對(duì)余下的圖片進(jìn)行計(jì)算.

2實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用兩個(gè)USB攝像機(jī)，圖像分辨率為640*480，兩個(gè)攝像機(jī)間距約為55 mm.標(biāo)定板采用8*12的棋盤格標(biāo)定板，其每個(gè)格子為20 mm*20 mm的正方形格子.雙目攝像機(jī)及標(biāo)定板實(shí)物如圖2所示.

圖2　雙目攝像機(jī)及標(biāo)定板實(shí)物

實(shí)驗(yàn)時(shí)，左右攝像機(jī)同時(shí)拍攝多組標(biāo)定板圖片，拍攝時(shí)，為了達(dá)到較好的效果，標(biāo)定板需要有不同角度傾斜并且有不同的距離.獲取圖片后，再依次對(duì)每張圖片進(jìn)行角點(diǎn)檢測(cè)，也就是提取出圖片中棋盤格中黑白相間的交叉點(diǎn)，由于在不同環(huán)境下拍攝的圖片不一定都能準(zhǔn)確無誤的檢測(cè)到所有圖片的每一個(gè)角點(diǎn)，如圖3(a)所示.因此需要對(duì)圖片進(jìn)行篩選.角點(diǎn)檢測(cè)結(jié)果如圖3所示.由式(7)可以看出，前后三個(gè)點(diǎn)可以組成兩條線段，該兩條線段的斜率之差的絕對(duì)值為σ，當(dāng)σ趨于0時(shí)，三點(diǎn)在同一條線段上，若兩條線段存在夾角越大或越小時(shí)k的值會(huì)隨之增大.故通過σ的限定k的值判斷角點(diǎn)檢測(cè)結(jié)果是否符合篩選條件，并將不符合條件的圖片對(duì)剔除.利用篩選后的圖片角點(diǎn)檢測(cè)的結(jié)果，采用雙目標(biāo)定原理計(jì)算出攝像機(jī)的內(nèi)參數(shù)(fx、fy、cx、cy)和外參數(shù)(R、T).

圖3　標(biāo)定板角點(diǎn)檢測(cè)

每次實(shí)驗(yàn)左右攝像機(jī)各采集15幅左右圖片進(jìn)行篩選，并對(duì)篩選前后的樣本進(jìn)行標(biāo)定處理.共進(jìn)行5次實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果平均值見表1.

表1　標(biāo)定結(jié)果對(duì)比表

表2　標(biāo)定結(jié)果對(duì)比分析

表1中同時(shí)給出了經(jīng)過篩選的標(biāo)定結(jié)果和未經(jīng)過篩選的標(biāo)定結(jié)果.表2中可以得到未經(jīng)過篩選的測(cè)量結(jié)果兩個(gè)攝像機(jī)的距離為85.6 mm，經(jīng)過篩選的測(cè)量結(jié)果兩個(gè)攝像機(jī)相距54.7 mm，而實(shí)際測(cè)量中攝像機(jī)間距為55 mm.所以未經(jīng)過篩選的結(jié)果相對(duì)誤差約為55.6%，經(jīng)過篩選的相對(duì)誤差為0.55%.

圖4與圖5是五組實(shí)驗(yàn)在篩選前后的標(biāo)定結(jié)果對(duì)比圖(以fx和水平移動(dòng)距離為例)，其各個(gè)數(shù)據(jù)的標(biāo)準(zhǔn)偏差見表3.

由圖4、圖5和表3分析可知，經(jīng)過篩選的樣品標(biāo)定結(jié)果對(duì)比未經(jīng)過篩選的樣品標(biāo)定結(jié)果，篩選后的結(jié)果在各個(gè)參數(shù)的標(biāo)準(zhǔn)偏差均比篩選前的要小.通過使用篩選后的樣本進(jìn)行標(biāo)定，可以提高標(biāo)定結(jié)果的精度.利用標(biāo)定結(jié)果對(duì)圖像進(jìn)行校正，校正結(jié)果如圖6～7所示.

圖4　攝像機(jī)標(biāo)定水平距離結(jié)果曲線圖

由圖6和圖7可知，是否進(jìn)行圖片的篩選對(duì)標(biāo)定的結(jié)果有比較大的影響.圖6為使用沒有經(jīng)過篩選的標(biāo)定板圖片標(biāo)定處理后的數(shù)據(jù)進(jìn)行校正的結(jié)果；圖7為使用經(jīng)過篩選的標(biāo)定板圖片標(biāo)定處理后的數(shù)據(jù)進(jìn)行校正的結(jié)果.圖6與圖7中的橫線為輔助線，在線的上下應(yīng)該是實(shí)物的同一個(gè)位置，而圖6中線的上下不是同一個(gè)位置(其中的右邊的偏低，而左邊的偏高).而圖7中的輔助線上下是實(shí)物的同一個(gè)位置，說明了經(jīng)過篩選的標(biāo)定板圖片標(biāo)定后的數(shù)據(jù)較未經(jīng)過篩選的標(biāo)定板圖片標(biāo)定后的數(shù)據(jù)要更加準(zhǔn)確.

圖5　左右攝像機(jī)fx參數(shù)結(jié)果曲線

篩選情況左攝像機(jī)fx右攝像機(jī)fx左攝像機(jī)cx右攝像機(jī)cx左攝像機(jī)fy右攝像機(jī)fy左攝像機(jī)cy右攝像機(jī)cy篩選前212.64402.7510.7619.79240.62404.2224.8362.95篩選后16.1516.235.4216.4315.1214.6116.4210.41

圖6　未篩選校正結(jié)果

圖7　篩選校正結(jié)果

3結(jié) 論

針對(duì)由于標(biāo)定采集的圖片樣本存在樣本不理想的造成標(biāo)定結(jié)果不準(zhǔn)確的問題.文中在常規(guī)標(biāo)定方法中結(jié)合棋盤格的特性，提出了基于圖像中角點(diǎn)關(guān)系的樣本篩選的方法.該方法在正常標(biāo)定的基礎(chǔ)上，排除部分不合格樣本.因此，該方法旨在通過減少錯(cuò)誤樣本達(dá)到提高準(zhǔn)確性的目的.通過對(duì)樣本篩選前后的比較，該方法提高了標(biāo)定的準(zhǔn)確性.

參 考 文 獻(xiàn)：

[1]SUN J H，LIU Q Z，LIU Z，et al.A Calibration Method for Stereo Vision Sensor with Large Fov Based on 1D Targets[J]．Optics and Lasers in Engineering，2011，49(11):1245．

[2]戴憲策,劉昌錦.相機(jī)標(biāo)定中角點(diǎn)檢測(cè)與定位算法研究[J].四川兵工學(xué)報(bào),2015,36(9):122.

DAI Xiance，LIU Changjin.Research on Algorithm for Corners Detection and Location in Camera Calibration[J].Journal of Sichuan Ordnance,2015,36(9):122.(in Chinese)

[3]章為川,孔祥楠,宋文.圖像的角點(diǎn)檢測(cè)研究綜述[J].電子學(xué)報(bào),2015(11):2315.

ZHANG Weichuan,KONG Xiangnan,SONG Wen .Review of Image Corner Detection Algorithms[J].Acta Electionice Sinice,2015(11):2315.(in Chinese)

[4]黃永林,葉玉堂,喬鬧生,等.基于邊緣方向角的自適應(yīng)尺度角點(diǎn)檢測(cè)[J].光電子：激光,2010(8):1237.

HUANG Yonglin,YE Yutang,QIAO Naosheng,et al.Adaptive Scale Corner Detection Based on Edge Direction Angle[J].Journal of Optoelectronics·Laser,2010(8):1237.(in Chinese)

[5]馬德明.基于雙曲正切函數(shù)的邊緣檢測(cè)方法[D].長(zhǎng)春:吉林大學(xué),2011.

MA Deming.Sub-pixel Edge Deteetion Based on Hyperbolic Tangent[D].Changchun: Jilin University,2011.(in Chinese)

[6]王民,周兆鎮(zhèn),李昌華,等.基于像素點(diǎn)灰度差的Harris角點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)工程,2015(6):227.

WANG Min,ZHOU Zhaozhen,LI Changhua,et al.Harris Corner Detection Algorithm Based on Pixel Point Gray Difference[J].Computer Engineering,2015(6):227.(in Chinese)

[7]屠大維,張翼成.基于灰度差異的棋盤格角點(diǎn)自動(dòng)檢測(cè)[J].光學(xué)精密工程,2011(6):1360.

TU Dawei,ZHANG Yicheng.Auto-detection of Checkerboard Corners Based on Grey-level Difference[J].Optics and Precision Engineering,2011(6):1360.(in Chinese)

[8]支健輝,董新民,孔星煒,等.相機(jī)標(biāo)定的外界影響因素分析[J].應(yīng)用光學(xué),2014,35(2):286.

ZHI Jianhui,DONG Xinmin,KONG Xingwei,et al.Analysis of External Influencing Factors in Camera Calibration[J].Journal of Applied Optics,2014,35(2):286.(in Chinese)

(責(zé)任編輯、校對(duì)張立新)

Calibration Method Based on Filtered Chessboard Image Samples and Corners in Binocular Calibration

LI Jinhui,YUE Xin,GAO Fei

(School of Science,Xi’an Technological University,Xi’an 710021,China)

Abstract:Less-than-ideal samples tend to cause inaccurate calibration results.A sample screening method is proposed based on the characteristics of the calibration chessboard. In order to improve calibration accuracy，the samples with inaccurate corner points are removed by using the sort order for corner points in the chessboard and the legality of picture samples. The results show that the probability of successful calibration is higher than 90% and the relative error is reduced to 0.55% using the filtered sample corners with the same set of samples and by the same calibration method. The method improves significantly the availability of samples and the accuracy of calibration.

Key words:binocular calibration;chessboard image;corner detection;sample screening

DOI:10.16185/j.jxatu.edu.cn.2016.05.005

收稿日期：2015-08-16

基金資助：陜西省教育廳基金(2010JK592)

作者簡(jiǎn)介：李晉惠(1962-)，女，西安工業(yè)大學(xué)教授，主要研究方向?yàn)楣鈱W(xué)檢測(cè)與圖像處理.E-mail:lijh0837@163.com

文獻(xiàn)標(biāo)志碼:中圖號(hào)：TP391.4A

文章編號(hào)：1673-9965(2016)05-0371-06