何國(guó)輝，黃文軍

?

基于圓點(diǎn)陣列的多相機(jī)外部參數(shù)標(biāo)定

何國(guó)輝，黃文軍

（五邑大學(xué) 計(jì)算機(jī)學(xué)院，廣東 江門 529020）

為了降低標(biāo)定多次坐標(biāo)變換而造成的誤差，針對(duì)圓點(diǎn)標(biāo)定板的特性，提出了一種基于圓點(diǎn)內(nèi)具有數(shù)字標(biāo)記的全局標(biāo)定方法. 其關(guān)鍵步驟包括：首先在標(biāo)定板的某些圓內(nèi)用數(shù)字做標(biāo)記，并記下帶有標(biāo)記的圓點(diǎn)的物理坐標(biāo)，然后通過(guò)模板匹配的方法快速找到標(biāo)記有特殊數(shù)字的圓點(diǎn)，通過(guò)2D仿射變換將圖像坐標(biāo)轉(zhuǎn)換成工作臺(tái)物理坐標(biāo)，計(jì)算出外部參數(shù). 實(shí)驗(yàn)結(jié)果表明，該方法操作簡(jiǎn)便，標(biāo)定殘差的平均誤差在以下，能夠滿足實(shí)際標(biāo)定應(yīng)用要求.

全局標(biāo)定；數(shù)字標(biāo)記點(diǎn)；殘差

隨著計(jì)算機(jī)圖像采集、圖像處理技術(shù)的迅速發(fā)展，計(jì)算機(jī)視覺(jué)理論和技術(shù)已被廣泛應(yīng)用于工業(yè)測(cè)量等行業(yè). 平面圖像測(cè)量是一種非接觸的測(cè)量方法，能很快獲得被測(cè)物體的幾何信息，具有檢測(cè)方便、快捷、直觀等優(yōu)點(diǎn). 但是為了獲得精確的測(cè)量結(jié)果，通常需要對(duì)攝像機(jī)（相機(jī)）的內(nèi)參數(shù)和被測(cè)平面相對(duì)于攝像機(jī)的外參數(shù)進(jìn)行標(biāo)定，它是應(yīng)用計(jì)算機(jī)視覺(jué)進(jìn)行現(xiàn)場(chǎng)測(cè)量和圖像處理過(guò)程中基本且關(guān)鍵的一步.

在標(biāo)定中常用到事先設(shè)計(jì)好的標(biāo)定靶標(biāo)，目前攝像機(jī)（相機(jī)）標(biāo)定中使用較多的2D平面靶標(biāo)中，主要有棋盤格靶標(biāo)、網(wǎng)格靶標(biāo)和圓點(diǎn)陣列靶標(biāo)等. 由于圓點(diǎn)陣列靶標(biāo)以其獨(dú)特的形狀易于識(shí)別和提取，因而通常使用圓點(diǎn)陣列靶標(biāo)，并用圓點(diǎn)靶標(biāo)圖像的幾何中心坐標(biāo)近似地作為圓點(diǎn)靶標(biāo)圖像的圓心，從而對(duì)攝像機(jī)（相機(jī)）的外部參數(shù)進(jìn)行標(biāo)定. 目前常用的標(biāo)定方法有直接線性法、Tsai兩步標(biāo)定法、自標(biāo)定方法和基于主動(dòng)視覺(jué)的標(biāo)定方法等.

在以往的應(yīng)用過(guò)程，外部參數(shù)的獲取通常需要在測(cè)量現(xiàn)場(chǎng)進(jìn)行精確標(biāo)定，主要是通過(guò)人工建立坐標(biāo)系，然后計(jì)算圓心所在的位置來(lái)確定物理坐標(biāo)，從而得到外部參數(shù)以實(shí)現(xiàn)圖像坐標(biāo)與工作臺(tái)物理坐標(biāo)的轉(zhuǎn)換. 顯然，這種方法會(huì)影響到攝像機(jī)標(biāo)定的效率[1]. 為此本文提出了一種新方法，即先在標(biāo)定板的某些圓點(diǎn)里用阿拉伯?dāng)?shù)字做好標(biāo)記，并記下該帶有標(biāo)記數(shù)字的圓的物理坐標(biāo)，然后通過(guò)模板匹配的方法快速找到標(biāo)記有特殊數(shù)字的圓，再利用這些帶有特殊數(shù)字的圓的物理坐標(biāo)為已知的條件，計(jì)算出外部參數(shù)，從而實(shí)現(xiàn)坐標(biāo)轉(zhuǎn)換. 通過(guò)多相機(jī)的外部參數(shù)標(biāo)定，可以實(shí)現(xiàn)將多個(gè)相機(jī)建立在同一個(gè)工作臺(tái)坐標(biāo)系統(tǒng)系中.

1 標(biāo)定系統(tǒng)概況

本文以絲印行業(yè)的多相機(jī)測(cè)量系統(tǒng)為研究對(duì)象，對(duì)具有6個(gè)相機(jī)的測(cè)量系統(tǒng)做了全局標(biāo)定，該系統(tǒng)的實(shí)物圖如圖1所示. 對(duì)應(yīng)圖1系統(tǒng)的標(biāo)定板設(shè)計(jì)圖如圖2所示，尺寸大小為，其內(nèi)部白色矩形區(qū)域分別為6個(gè)相機(jī)在其上方的可調(diào)節(jié)視野范圍，標(biāo)定板制造工藝精度為. 圖3顯示了其中某個(gè)相機(jī)的視野范圍（標(biāo)定板中由7行10列組成的圓點(diǎn)陣列），該圓點(diǎn)半徑為，圓點(diǎn)間的水平方向和垂直方向的圓心距均為. 為了快速地找到特征點(diǎn)，在圓點(diǎn)上將有規(guī)律地設(shè)置一些數(shù)字標(biāo)記，如該圓點(diǎn)陣列區(qū)中標(biāo)有數(shù)字為4的特征標(biāo)記.

圖1 測(cè)量系統(tǒng)實(shí)物圖

圖2 圓點(diǎn)陣列標(biāo)定板設(shè)計(jì)圖

圖3 相機(jī)視野范圍

根據(jù)圖1所示相機(jī)工位將相機(jī)安裝好后，就可以首先利用6個(gè)相機(jī)分別采集6組圖像，將圖像經(jīng)過(guò)濾波處理去除噪聲，對(duì)圖像進(jìn)行二值化；然后提取輪廓，利用提取的輪廓信息進(jìn)行擬合圓；再進(jìn)行數(shù)字標(biāo)記點(diǎn)檢測(cè)獲取物理坐標(biāo)，根據(jù)數(shù)字標(biāo)記點(diǎn)圓心的物理坐標(biāo)和圓心距求出相機(jī)視野內(nèi)所有圓的物理坐標(biāo)；最后利用2D仿射變換求出相機(jī)外參數(shù). 本系統(tǒng)標(biāo)定過(guò)程框圖如圖4所示.

圖4 系統(tǒng)標(biāo)定過(guò)程框圖

2 標(biāo)記點(diǎn)檢測(cè)

2.1 特征點(diǎn)圖像坐標(biāo)自動(dòng)提取

為了自動(dòng)獲得帶有標(biāo)記的特征點(diǎn)坐標(biāo)，就需要對(duì)特征點(diǎn)圖像分別進(jìn)行圖像預(yù)處理、輪廓提取和特征點(diǎn)匹配操作[3].

圖像預(yù)處理主要包括圖像濾波和二值化. 一般情況下圖像在拍攝和傳輸過(guò)程中，由于所使用的器件和傳輸通道的局限性，所獲取的原始圖像中往往加入了大量的噪聲，會(huì)嚴(yán)重影響圖像的視覺(jué)效果，甚至有可能妨礙操作人員的正常識(shí)別，因此消除圖像的噪聲就成為圖像預(yù)處理的一項(xiàng)重要任務(wù). 根據(jù)圖像噪聲的不同，選用去噪的方法也不同，結(jié)合本文圖像的特點(diǎn)，擬采用高斯濾波方法. 高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲，廣泛應(yīng)用于圖像處理的減噪過(guò)程.

圖像去噪處理后，需進(jìn)行二值化處理. 二值化處理的關(guān)鍵是確定閾值，本文采用了基于最大類間方差OTSU[4]的方法，它是一種自適應(yīng)的閾值確定方法，主要是利用圖像的灰度特性，將圖像分成背景和目標(biāo)兩部分，從而達(dá)到提取標(biāo)志點(diǎn)的目的[5].

對(duì)圖像進(jìn)行二值化處理后，就可以對(duì)處理后的圖像進(jìn)行搜索，針對(duì)本文圖像，設(shè)定的搜索順序是從左上角第一個(gè)圓開始，按照從左往右從上往下方向遍歷整個(gè)圖像區(qū)域，并利用OpenCV中的cvFindContours函數(shù)提取輪廓[6]，根據(jù)輪廓數(shù)據(jù)利用最小二乘擬合圓擬合，利用擬合的圓推導(dǎo)出圓中心坐標(biāo). 該檢測(cè)算法是通過(guò)最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配來(lái)定位圓心坐標(biāo)的.

采集圖像過(guò)程中，總避免不了其他噪聲的干擾，為了得到準(zhǔn)確的標(biāo)志圓圖像坐標(biāo)，就需要去掉目標(biāo)中非標(biāo)志圓的輪廓，使得標(biāo)定板中只有帶有數(shù)字的圓和無(wú)數(shù)字圓兩種元素，圓形度是用來(lái)表示物體圓形程度的指標(biāo)，它們的圓形度都近似于1. 而將圓形度小于0.95，面積小于或大于的目標(biāo)輪廓去掉，最終僅剩下70個(gè)目標(biāo)的質(zhì)心坐標(biāo)，即標(biāo)志圓的圖像坐標(biāo).

2.2 數(shù)字特征點(diǎn)定位

在已知標(biāo)志圓圖像坐標(biāo)的情況下，要快速找出帶有數(shù)字標(biāo)記的圓，通常采用模板匹配的方式實(shí)現(xiàn). 模板匹配是一項(xiàng)在一幅圖像中尋找與另一幅模板圖像最匹配（相似）部分的技術(shù). 由于文中的標(biāo)定用于絲印行業(yè)，絲印平臺(tái)帶有夾具，用于固定加工對(duì)象，使之占有正確的位置，定位夾具可以對(duì)發(fā)生旋轉(zhuǎn)的情況進(jìn)行校正，標(biāo)定板放在絲印平臺(tái)后，利用夾具保證其放正. 如果數(shù)字圖案發(fā)生旋轉(zhuǎn)，則利用夾具調(diào)整標(biāo)定板，使其放正，重新匹配. 利用平方差的模板匹配算法. 平方差算法原理如公式（1）：

圖5 模板匹配過(guò)程圖

根據(jù)圖1可知，物理坐標(biāo)系是已建立好的，當(dāng)獲得標(biāo)記點(diǎn)的圓心物理坐標(biāo)以后，就可以通過(guò)每個(gè)圓心距為計(jì)算出相機(jī)視野內(nèi)的所有圓的物理坐標(biāo). 再根據(jù)仿射變換原理[8]所建立的從圖像坐標(biāo)系到工作臺(tái)物理坐標(biāo)系的變換公式，得到絕對(duì)坐標(biāo)到測(cè)量圖像坐標(biāo)的整體變換公式.

一般2D-2D仿射變換需要求解6個(gè)參數(shù)，需用3組相匹配的點(diǎn)對(duì). 2D-2D仿射變換一般式如公式（2）：

由于這些點(diǎn)中任意一個(gè)的坐標(biāo)值存在誤差，都會(huì)造成所求得的參數(shù)存在誤差. 解決這個(gè)問(wèn)題的方法之一是，采用更多的匹配控制點(diǎn)以得到6個(gè)參數(shù)的最小二乘估計(jì). 為此定義一個(gè)誤差函數(shù)，即殘差求解函數(shù)，以便通過(guò)殘差大小來(lái)衡量最終標(biāo)定結(jié)果的精度. 殘差函數(shù)定義如公式（3）：

通過(guò)該變換公式，結(jié)合視野內(nèi)已知的每個(gè)圓的圓心物理坐標(biāo)，可以求出實(shí)際圓心物理坐標(biāo)與其對(duì)應(yīng)的通過(guò)仿射變換得到的圓心物理坐標(biāo)之差，進(jìn)而求出每個(gè)圓通過(guò)擬合而產(chǎn)生的殘差. 圖像殘差是評(píng)估標(biāo)定結(jié)果好壞的一個(gè)重要指標(biāo)，圖像殘差均值越小表示建立的數(shù)學(xué)模型越準(zhǔn)確，標(biāo)定結(jié)果越好.

3 實(shí)驗(yàn)和結(jié)論

選用6個(gè)分辨率為640×480、型號(hào)為MVC1000MF的相機(jī)按圖1所示安裝固定好，水平放入標(biāo)定板，且保證每個(gè)相機(jī)下都有帶數(shù)字標(biāo)記圓，通過(guò)OpenCV與MFC編寫標(biāo)定控制程序，在Windows7系統(tǒng)運(yùn)行，分別計(jì)算出6個(gè)相機(jī)中35個(gè)圓點(diǎn)的方向和方向的殘差值，如圖6中所示.

x方向殘差； y方向殘差

[1] 夏瑞雪，盧榮勝，劉寧，等. 基于圓點(diǎn)陣列靶標(biāo)的特征點(diǎn)坐標(biāo)自動(dòng)提取方法[J]. 中國(guó)機(jī)械工程，2010, 21(16): 1906-1910.

[2] ZHANG Zhengyou. A flexible new technique for camera calibration [J]. Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[3] 許勇，郭鵬宇，龍古燦，等. 攝像機(jī)全自動(dòng)標(biāo)定方法研究[J]. 光學(xué)學(xué)報(bào)，2013, 33(6): 139-149.

[4] HUANG D Y，WANG C H. Optimal multi-level thresholding using a two-stage Otsu optimization approach [J]. Pattern Recognition Letters, 2009, 30(3): 275-284.

[5] 孫鵬，呂乃光，王博恩，等. 視覺(jué)測(cè)量中圓形標(biāo)志點(diǎn)的全場(chǎng)自動(dòng)識(shí)別和提取[M]. 北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2011, 26(3): 91-95.

[6] BRADSK G R, KAEHLER A. Learning OpenCV: computer vision with the OpenCV library [J]. [s.l.]: O’ Reilly Media, lnc, 2008.

[7] 佟慶彬，丁振良，董玉冰，等. 基于圖像的小尺寸零件圓參數(shù)亞像素定位算法[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版），2009, 39(1): 154-159.

[8] SISMAN Y. Coordinate transformation of cadastral maps using different adjustment methods [J]. Journal of Chinese Institute of Engineers, 2014, 37(7): 869-882.

[責(zé)任編輯：韋 韜]

Calibration of Multi-camera External Parameters Based on the Dot Array

HEGuo-hui, HUANGWen-jun

(School of Computer Science, Wuyi University, Jiangmen 529020, China)

In order to reduce error caused by multiple calibrations, in light of the characteristics of the dot calibration board, this paper proposes a global calibration method based in dots with a digital signature. The key steps include: first mark with numerals in some circles on the calibration board, and take down the physical coordinates of the marked dot, then quickly locate the dots with special figures by adopting the template matching method, and finally transform the image coordinates into physical coordinates of the workbench through a 2D affine transformation and get the external parameters by calculation. Experimental results show that the method is easy to operate; the average calibration error of is underand can meet the actual calibration application requirements

global calibration; digital markers; residuals

1006-7302（2015）04-0032-05

TP391.41

A

2015-03-31

何國(guó)輝（1962—），男，江西萍鄉(xiāng)人，教授，碩士，主要從事模式識(shí)別、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘等方向的研究.