蔡葉 蘇中

關(guān)鍵詞： 光場相機(jī)標(biāo)定; 雙曲正切模型; 亞像素角點(diǎn); 角點(diǎn)檢測; 偽角點(diǎn)剔除; 重投影誤差

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）14?0095?05

Research on sub?pixel corner point detection method for light field camera calibration

CAI Ye， SU Zhong

（Beijing Key Laboratory of High Dynamic Navigation Technology， Beijing Information Science and Technology University， Beijing 100192， China）

Abstract： In allusion to problems of slow detection speed and low detection precision of sub?pixel chessboard corner points during light field camera calibration， a sub?pixel precision chessboard corner point detection method based on the hyperbolic tangent model is proposed in this paper. The selection strategy combining the grey difference with template is adopted to select the initial corner point set. The zone grey adaptive corner point detection algorithm is used to obtain the candidate corner point set. The hyperbolic tangent model of candidate corner points is set up to fit the grey distribution of sub?pixel level candidate corner points. Fake corner points are eliminated and sub?pixel chessboard corner points are accurately localized by optimizing the model. The method has a corner point detection rate of 98% and reprojection error of less than 0.83 pixels during light field camera calibration. The experimental results show that the method proposed in this paper can not only rapidly extract more corner points， but also effectively eliminate fake corner points and improve the detection accuracy of sub?pixel corner points.

Keywords： light field camera calibration; hyperbolic tangent model; sub?pixel corner point; corner point detection; fake corner point elimination; re?projection error

0 ?引 ?言

光場相機(jī)標(biāo)定是計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)重要技術(shù)，被廣泛應(yīng)用于三維重建、視覺檢測和監(jiān)控等領(lǐng)域[1?2]。相機(jī)標(biāo)定的精度直接影響著后續(xù)計(jì)算機(jī)視覺任務(wù)的精度，而標(biāo)定的精度很大程度上取決于標(biāo)定板棋盤角點(diǎn)的檢測定位精度[3]。原始光場圖像由于圖像數(shù)據(jù)量大、處理過程復(fù)雜，其角點(diǎn)檢測速率和檢測精度受到嚴(yán)重限制[4]。必須使用高精度的亞像素棋盤角點(diǎn)檢測算法，才能實(shí)現(xiàn)高精度的光場相機(jī)校準(zhǔn)任務(wù)[5]。

角點(diǎn)是一種常見的特征點(diǎn)，被認(rèn)為是圖像灰度變化劇烈的點(diǎn)或邊緣曲線上曲率極大值的點(diǎn)[6]。目前，自動棋盤格角點(diǎn)檢測算法可以分為兩類。一種是基于諸如邊緣、線特征的檢測方法，如Ha通過圖像邊緣的檢測來獲取角點(diǎn)[7]，Escalera等使用線特征來獲取圖像的角點(diǎn)，但存在較大的視覺誤差，影響算法的角點(diǎn)檢測效果[8]。這類方法嚴(yán)重依賴于圖像邊緣檢測結(jié)果，如果圖像邊緣由于某種原因發(fā)生中斷，則會對角點(diǎn)提取造成嚴(yán)重影響[9]。另一種是基于圖像灰度的方法，通過角點(diǎn)附近像素的灰度變化來檢測棋盤角點(diǎn)，例如Harris[10]和FAST[11]等常見的角點(diǎn)檢測器。針對它們無法檢測到棋盤上其他類型的角點(diǎn)并有效剔除偽角點(diǎn)，一些算法對其進(jìn)行了改進(jìn)，例如改進(jìn)的Harris[12]和FAST角點(diǎn)檢測算法[13]。改進(jìn)的算法比原算法檢測效果更好，但這些算法對噪聲敏感，并且很難確定不同情況下的灰度閾值。

CHEN D和Liu Yu等通過將上述兩種方法進(jìn)行融合，提高了角點(diǎn)檢測的精度[14?15]。他們的算法優(yōu)于僅使用紋理或幾何信息的算法，但僅適用于像素級精度的角點(diǎn)檢測，不能用于高精度校準(zhǔn)任務(wù)，例如光場相機(jī)標(biāo)定中亞像素級角點(diǎn)的檢測。Luca Lucchese等提出用雙曲曲面來擬合角點(diǎn)附近的灰度分布，以獲取亞像素級精度的角點(diǎn)[16]。但棋盤角點(diǎn)的檢測結(jié)果可能會偏離實(shí)際角點(diǎn)坐標(biāo)位置，不能準(zhǔn)確定位角點(diǎn)位置。

本文分析上述模型的缺陷，提出一種基于雙曲正切模型的亞像素角點(diǎn)檢測方法。光場相機(jī)標(biāo)定中角點(diǎn)的檢測率和重投影誤差驗(yàn)證了本文算法的優(yōu)越性。

1 ?雙曲正切模型

將一定區(qū)域內(nèi)棋盤格圖像灰度進(jìn)行線性化處理，如圖1a）所示。理想棋盤角點(diǎn)附近的灰度分布可以表示為：

[Ix，y=1，x-x0y-y0≥0-1，x-x0y-y0<0] （1）

式中：[x0，y0T]為角點(diǎn)的坐標(biāo)位置;[Ix，y]為像素[x，y]處的灰度值。在實(shí)際原始光場圖像中，由于采樣、模糊和噪音等因素，黑色和白色方塊之間的邊緣不夠銳利。由于透視失真，構(gòu)成角點(diǎn)的兩條邊緣線不再相互垂直，如圖1b）所示。

1.1 ?雙曲函數(shù)模型分析

Luca Lucches等人將角點(diǎn)[x0，y0T]附近的灰度分布近似擬合為雙曲曲面，如圖1c）所示。[fx，y]是二次函數(shù)，即：

[fx，y=aΔx2+bΔy2+cΔxΔy] ? ? ? ? （2）

式中：[a]，[b]和[c]為參數(shù);[Δx=x-x0;Δy=y-y0。]

通過將角點(diǎn)附近灰度分布擬合為雙曲曲面，可以準(zhǔn)確定位角點(diǎn)位置，但該模型依賴于選取圖像像素窗口的大小。窗口過小時，角點(diǎn)擬合效果差;窗口過大時，角點(diǎn)的灰度分布明顯偏離雙曲模型，嚴(yán)重影響角點(diǎn)檢測精度。

1.2 ?優(yōu)化的雙曲正切模型

針對上述問題，本文提出將兩個雙曲正切函數(shù)的乘積作為新的雙曲正切模型[14]：

[fx，y=tanhαutanhβu] ? ? ? ? （3）

式中：

[u=-x-x0sin θ+y-y0cos θ] （4）

[v=x-x0cos φ-y-y0sin φ] （5）

式中：[α]和[β]為尺度因子;[θ]和[φ]為構(gòu)成角點(diǎn)的兩條邊緣線分別與x軸、y軸的夾角。角點(diǎn)的雙曲正切模型灰度分布如圖1d）所示。

當(dāng)[z]很小時，[tanh z≈z];當(dāng)[Δx]和[Δy]足夠小時，[u]和[v]也很小，則有：

[fx，y≈αβuv] ? ? ? ? ? ? ?（6）

將式（4）、式（5）代入式（6）中，可得棋盤角點(diǎn)的雙曲正切模型為：

[fx，y≈-aΔx2+bΔy2+cΔxΔy] ? ? ? ?（7）

式中：

[a=-αβsin θcos φ] ? ? ? ? ? ? （8）

[b=-αβcos θsin φ] ? ? ? ? ? ?（9）

[c=αβcos θcos φ-sin θsin φ] ? ? ?（10）

當(dāng)且僅當(dāng)[Δx]和[Δy]非常大時，[fx，y]無限接近1或-1，表示正方形區(qū)域內(nèi)灰度極大值點(diǎn)。

通過關(guān)聯(lián)數(shù)據(jù)來度量角點(diǎn)擬合的效果，定義相關(guān)系數(shù)[ζ]為：

[ζF，I;x0，y0，α，β，θ，φ=CovF，IVarFVarI] （11）

式中：[Cov·]為兩個變量的協(xié)方差;[Var·]為變量的方差方差;[I]為以角點(diǎn)為中心的矩形區(qū)域[R]的實(shí)際灰度分布;[F]為雙曲正切模型[f]擬合的棋盤角點(diǎn)[x0，y0T]的灰度分布。若F與I具有很強(qiáng)關(guān)聯(lián)性，[ζ]的值接近1，說明角點(diǎn)擬合效果好;若F與I不具備關(guān)聯(lián)性，[ζ]的值為0，說明角點(diǎn)擬合效果差。

2 ?角點(diǎn)檢測算法

首先，采用灰度差分與模板相結(jié)合的篩選策略進(jìn)行初始角點(diǎn)集的篩選[17];然后，應(yīng)用一種區(qū)域灰度自適應(yīng)角點(diǎn)檢測算法獲取候選角點(diǎn)集;最后，對候選角點(diǎn)進(jìn)行優(yōu)化，從而剔除偽角點(diǎn)并獲取亞像素級棋盤角點(diǎn)。

2.1 ?篩選初始角點(diǎn)集

由于原始光場圖像數(shù)據(jù)量很大，為提高角點(diǎn)檢測算法的效率，減少不必要的計(jì)算，本文采用灰度差分與模板相結(jié)合的篩選策略。為減少模板匹配圖像時的工作量，本文采用覆蓋像素較少的8領(lǐng)域環(huán)形模板，如圖2所示。

對于某一像素，首先計(jì)算像素上下兩個方向上的灰度差分絕對值，若上下兩個灰度差分絕對值中至少有一個灰度差分絕對值大于給定的篩選閾值t，則計(jì)算左右兩個方向上的灰度差分絕對值，否則進(jìn)行下一個像素的篩選;若左右兩個灰度差分絕對值中至少有一個灰度差分絕對值也大于給定的篩選閾值t，則采用8領(lǐng)域環(huán)形模板進(jìn)行再次篩選，否則進(jìn)行下一個像素的篩選。計(jì)算圖像中每個像素[x，y]上下左右四個方向上灰度差分絕對值的計(jì)算公式如下：

[d1=Ix，y-Ix-1，yd2=Ix，y-Ix，y-1d3=Ix，y-Ix+1，yd4=Ix，y-Ix，y+1] （12）

對于利用灰度差分絕對值篩選出的目標(biāo)像素，計(jì)算模板內(nèi)任一像素與目標(biāo)像素的灰度差的絕對值，當(dāng)其值小于等于設(shè)定的閾值[t]時，則認(rèn)為該像素與目標(biāo)像素是相似的，統(tǒng)計(jì)模板內(nèi)與之相似的像素?cái)?shù)目[nx，y]，計(jì)算公式如下：

[cu，v=1 ， Ix，y-Iu，v≤t0， Ix，y-Iu，v>t ] （13）

[nx，y=cu，v] ? ? ? ? ? （14）

式中：[u，v]和[x，y]分別為模板上像素和目標(biāo)像素的坐標(biāo);[t]為灰度差閾值。

在棋盤圖像中通常存在4種像素類型：平坦區(qū)域點(diǎn)、噪聲點(diǎn)、邊緣點(diǎn)和角點(diǎn)。因此當(dāng)模板遍歷目標(biāo)像素時，存在以下4種情況：當(dāng)模板處于平坦區(qū)域點(diǎn)時，模板內(nèi)像素都與目標(biāo)像素相似;當(dāng)模板處于噪聲點(diǎn)時，模板內(nèi)無像素與目標(biāo)像素相似;當(dāng)模板處于邊緣點(diǎn)時，模板內(nèi)存在5個像素與目標(biāo)像素相似;當(dāng)模板處于角點(diǎn)時，模板內(nèi)與目標(biāo)像素相似的像素?cái)?shù)目介于噪聲點(diǎn)與邊緣點(diǎn)之間，即相似像素?cái)?shù)目處于閉區(qū)間[1，4]上。因此若目標(biāo)像素的像素?cái)?shù)目在閉區(qū)間[1，4]上，則將目標(biāo)像素視為初始角點(diǎn)，由初始角點(diǎn)構(gòu)成的集合稱為初始角點(diǎn)集，否則將其視為非角點(diǎn)。

2.2 ?精細(xì)化初始角點(diǎn)集

由于微透鏡邊界產(chǎn)生的漸暈效應(yīng)，許多微圖像邊緣被錯誤地檢測為角點(diǎn)。此外，Raytrix系列的光場相機(jī)具有不同類型焦距的微透鏡，導(dǎo)致微圖像模糊，難以準(zhǔn)確地提取棋盤角點(diǎn)。針對以上問題，本文使用一種特定的方法來檢測微圖像中具有亞像素精度的棋盤角點(diǎn)，以確保所有棋盤角點(diǎn)被檢測為候選角點(diǎn)。該方法通過檢測適當(dāng)區(qū)域內(nèi)圖像灰度值最大和最小兩個方向的軸線，如圖3中的黑白虛線所示，得到兩條軸線的交點(diǎn)即為角點(diǎn)。

假定[ρ=xcos θ+ysin θ]， 其中，[ρ]是白色虛線與原點(diǎn)之間的距離，[θ]是白色虛線與[y]軸（規(guī)定向下為[y]軸方向）之間的夾角，如圖 3b） 所示。該算法在[K×K]微圖像[I]上：[1，K×1，K→0，1]。

設(shè)對[ρ]，[θ]分別離散化得到等距值[P，Θ]，其中[ρ∈0，1，2，…，K2，θ∈0，…，π。]

設(shè)線[L：L=Pi，Θj∈P×Θ]，將線上所有像素按累積強(qiáng)度排序：

[VL，I=x=1KII≥th-x=1KII≤tl] ? ? （15）

式中：[I]為像素[x，y]處的灰度值;[x，Ρi，Θj]為已知的;[th，tl]分別為最大強(qiáng)度閾值和最小強(qiáng)度閾值。

定義[L：L1]為微圖像[I]中最高累積強(qiáng)度的線，[L2]為微圖像[I]中最小累積強(qiáng)度的線，如圖3所示，[L1]（黑色虛線）和[L2]（白色虛線）交點(diǎn)構(gòu)成一個有效的角點(diǎn)。

[VL1，IVL2，1-I-1≤Vthresh] ? ? ? ? ?（16）

設(shè)定[ρ∈0，1，2，…，K2，θ∈θL1+π2+β，][β∈-π5，π5，]（[ρdisc，θdisc]離散化），經(jīng)算法處理后得到候選角點(diǎn)集。

2.3 ?剔除偽角點(diǎn)

通過牛頓迭代法來獲取候選角點(diǎn)的最優(yōu)值[ζ]，令[p=x0，y0，α，β，θ，φT]，有：

[pk=pk-1-H-1?pζpk-1] ? ? ?（17）

式中：[H]是[ζ]的Hessian矩陣;[pk]為[p]的第[k]次迭代。設(shè)定初始值為[p0=x00，y00，1，1，0，0T，]其中[x00，y00T]是由初始角點(diǎn)檢測算法所獲取的候選角點(diǎn)坐標(biāo)。 當(dāng)[pk-pk-1<εε=10-6，]結(jié)束迭代（通常需要5～6次迭代才能達(dá)到最大值）。對候選角點(diǎn)進(jìn)行最優(yōu)處理后，設(shè)定實(shí)際容噪比和非線性失真誤差，使用角點(diǎn)最大相關(guān)系數(shù)[ζ]消除偽角點(diǎn)，同時保留真實(shí)角點(diǎn)。如果候選點(diǎn)為真實(shí)棋盤角點(diǎn)，則最佳相關(guān)系數(shù)通常大于0.95。如果候選角點(diǎn)是偽角點(diǎn)，[ζ]會很小。通過優(yōu)化得到角點(diǎn)的系數(shù)值、幾何信息和精確坐標(biāo)，從而剔除偽角點(diǎn)，同時精確定位真實(shí)角點(diǎn)。

3 ?實(shí)驗(yàn)結(jié)果與分析

本文使用來自德國的50 mm鏡頭的Raytrix R42光場相機(jī)和陶瓷標(biāo)定板（13[×]10個角點(diǎn)），原始光場圖像的像素大小為3 858×2 682。拍攝各種姿勢下棋盤標(biāo)定板的10張圖像，用于角點(diǎn)檢測算法實(shí)驗(yàn)驗(yàn)證和光場相機(jī)標(biāo)定[18]。實(shí)驗(yàn)裝置如圖4所示。

3.1 ?角點(diǎn)檢測誤差

為了驗(yàn)證本文算法的有效性，采用本文算法、Harris算法、FAST算法分別對原始光場圖像進(jìn)行角點(diǎn)檢測實(shí)驗(yàn)。在本文算法中設(shè)定[th=0.5，tl=0.3，Vthresh=1，ρdisc=0.25，θdisc=π50]，優(yōu)化后得到實(shí)驗(yàn)結(jié)果如表1所示。通過比較幾種檢測方法，本文算法檢測到的角點(diǎn)最多，同時檢測速率也優(yōu)于其他算法。

表2給出了幾種算法的角點(diǎn)檢測誤差?？梢钥闯觯疚乃崴惴ń屈c(diǎn)檢測的最小像素誤差為0.12像素，最大誤差為6.97像素，比其他算法的誤差小了一個數(shù)量級，驗(yàn)證了本文算法的優(yōu)越性。

3.2 ?角點(diǎn)的標(biāo)定誤差

為評價本文算法的可靠性，計(jì)算原始光場圖像各角點(diǎn)的標(biāo)定誤差，結(jié)果如表3所示。通過拍攝的8幅原始光場圖像得到的標(biāo)定結(jié)果中，角點(diǎn)的標(biāo)定誤差小于23 mm，平均相對誤差均小于3%，驗(yàn)證了本文算法的可行性。

3.3 ?標(biāo)定重投影誤差

將本文算法用于光場相機(jī)標(biāo)定實(shí)驗(yàn)中，圖5給出了Raytrix R42光場相機(jī)每種微透鏡的平均重投影誤差，平均值約為0.83像素，并與文獻(xiàn)[18]中的標(biāo)定方法進(jìn)行比較，本文算法比文獻(xiàn)[18]中所獲得的1.72像素小了一個數(shù)量級。實(shí)驗(yàn)結(jié)果表明，本文所提算法可以實(shí)現(xiàn)高精度的光場相機(jī)標(biāo)定。

4 ?結(jié) ?語

針對現(xiàn)有算法不能精確快速定位原始光場圖像中的亞像素棋盤角點(diǎn)和有效區(qū)分邊緣點(diǎn)，本文通過分析原始圖像像素類型及其性質(zhì)，提出了用雙曲正切模型擬合亞像素棋盤角點(diǎn)灰度分布的角點(diǎn)檢測算法。通過使用灰度差分與模板的篩選策略，得到初始角點(diǎn)集;然后基于區(qū)域灰度變化的自適應(yīng)角點(diǎn)檢測算法，精化初始角點(diǎn)集;最后建立雙曲正切模型，從而精確擬合亞像素角點(diǎn)的灰度分布，實(shí)現(xiàn)高精度亞像素棋盤角點(diǎn)檢測并剔除偽角點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文所提算法精度高，能夠?yàn)楦呔鹊墓鈭鱿鄼C(jī)標(biāo)定提供可靠依據(jù)。

參考文獻(xiàn)

[1] 張春萍，王慶.光場相機(jī)成像模型及其參數(shù)標(biāo)定方法綜述[J].中國激光，2016，43（6）：270?281.

ZHANG Chunping， WANG Qing. Survey on imaging model and calibration of light field camera [J]. Chinese journal of lasers， 2016， 43（6）： 270?281.

[2] 馮煥飛.三維重建中的相機(jī)標(biāo)定方法研究[D].重慶：重慶交通大學(xué)，2013.

FENG Huanfei. Research on camera calibration method in three?dimensional reconstruction [D]. Chongqing： Chongqing Jiaotong University， 2013.

[3] BOK Y， JEON H G， KWEON I S. Geometric calibration of micro?lens?based light?field cameras using line features [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（2）： 287?300.

[4] ZHANG C， JI Z， WANG Q. Decoding and calibration method on focused plenoptic camera [J]. Computational visual media， 2016， 2（1）： 57?69.

[5] XU S， ZHOU Z L， DEVANEY N. Multi?view image restoration from plenoptic raw images [C]// Proceedings of Asian Conference on Computer Vision. Cham： Springer， 2015： 3?15.

[6] 孫東輝，鞠秀亮，馮登超，等.基于FAST檢測器和SURF描述子的聚合圖像人臉識別[J].國外電子測量技術(shù)，2016，35（1）：94?98.

SUN Donghui， JU Xiuliang， FENG Dengchao， et al. Aggregated image face recognition based on FAST detector and SURF descriptor [J]. Foreign electronic measurement technology， 2016， 35（1）： 94?98.

[7] HA J E. Automatic detection of chessboard and its applications [J]. Optical engineering， 2009， 48（6）： 1?8.

[8] ESCALERA A D L， ARMINGOL J M. Automatic chessboard detection for intrinsic and extrinsic camera parameter calibration [J]. Sensors， 2010， 10（3）： 2027?2044.

[9] 章為川，程冬，朱磊.基于各向異性高斯核的多尺度角點(diǎn)檢測[J].電子測量與儀器學(xué)報(bào)，2012，26（1）：37?42.

ZHANG Weichuan， CHENG Dong， ZHU Lei. Multi?scale corner detection based on anisotropic Gaussian kernels [J]. Journal of electronic measurement and instrument， 2012， 26（1）： 37?42.

[10] HARRIS C， STEPHENS M. A combined corner and edge detector [C]// Proceedings of the 4th Alvey Vision Conference. Manchester： [s.n.]， 1988： 147?152.

[11] ROSTEN E， PORTER R， DRUMMOND T. Faster and better： a machine learning approach to corner detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2010， 32（1）： 105?119.

[12] 王民，周兆鎮(zhèn)，李昌華，等.基于像素點(diǎn)灰度差的Harris角點(diǎn)檢測算法[J].計(jì)算機(jī)工程，2015，41（6）：227?230.

WANG Min， ZHOU Zhaozhen， LI Changhua， et al. Harris corner detection algorithm based on pixel point gray difference [J]. Computer engineering， 2015， 41（6）： 227?230.

[13] 劉亮，王平，孫亮.基于區(qū)域灰度變化的自適應(yīng)FAST角點(diǎn)檢測算法[J].微電子學(xué)與計(jì)算機(jī)，2017，34（3）：20?24.

LIU Liang， WANG Ping， SUN Liang. Adaptive FAST corner detection algorithm based on regional grayscale change [J]. Microelectronics & computer， 2017， 34（3）： 20?24.

[14] CHEN D， ZHANG G. A new sub?pixel detector for x?corners in camera calibration targets [C]// Proceedings of 13th International Conference in Central Europe on Computer Graphics， Visualization， and Computer Vision. Plzen： Science Press， 2005： 97?100.

[15] LIU Y， LIU S， CAO Y， et al. A practical algorithm for automatic chessboard corner detection [C]// Proceedings of 2014 IEEE International Conference on Image Processing. Pairs： IEEE， 2014： 3449?3453.

[16] LUCCHESE L， MITRA S K. Using saddle points for sub?pixel feature detection in camera calibration targets [C]// Proceedings of Asia?Pacific Conference on Circuits and Systems. Denpasar： IEEE， 2002： 191?195.

[17] 張立亭，黃曉浪，鹿琳琳，等.基于灰度差分與模板的Harris角點(diǎn)檢測快速算法[J].儀器儀表學(xué)報(bào)，2018，39（2）：218?224.

ZHANG Liting， HUANG Xiaolang， LU Linlin， et al. Fast Harris corner detection based on gray difference and template [J]. Chinese journal of scientific instrument， 2018， 39（2）： 218?224.

[18] NOURY C A， TEULIERE C， DHOME M. Light?field camera calibration from raw images [C]// Proceedings of IEEE 2017 International Conference on Digital Image Computing： Techniques and Applications. Sydney： IEEE， 2017： 1?5.