張美航，張 華，鄢 威

(1.武漢科技大學(xué) 冶金裝備與控制技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430081；2.武漢科技大學(xué) 機(jī)械傳動(dòng)與制造工程湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430081；3.武漢科技大學(xué) 綠色制造工程研究院，湖北 武漢 430081；4.武漢科技大學(xué) 汽車(chē)與交通工程學(xué)院，湖北 武漢 430081)

0 引 言

三維重構(gòu)是計(jì)算機(jī)視覺(jué)核心問(wèn)題之一[1]，相機(jī)—投影儀結(jié)構(gòu)光系統(tǒng)是三維重構(gòu)體系中一個(gè)重要分支[2]，結(jié)構(gòu)光系統(tǒng)標(biāo)定是其眾多應(yīng)用的基礎(chǔ)，在某些場(chǎng)景下是其不可或缺的部分[3]。根據(jù)標(biāo)定物不同，標(biāo)定方法可以粗略地分為基于標(biāo)定物的傳統(tǒng)標(biāo)定方法和基于場(chǎng)景約束的自標(biāo)定方法[4]，傳統(tǒng)標(biāo)定方法繁雜且無(wú)法在線(xiàn)標(biāo)定，但精度高[5]；自標(biāo)定方法操作簡(jiǎn)單，可以滿(mǎn)足一些特殊應(yīng)用場(chǎng)景[6,7]，但模型復(fù)雜且精度、魯棒性較差[5]。自標(biāo)定方法是對(duì)傳統(tǒng)標(biāo)定方法的補(bǔ)充，結(jié)構(gòu)光系統(tǒng)的自標(biāo)定是在相機(jī)自標(biāo)定基礎(chǔ)上延伸而來(lái)，其目的是為了補(bǔ)充傳統(tǒng)標(biāo)定方法存在的缺陷，也是為了簡(jiǎn)化操作流程。

相機(jī)標(biāo)定和自標(biāo)定綜述文獻(xiàn)較多[8～10]，結(jié)構(gòu)光系統(tǒng)標(biāo)定綜述較少。從各類(lèi)數(shù)據(jù)庫(kù)中檢索到的文獻(xiàn)有劉建偉等人[11]對(duì)線(xiàn)結(jié)構(gòu)光系統(tǒng)標(biāo)定技術(shù)的研究，Zhang S[12]介紹了傳統(tǒng)編碼方法、非傳統(tǒng)編碼方法以及混合編碼方法，給出了部分編碼規(guī)則原理，并提供了一些實(shí)用技巧。王子為[13]提出了一種基于單應(yīng)矩陣的攝像機(jī)自動(dòng)標(biāo)定算法，通過(guò)對(duì)攝像機(jī)內(nèi)外參數(shù)進(jìn)行標(biāo)定。范劍英等人[14]提出了一種通過(guò)一塊圓點(diǎn)平面標(biāo)定板進(jìn)行標(biāo)定，再利用自標(biāo)定算法標(biāo)定外參。劉順濤等人[15]研究了基于矩陣變換的攝影測(cè)量法、基于幾何關(guān)系的三角測(cè)量法、多項(xiàng)式擬合法3種標(biāo)定方法，并將3種方法的五大具體標(biāo)定特性進(jìn)行了對(duì)比分析。任瑜、韓正勇等人[16,17]從其他方面對(duì)相機(jī)和攝像機(jī)的參數(shù)標(biāo)定進(jìn)行了一些研究。

綜上所述，國(guó)內(nèi)外學(xué)者對(duì)結(jié)構(gòu)光標(biāo)定方法進(jìn)行了一些研究和綜述，但結(jié)構(gòu)光自標(biāo)定方法綜述在國(guó)內(nèi)外尚未被檢索到。本文針對(duì)當(dāng)前結(jié)構(gòu)光自標(biāo)定方法進(jìn)行系統(tǒng)綜述，對(duì)不同自標(biāo)定方法進(jìn)行分類(lèi)歸納，就結(jié)構(gòu)光完全自標(biāo)定重點(diǎn)論述，且對(duì)系統(tǒng)重構(gòu)效果進(jìn)行比對(duì)；提出結(jié)構(gòu)光自標(biāo)定方法存在的問(wèn)題與挑戰(zhàn)；指出結(jié)構(gòu)光自標(biāo)定的可能解決方案及未來(lái)發(fā)展方向。

1 結(jié)構(gòu)光自標(biāo)定理論基礎(chǔ)

相機(jī)—投影儀結(jié)構(gòu)光系統(tǒng)自標(biāo)定是涵蓋相機(jī)標(biāo)定、投影儀標(biāo)定、相機(jī)—投影儀系統(tǒng)標(biāo)定等科研領(lǐng)域的難點(diǎn)問(wèn)題，其理論基礎(chǔ)主要包括結(jié)構(gòu)光三維重構(gòu)系統(tǒng)，相機(jī)—投影儀標(biāo)定以及多視角幾何中的對(duì)極幾何等。

1.1 結(jié)構(gòu)光三維重構(gòu)

相機(jī)—投影儀結(jié)構(gòu)光系統(tǒng)一般由數(shù)量不等的相機(jī)和投影儀組成，投影儀將格雷碼、正弦條紋等主動(dòng)結(jié)構(gòu)信息投射到被測(cè)物體表面，再利用單個(gè)或多個(gè)相機(jī)捕獲帶有結(jié)構(gòu)光圖案的被測(cè)物表面，再經(jīng)過(guò)圖像三維解析實(shí)現(xiàn)三維重建[18]。結(jié)構(gòu)光三維重構(gòu)流程包括相機(jī)—投影儀標(biāo)定、編碼[19]、投影編碼圖案到被測(cè)物體、相機(jī)捕獲帶有編碼圖案的物體表面、解碼[20]、三維重構(gòu)。結(jié)構(gòu)光三維重構(gòu)示意如圖1。

圖1 結(jié)構(gòu)光三維重構(gòu)示意

1.2 相機(jī)—投影儀標(biāo)定

相機(jī)—投影儀自標(biāo)定本質(zhì)上屬于標(biāo)定問(wèn)題，標(biāo)定參數(shù)與傳統(tǒng)相機(jī)和投影儀基本一致。在相機(jī)—投影結(jié)構(gòu)光系統(tǒng)中，投影儀往往被看作一個(gè)逆相機(jī)，因此其需要標(biāo)定的參數(shù)與相機(jī)基本相同。相機(jī)標(biāo)定可以分為線(xiàn)性標(biāo)定和非線(xiàn)性標(biāo)定，非線(xiàn)性標(biāo)定除需要正常線(xiàn)性標(biāo)定外，還需要標(biāo)定相機(jī)畸變參數(shù)。相機(jī)—投影儀標(biāo)定示意如圖2所示。

圖2 相機(jī)—投影儀標(biāo)定示意

1.3 對(duì)極幾何

對(duì)極幾何是相機(jī)—投影儀自標(biāo)定的基礎(chǔ)。傳統(tǒng)標(biāo)定方法通過(guò)已知標(biāo)定物上特征點(diǎn)之間的尺寸關(guān)系構(gòu)建約束方程從而求解內(nèi)外參。自標(biāo)定過(guò)程中不涉及標(biāo)定物，而是利用場(chǎng)景約束構(gòu)建約束方程，通過(guò)求解約束方程[21]來(lái)標(biāo)定相機(jī)和投影儀的內(nèi)外參。對(duì)極幾何示意如圖3所示。

圖3 對(duì)極幾何示意

2 結(jié)構(gòu)光自標(biāo)定方法歸納

按照相機(jī)和投影儀數(shù)量不同，對(duì)結(jié)構(gòu)光自標(biāo)定方法歸納如表1所示。

表1 結(jié)構(gòu)光自標(biāo)定方法歸納

2.1 部分標(biāo)定

結(jié)構(gòu)光系統(tǒng)部分標(biāo)定是假設(shè)視覺(jué)系統(tǒng)中內(nèi)參或外參部分已知，通過(guò)已知參數(shù)結(jié)合自標(biāo)定算法求解未知參數(shù)，通常已知相機(jī)—投影儀內(nèi)參，標(biāo)定外參[14,24]。Chen S Y等人在假設(shè)已知相機(jī)和投影儀內(nèi)參情況下，提出一種自標(biāo)定算法獲得相機(jī)和投影儀的相對(duì)位置關(guān)系[22]，與之類(lèi)似的還有文獻(xiàn)[23,30]等；AI I K等人[24]提出一種新的標(biāo)定構(gòu)架，他們搭建的結(jié)構(gòu)光系統(tǒng)由多個(gè)相機(jī)和一個(gè)投影儀組成，但是投影儀的投影過(guò)程由人為設(shè)置或者控制；范劍英等人[14]針對(duì)雙相機(jī)—單投影儀的結(jié)構(gòu)光系統(tǒng)進(jìn)行自標(biāo)定，內(nèi)參通過(guò)一塊圓點(diǎn)平面標(biāo)定板進(jìn)行標(biāo)定，再利用自標(biāo)定算法標(biāo)定外參；除此之外，還有Garrido-Jurado S等人[36]的方法均與之類(lèi)似。

2.2 完全自標(biāo)定

相機(jī)—投影儀結(jié)構(gòu)光系統(tǒng)完全自標(biāo)定是指標(biāo)定過(guò)程不借助外部標(biāo)定物，僅通過(guò)投影儀投射圖像和相機(jī)捕獲圖像對(duì)應(yīng)間關(guān)系，構(gòu)建約束方程，求解相機(jī)和投影儀的內(nèi)外參數(shù)[1,2,25,28,36]。完全自標(biāo)定相比其他自標(biāo)定方法更具吸引力，針對(duì)其技術(shù)方案與數(shù)學(xué)模型進(jìn)行討論是有必要的。完全自標(biāo)定根據(jù)標(biāo)定對(duì)象又可以劃分為單相機(jī)—單投影、單相機(jī)—多視角—單投影和多相機(jī)—投影的完全自標(biāo)定。

結(jié)構(gòu)光完全自標(biāo)定是結(jié)構(gòu)光自標(biāo)定領(lǐng)域一個(gè)重要分支，同時(shí)也是一個(gè)重點(diǎn)研究?jī)?nèi)容；自標(biāo)定結(jié)果準(zhǔn)確與否，除了比對(duì)標(biāo)定參數(shù)外，觀察最終重構(gòu)結(jié)果也是一個(gè)重要參考指標(biāo)，重構(gòu)效果對(duì)比如表2所示。

表2 結(jié)構(gòu)光完全自標(biāo)定重構(gòu)結(jié)果對(duì)比

2.3 基于主動(dòng)視覺(jué)自標(biāo)定

基于主動(dòng)視覺(jué)的結(jié)構(gòu)光自標(biāo)定方法介于上述兩種自標(biāo)定方法之間，其本身不需要預(yù)先對(duì)內(nèi)外參進(jìn)行標(biāo)定，但是需要在自標(biāo)定過(guò)程中給定部分已知信息[21]、空間場(chǎng)景[25,30]、運(yùn)動(dòng)軌跡[24]等。

3 問(wèn)題與挑戰(zhàn)

相機(jī)—投影儀結(jié)構(gòu)光系統(tǒng)自標(biāo)定方法相比傳統(tǒng)標(biāo)定方法在某些方面具有顯著優(yōu)勢(shì)，如運(yùn)動(dòng)物體在線(xiàn)測(cè)量、變焦拍攝等場(chǎng)景，但是，在實(shí)際應(yīng)用的過(guò)程中仍然存在一些問(wèn)題與挑戰(zhàn)。

1)精度與魯棒性方面：與傳統(tǒng)標(biāo)定方法相比，自標(biāo)定算法在精度和魯棒性方面存在著明顯不足，在不增加外部標(biāo)定物的情況下利用完全自標(biāo)定算法精確獲得相機(jī)內(nèi)參、外參和畸變參數(shù)，是一個(gè)巨大挑戰(zhàn)。

2)內(nèi)參假設(shè)：當(dāng)前自標(biāo)定算法在內(nèi)參標(biāo)定時(shí)基本都進(jìn)行了一定假設(shè)，例如假設(shè)x方向的焦距與y方向的焦距相等，扭曲因子為零等，其原因是當(dāng)前尚沒(méi)有合適的數(shù)學(xué)模型能夠求解完全形態(tài)的相機(jī)內(nèi)參數(shù)。

3)畸變參數(shù)求解：當(dāng)前自標(biāo)定算法主要是對(duì)徑向畸變參數(shù)進(jìn)行標(biāo)定，切向畸變和薄棱鏡畸變?cè)谀壳敖Y(jié)構(gòu)光自標(biāo)定中考慮很少，因此，結(jié)構(gòu)光系統(tǒng)的非線(xiàn)性自標(biāo)定有待提高。

4)多相機(jī)—投影的同步完全自標(biāo)定：隨著硬件與計(jì)算力的快速提升，多相機(jī)—投影結(jié)構(gòu)光必然成為未來(lái)的趨勢(shì)，因此，針對(duì)多相機(jī)—投影自標(biāo)定算法的研究也將成為一個(gè)重點(diǎn)研究方向。然而，到目前為止，針對(duì)多相機(jī)—投影完全自標(biāo)定僅有Willi S等人[28]進(jìn)行研究，而針對(duì)多相機(jī)—投影同步完全自標(biāo)定尚無(wú)相關(guān)研究成果出現(xiàn)。

4 結(jié)束語(yǔ)

本文綜述了近年來(lái)結(jié)構(gòu)光自標(biāo)定算法的研究狀況，發(fā)現(xiàn)針對(duì)結(jié)構(gòu)光自標(biāo)定研究較少，完全及同步自標(biāo)定研究更少，但單相機(jī)—單投影的結(jié)構(gòu)光系統(tǒng)標(biāo)定的研究相對(duì)成熟，多相機(jī)—投影儀的同步完全自標(biāo)定尚無(wú)有效解決方案。此外，針對(duì)相機(jī)—投影儀完全自標(biāo)定技術(shù)方案從底層數(shù)學(xué)模型進(jìn)行闡述，面對(duì)當(dāng)前結(jié)構(gòu)光自標(biāo)定算法中存在的問(wèn)題，給出一些可能的解決方案。

未來(lái)，將設(shè)計(jì)目標(biāo)函數(shù)時(shí)以約束項(xiàng)的形式考慮之前通過(guò)假設(shè)舍去的內(nèi)參和畸變參數(shù)，引入深度學(xué)習(xí)對(duì)約束項(xiàng)參數(shù)進(jìn)行調(diào)整和優(yōu)化，通過(guò)迭代進(jìn)行求解；針對(duì)多相機(jī)—投影結(jié)構(gòu)光系統(tǒng)同步完全自標(biāo)定，考慮分解為多相機(jī)系統(tǒng)自標(biāo)定和單相機(jī)—單投影同步完全自標(biāo)定兩個(gè)過(guò)程，分別設(shè)計(jì)求解函數(shù)，最后將兩個(gè)目標(biāo)函數(shù)整合為一個(gè)總的目標(biāo)函數(shù)，通過(guò)迭代求解達(dá)到全局最優(yōu)，從而實(shí)現(xiàn)多相機(jī)—投影結(jié)構(gòu)光系統(tǒng)的同步完全自標(biāo)定。