楊超， 裘溯， 金偉其， 戴佳琳

(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室， 北京 100081)

0 引言

隨著無(wú)人機(jī)、無(wú)人車等領(lǐng)域的快速發(fā)展，人們需要研制新型視覺(jué)系統(tǒng)以適應(yīng)復(fù)雜的應(yīng)用環(huán)境，仿生復(fù)眼系統(tǒng)是一種受昆蟲復(fù)眼啟發(fā)而研制的新型視覺(jué)系統(tǒng)[1]。仿生復(fù)眼視覺(jué)系統(tǒng)具有結(jié)構(gòu)緊湊、視場(chǎng)大、質(zhì)量輕等優(yōu)點(diǎn)[2]，在無(wú)人機(jī)、導(dǎo)彈制導(dǎo)、追蹤系統(tǒng)、智能機(jī)器人等領(lǐng)域有著廣泛用途。

截止目前，國(guó)內(nèi)外研制了眾多的仿生復(fù)眼系統(tǒng)[3-5]，典型的如圖1所示。TOMBO仿生復(fù)眼[6]為平面結(jié)構(gòu)的微型透鏡陣列系統(tǒng)，是真正意義上的微型成像系統(tǒng)，但是相較曲面結(jié)構(gòu)的仿生復(fù)眼系統(tǒng)來(lái)說(shuō)其視場(chǎng)較小。2007年英國(guó)BAE公司提出一種基于多微面光纖面板的仿昆蟲復(fù)眼成像系統(tǒng)[7]，該系統(tǒng)采用多端面光纖面板對(duì)不同方向的光信息進(jìn)行采集，簡(jiǎn)化了仿生復(fù)眼光學(xué)系統(tǒng)，實(shí)現(xiàn)了120°大視場(chǎng)成像。

張姍姍等[8]設(shè)計(jì)了一種由7個(gè)子眼構(gòu)成的曲面復(fù)眼系統(tǒng)，該系統(tǒng)在3 000幀/s幀頻下，重構(gòu)出了相機(jī)前方150 mm處做圓周運(yùn)動(dòng)的目標(biāo)運(yùn)動(dòng)軌跡。劉艷等[9]設(shè)計(jì)了一個(gè)由9部平面陣列相機(jī)構(gòu)成的仿生復(fù)眼系統(tǒng)，該系統(tǒng)定位精度為2.53×10-4rad.

本文在研究多微面光纖面板的仿生復(fù)眼系統(tǒng)基礎(chǔ)上，使用三維設(shè)計(jì)制圖軟件SolidWorks對(duì)鏡頭支架進(jìn)行設(shè)計(jì)，搭建一套能夠滿足圖像拼接、目標(biāo)定位的實(shí)驗(yàn)系統(tǒng)，使用Visual Studio 2012、OpenCV應(yīng)用程序編寫大視場(chǎng)圖像拼接、目標(biāo)定位的程序，為后續(xù)圖像的實(shí)時(shí)拼接、目標(biāo)定位、目標(biāo)追蹤打下可靠的基礎(chǔ)。

1 基于多微面光纖面板的仿生復(fù)眼系統(tǒng)

1.1 仿生復(fù)眼結(jié)構(gòu)

圖2所示為曲面型仿生復(fù)眼的結(jié)構(gòu)示意圖，該系統(tǒng)由9個(gè)子眼鏡頭組成，側(cè)面與頂面的夾角為20°[10]，角面與頂面的夾角為27°，光線通過(guò)子眼首先成像于光纖面板的前端面，再通過(guò)光纖面板成像于光纖面板后端面，最后使用焦距為60 mm的微距鏡頭和尼康單反相機(jī)對(duì)后端面的圖像進(jìn)行采集，獲取仿生復(fù)眼的原始圖像。圖3所示為不同比例的子眼視場(chǎng)交疊情況[11]，本文選用中等比例視場(chǎng)交疊的情況對(duì)仿生復(fù)眼結(jié)構(gòu)進(jìn)行設(shè)計(jì)，如圖3(b)所示，在此種情況下側(cè)面子眼與頂面子眼之間的視場(chǎng)交疊率為50%，角面子眼與頂面子眼之間的視場(chǎng)交疊率為25%，區(qū)域內(nèi)的數(shù)字代表視場(chǎng)有交疊的子眼個(gè)數(shù)。

1.2 仿生復(fù)眼鏡頭支架的改進(jìn)設(shè)計(jì)

由幾何關(guān)系可以求得：

(1)

(2)

頂面子眼開(kāi)孔位置為頂部的正中心，開(kāi)孔直徑為子眼鏡頭的直徑，大小為7 mm.

由平行關(guān)系可計(jì)算出側(cè)面開(kāi)孔的圓心位置：

(3)

(4)

使用相同的方法計(jì)算角面子眼的開(kāi)孔位置，將遮光片設(shè)計(jì)到頂面與側(cè)面、頂面與角面的角平分線上。通過(guò)計(jì)算得到鏡頭支架主要參數(shù)，如表1所示。

表1 鏡頭支架主要參數(shù)

根據(jù)鏡頭支架主要參數(shù)，使用SolidWorks軟件對(duì)鏡頭支架進(jìn)行設(shè)計(jì)，圖5所示為鏡頭支架的設(shè)計(jì)結(jié)果。經(jīng)過(guò)實(shí)測(cè)可知，仿生復(fù)眼的總視場(chǎng)大小為74.3°，頂面子眼的視場(chǎng)大小為42.2°，側(cè)面子眼的視場(chǎng)大小為41.5°，角面子眼的視場(chǎng)大小為53.1°. 圖6所示為實(shí)際子眼視場(chǎng)交疊情況圖。由圖6可見(jiàn)，側(cè)面與頂面子眼間的視場(chǎng)交疊率為49.4%，角面與頂面子眼間的視場(chǎng)交疊率為25.5%，子眼交疊比例基本滿足設(shè)計(jì)需要。圖7所示為仿生復(fù)眼系統(tǒng)的實(shí)物圖。

2 仿生復(fù)眼圖像拼接

圖8所示為仿生復(fù)眼系統(tǒng)拍攝的原始圖像，通過(guò)子眼視場(chǎng)交疊區(qū)域內(nèi)的特征信息能拼接得到大視場(chǎng)的復(fù)眼圖像。以兩子眼為例，子眼圖像拼接的主要流程為：

1)使用尺度不變特征變換(SIFT)算法提取兩幅子眼圖像中的特征點(diǎn)，獲取特征點(diǎn)的描述符，再對(duì)兩幅子眼圖像的特征點(diǎn)進(jìn)行匹配。

2)使用歐式距離法和隨機(jī)抽樣一致性(RANSAC)算法篩選特征點(diǎn)匹配對(duì)，計(jì)算待拼接子眼圖像到拼接子眼圖像的投影矩陣。

3)將待拼接子眼圖像進(jìn)行矩陣變換，使用加權(quán)平均法對(duì)圖像進(jìn)行融合。

4)將所有子眼圖像進(jìn)行拼接，獲取大視場(chǎng)的仿生復(fù)眼拼接圖像。

采用SIFT算法，在高斯差分空間中，將被測(cè)點(diǎn)與同尺度中8個(gè)鄰域點(diǎn)以及兩個(gè)相鄰尺度空間中18個(gè)像素點(diǎn)相比較得到圖像的特征點(diǎn)。SIFT算法將每一個(gè)特征點(diǎn)周圍16×16個(gè)像素區(qū)域劃分為16個(gè)4×4的像素區(qū)域，記錄下這16個(gè)區(qū)域內(nèi)8個(gè)方向的像素梯度信息，得到一個(gè)128維特征點(diǎn)描述符。當(dāng)被檢測(cè)圖像旋轉(zhuǎn)、亮度改變或者拍攝視角改變時(shí)，通過(guò)128維特征點(diǎn)描述符也能準(zhǔn)確地將特征點(diǎn)進(jìn)行匹配。

2.1 特征點(diǎn)篩選

使用SIFT算法對(duì)特征點(diǎn)進(jìn)行匹配會(huì)存在一些誤匹配對(duì)，通過(guò)歐式距離法和RANSAC算法[12]可以篩除大部分錯(cuò)誤的特征點(diǎn)匹配對(duì)。設(shè)置一個(gè)距離閾值，將特征點(diǎn)對(duì)之間歐式距離大于閾值的特征點(diǎn)對(duì)篩除，只留下歐氏距離小于閾值的特征點(diǎn)對(duì)：

D

(5)

式中：D為特征點(diǎn)匹配對(duì)之間的歐式距離；a為設(shè)置的閾值大小，范圍在0～1之間，通過(guò)調(diào)整a的大小篩選特征點(diǎn)匹配對(duì)；lmax為特征點(diǎn)匹配對(duì)中歐式距離的最大值。然后使用RANSAC方法篩選特征點(diǎn)匹配對(duì)。圖9所示為特征點(diǎn)匹配對(duì)篩選前后的對(duì)比圖。

使用篩選后的特征點(diǎn)匹配對(duì)計(jì)算投影矩陣，待拼接圖像通過(guò)矩陣變換后將與拼接圖像處在同一基準(zhǔn)之下，使用加權(quán)平均法對(duì)圖像進(jìn)行拼接，以消除縫合線對(duì)拼接圖像的影響，實(shí)現(xiàn)拼接圖像的均勻過(guò)渡。

2.2 加權(quán)平均法圖像融合

采用加權(quán)平均法對(duì)圖像的重疊部分進(jìn)行過(guò)渡，圖像重疊部分的灰度值由兩圖像灰度乘以不同權(quán)值而得到。設(shè)f(x,y)表示所獲得的拼接圖像，f1(x,y)、f2(x,y)分別表示兩幅待拼接圖像，有

(6)

式中：d1、d2分別為重疊區(qū)的權(quán)重值，其大小與重疊部分的寬度有關(guān)，d1+d2=1，0≤d1≤1，0≤d2≤1，d1=1-x/w，d2=x/w，x為像素距離左邊界的距離，w為兩圖像重疊部分的寬度。圖10為直接拼接與使用加權(quán)平均法得到的拼接圖像。

2.3 實(shí)驗(yàn)結(jié)果

圖11所示為拼接得到的大視場(chǎng)圖像。由圖11可知，拼接圖像無(wú)明顯的縫合線，邊界處過(guò)渡均勻，圖像無(wú)明顯變形，證明了本文算法的合理性。

3 仿生復(fù)眼目標(biāo)定位算法研究

仿生復(fù)眼系統(tǒng)中相鄰子眼的視場(chǎng)互有交疊，將仿生復(fù)眼分成不同的雙目系統(tǒng)，通過(guò)雙目視差原理對(duì)視場(chǎng)交疊區(qū)域中的任意目標(biāo)進(jìn)行空間定位。目標(biāo)定位的方法為：先對(duì)兩子眼進(jìn)行單目標(biāo)定，再對(duì)兩子眼進(jìn)行雙目標(biāo)定，根據(jù)標(biāo)定得到的參數(shù)將兩子眼進(jìn)行雙目矯正，最后通過(guò)雙目視差原理計(jì)算目標(biāo)的空間三維信息。

3.1 雙目定位原理

如圖12所示：OwXwYwZw為世界坐標(biāo)系；左側(cè)攝像機(jī)的焦距為fl，圖像坐標(biāo)系為olxlyl，攝像機(jī)坐標(biāo)系為OlXlYlZl；右側(cè)攝像機(jī)的焦距為fr，圖像坐標(biāo)系為orxryr，攝像機(jī)坐標(biāo)系為OrXrYrZr. 圖像坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系為

(7)

式中：dx、dy表示像素大?。籾0和v0表示圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中的坐標(biāo)；f表示攝像機(jī)焦距；s表示尺度因子；R表示攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的旋轉(zhuǎn)矩陣，t為攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的平移向量；P為攝像機(jī)矩陣或者投影矩陣，是一個(gè)3×4的矩陣。

左右兩攝像機(jī)圖像坐標(biāo)系與世界坐標(biāo)系的關(guān)系可以表示為

(8)

(9)

式中：M和N為左、右兩攝像機(jī)圖像坐標(biāo)系與世界坐標(biāo)系之間的變換矩陣。

將(8)式和(9)式中的sl、sr相消后得到一個(gè)方程組，通過(guò)求解該方程組可以求得目標(biāo)的空間三維信息。

3.2 定位實(shí)驗(yàn)

首先使用張正友標(biāo)定法[13]對(duì)兩子眼進(jìn)行單目標(biāo)定，再對(duì)兩子眼進(jìn)行雙目標(biāo)定，通過(guò)雙目標(biāo)定得到的參數(shù)將兩幅圖像中的畸變消除并且對(duì)準(zhǔn)兩子眼圖像，最終獲得光軸平行、成像平面共面、對(duì)極線平行的兩幅子眼圖像。圖13所示為通過(guò)校正后得到的兩子眼圖像。

將目標(biāo)放置于4個(gè)不同位置，分別距離中心子眼光軸1 000 mm、1 200 mm、1 400 mm、1 600 mm. 使用仿生復(fù)眼系統(tǒng)對(duì)目標(biāo)進(jìn)行5次測(cè)量。圖14所示為兩子眼采集到的目標(biāo)圖像。通過(guò)系統(tǒng)對(duì)目標(biāo)進(jìn)行測(cè)量的結(jié)果如表2和圖15所示。

表2 距離測(cè)量結(jié)果數(shù)據(jù)表

4 結(jié)論

本文對(duì)仿生復(fù)眼鏡頭支架進(jìn)行了設(shè)計(jì)，搭建了一套仿生復(fù)眼系統(tǒng)，提出了一種仿生復(fù)眼圖像拼接的算法并獲得了仿生復(fù)眼的大視場(chǎng)拼接圖像；使用樣機(jī)對(duì)4個(gè)空間目標(biāo)進(jìn)行深度信息的測(cè)量，證明了雙目定位方法能夠很好地在仿生復(fù)眼系統(tǒng)中得到應(yīng)用。所得主要結(jié)論如下：

1)將遮光片直接設(shè)計(jì)到鏡頭支架中能有效消除子眼光線之間的相互影響。

2)使用歐式距離法和RANSAC算法能對(duì)特征點(diǎn)對(duì)進(jìn)行有效篩選，使用加權(quán)平均法能有效消除拼接圖像中的縫合線。

3)能夠使用雙目定位原理對(duì)仿生復(fù)眼中視場(chǎng)重疊區(qū)域內(nèi)的目標(biāo)進(jìn)行三維定位。

今后工作的主要方向?yàn)椋?)解決中心子眼過(guò)曝導(dǎo)致部分信息丟失問(wèn)題；2)研究圖像實(shí)時(shí)拼接方法；3)研究多目定位方法提高目標(biāo)定位精度，以解決仿生復(fù)眼系統(tǒng)中有些區(qū)域有多個(gè)子眼視場(chǎng)交疊問(wèn)題。相信伴隨著系統(tǒng)結(jié)構(gòu)的改進(jìn)、算法優(yōu)化，仿生復(fù)眼在目標(biāo)定位、追蹤領(lǐng)域?qū)⒂懈訌V泛用途。

參考文獻(xiàn)(References)

[1] 金偉其, 林青, 裘溯, 等. 多孔徑仿生復(fù)眼成像系統(tǒng)技術(shù)進(jìn)展綜述[J]. 光學(xué)與光電技術(shù), 2011, 9(6): 9-13.

JIN Wei-qi, LIN Qing, QIU Su, et al. Summary of technical progress of multi-aperture biomimetic compound imaging system[J]. Optics & Optoelectronic Technology, 2011, 9(6): 9-13. (in Chinese)

[2] Land M F. Compound eyes: old and new optical mechanisms[J]. Nature, 1980, 287(5784):681-686.

[3] Stéphane V, Franck R, Robert L, et al. CurvACE: a miniature curved artificial compound eye[J]. Frontiers in Physiology, 2013, 110(23): 9267-9272.

[4] 郭書基, 史立芳, 曹阿秀, 等. 基于大視場(chǎng)人工復(fù)眼定位技術(shù)[J]. 光子學(xué)報(bào), 2016, 45(5): 87-92.

GUO Shu-ji, SHI Li-fang, CAO A-xiu, et al. Study of large field of view compound-eye orientation technology[J]. Acta Photonica Sinica, 2016, 45(5):87-92. (in Chinese)

[5] 付躍剛, 趙宇, 劉智穎, 等. 用于目標(biāo)識(shí)別的緊湊型仿生復(fù)眼光學(xué)系統(tǒng)設(shè)計(jì)[J]. 紅外與激光工程, 2017, 46(6): 0602001-1-0602001-7.

FU Yue-gang, ZHAO Yu, LIU Zhi-ying, et al. Design of compact bionic compound eye optical system used for target identification[J]. Infrared and Laser Engineering, 2017, 46(6): 0602001-1-0602001-7. (in Chinese)

[6] Tanida J, Kumagai T, Yamada K, et al. Thin observation module by bound optics (TOMBO): concept and experimental verification[J]. Applied Optics, 2001, 40(11): 1806-1813.

[7] Laycock L C, Handerek V A. Miniature imaging devices for airborne platforms[C]∥SPIE Europe Security and Defence. Florence, Italy: SPIE, 2008: 1-5.

[8] 張姍姍, 宋樂(lè), 張雄,等. 一種用于高速三維跟蹤的小型可開(kāi)窗復(fù)眼系統(tǒng)[J]. 光電子·激光, 2014, 25(9):1796-1802.

ZHANG Shan-shan, SONG Le, ZHANG Xiong, et al. A compact high-speed 3D-tracking module based on a compound-eye camera[J]. Journal of Optoelectronics·Laser, 2014, 25(9):1796-1802. (in Chinese)

[9] 劉艷, 茍健, 尹韶云, 等. 人工復(fù)眼成像三維定位系統(tǒng)設(shè)計(jì)[J]. 光電工程, 2014, 41(5):89-94.

LIU Yan, GOU Jian, YIN Shao-yun, et al. Design of three-dimensional orientation system based on artificial compound eye imaging[J]. Opto-Electronic Engineering, 2014, 41(5):89-94. (in Chinese)

[10] 劉志剛. 多孔徑部分重疊仿生復(fù)眼成像系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和實(shí)驗(yàn)研究[D]. 北京: 北京理工大學(xué), 2014.

LIU Zhi-gang. Structural design and experimental study of partial overlapping biomimetic compound imaging system with multi-aperture[D]. Beijing: Beijing Institute of Technology, 2014.(in Chinese)

[11] 裘溯, 倪宇, 金偉其,等. 基于微端面光纖面板的多孔徑視場(chǎng)重疊復(fù)眼的視場(chǎng)模型[J]. 光學(xué)精密工程, 2015, 23(11):3018-3025.

QIU Su, NI Yu, JIN Wei-qi, et al. FOV modeling of multi-aperture superposition compound eye based on micro-surface fiber faceplate[J]. Optics and Precision Engineering, 2015, 23(11): 3018-3025.(in Chinese)

[12] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[13] 李瑞峰, 李慶喜. 機(jī)器人雙目視覺(jué)系統(tǒng)的標(biāo)定與定位算法[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2007, 39(11): 1719-1722.

LI Rui-feng, LI Qing-xi. Calculation of the position between mobile robot and object based on two CCD cameras[J]. Journal of Harbin Institute of Technology, 2007, 39(11): 1719-1722. (in Chinese)